小红书【Ace顶尖实习生】多语言大模型和翻译应用

本课题的研究目标是打造行业领先的多语言能力强化的大语言模型，结合业务海量的多语言互译语料，以及平台生活化特色的笔记评论数据，利用数据合成、RL冷启训练、SFT和RLHF等技术，实现： 1、在小红书多语言大模型翻译场景取得领先效果； 2、多语言场景下，AI搜索的检索和生成技术。

本课题的研究目标是打造行业领先的多语言能力强化的大语言模型，结合业务海量的多语言互译语料，以及平台生活化特色的笔记评论数据，利用数据合成、RL冷启训练、SFT和RLHF等技术，实现： 1、在小红书多语言大模型翻译场景取得领先效果； 2、多语言场景下，AI搜索的检索和生成技术。

深入研究和应用AI大模型技术，对工程架构做全面设计，推动架构智能化升级，确保系统具备高扩展性、高稳定性和高性能，以适应不断变化的业务需求和数据量的增长。

本课题希望探索有效的统一大模型基座方案及提升多场景联合预训练的效果。目前公司内部不同业务场景下存在多套Embedding&标签大模型，部署成本较高，且应用在下游端到端建模任务如序列推荐时也多有不便，希望在多场景下对多套不同的Embedding&标签做整合，共用一套统一的基座模型，降低部署成本。同时通过融合的方式，对多场景数据进行综合建模，提升多场景的Embedding&标签效果。 统一基座模型需要解决的核心技术难点包括： 1、基座统一但仍可支持业务的定制微调，且训练成本和推理成本较低； 2、多体裁内容（如笔记、直播、商品、Query等）的理解可以融合在一个统一模型，且效果比独立训练更好。 研究方向会针对要解决的问题设立，包括：基于多Head或MoE的轻量化微调及融合推理、多体裁内容形式的统一建模。