小红书【Ace顶尖实习生】面向大模型推理提速的CoT压缩算法研究

本课题的研究目标是打造行业领先的多语言能力强化的大语言模型，结合业务海量的多语言互译语料，以及平台生活化特色的笔记评论数据，利用数据合成、RL冷启训练、SFT和RLHF等技术，实现： 1、在小红书多语言大模型翻译场景取得领先效果； 2、多语言场景下，AI搜索的检索和生成技术。

本课题的研究目标是开发面向大模型的可扩展监督对齐方法，通过探索更高效的人类反馈收集与利用机制、自动化偏好学习和评估框架，以及对齐传递技术，实现在有限人类监督资源下对大规模AI系统进行有效对齐。 项目将建立产品与研究的协同设计机制，确保对齐技术能够直接响应实际产品需求，通过从产品应用场景中收集真实用户反馈来迭代优化对齐方法，形成研究与产品互促共进的闭环，提升模型在安全性、价值观一致性和指令遵循能力等方面的表现。

本课题聚焦在多模态数据场景下如何高效的组织其向量索引数据，设计并实现配套的混合查询优化技术，能根据用户请求动态选择合理的索引组合，实现耗时、吞吐的合理平衡。 预期成果是能用单一向量数据库产品原生支持异构多模态数据的向量索引构建和混合查询，为多模态大模型场景提供高效的向量支持。

本课题的研究目标是研发面向复杂场景的可拓展大规模强化学习系统。 包括不限于： 1、超大规模Reward System构建； 2、面向复杂场景构建“策略与反馈一体化”的递归自我增强方法，解决“AI超越人类”时的可拓展监督问题； 3、面向长程任务探索人机合作博弈的强化学习机制，实现模型在超长程复杂任务上的需求明确、自我规划与执行校验能力；让AI从被动完成指令的工具转变为主动推动任务进展的的协作者，实现目标对齐； 4、强化学习进程中的大模型可解释性、可理解性。