阿里巴巴研究型实习生-大语言模型的多语言预训练探索与研究

专注于大模型后训练，包括蒸馏+SFT/RL等相关技术，目标提升LLMs/LMMs的综合效果以及垂直场景效果，同时降低模型尺寸以减少部署成本，具体职责包括： 1、深入探索LLM蒸馏技术，对大模型进行极致的轻量化，同时尽可能减少模型的综合性能/垂直领域性能损失； 2、从数据合成、蒸馏算法等方面，提出创新优化技术，减少蒸馏带来的灾难性知识遗忘问题； 3、提出强化学习等创新方法，提升蒸馏后小模型解决复杂问题的能力，探索面向不同的复杂度任务自动调整推理模型思考长度的技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的蒸馏+RL训练工具； 5、基于蒸馏+RL等后训练技术，面向Agent等LLM重点应用场景，构建业界领先的效果优化解决方案。

专注于LLM post-training和agent相关算法研究，具体职责包括： 1、探索LLM可解释性 + 模型增量CPT/RL算法，提升语言模型在专业领域上的能力； 2、探索LLM可解释性 + 低比特量化算法，降低模型training/inference阶段计算成本； 3、探索agent 增强微调算法，提升模型在专业领域上端到端解决复杂任务的能力； 4、将相关算法研究成果发表在国际顶级会议上（ICLR/NeurIPS/ICML/ACL）； 5、将相关算法研究成果应用于模型低比特量化、海外大模型业务中，显著提升阿里云通义千问模型服务效率和沙特等国家主权大模型线上效果。

本项目主要关注大语言模型的部署环节，以解决大语言模型推理框架中的如下技术问题： 1. 优化单服务实例的性能和成本：配合前沿模型压缩算法探索高性能算子的前沿方向、创新注意力算子（Attention）实现方式、通过编译优化等手段提升模型推理性能；结合大语言模型服务的场景特性，创新请求调度算法，优化用户体验和系统吞吐；结合算法创新，采用上下文稀疏、投机采样等方法加速解码（Decoding）过程。 2. 异构硬件适配：以编译技术为基础，探索统一的跨平台优化方法，能敏捷地完成主流的GPU/CPU/NPU等硬件的适配，并在各个平台提供较高的性能。 3. 探索云上单租户多服务、多租场景下的混合部署方法，将不同尺寸、不同访问频度、不同优先级的模型混合部署在异构资源池中，并保证SLA。通过请求调度方法的创新、资源共享方法创新，降低总体部署成本、提升资源利用率和弹性。

聚焦于LLM后训练中知识蒸馏、模型安全、Agent等相关算法研究，具体职责包括： 1、知识蒸馏、RL算法优化与创新，不断提升LLM的reasoning能力； 2、LLM safety相关算法优化与创新，通过Guard模型构建、模型可解释性技术探索、适配模型安全领域特性的SFT/RL算法优化等，不断提升LLM的安全性； 3、Agent后训练探索与创新，提升模型在专业领域上端到端解决复杂任务的能力。