阿里云研究型实习生-大语言模型知识蒸馏与模型安全研究
任职要求
1、精通Python等语言，熟练掌握PyTorch、verl、vllm等主流训练和推理框架，具备扎实的coding能力； 2、在CCF-A国际会议或期刊（ICLR/NeurIPS/ICML/ACL等）有论文发表； 3、对解决复杂技术问题、…
工作职责
聚焦于LLM后训练中知识蒸馏、模型安全、Agent等相关算法研究，具体职责包括： 1、知识蒸馏、RL算法优化与创新，不断提升LLM的reasoning能力； 2、LLM safety相关算法优化与创新，通过Guard模型构建、模型可解释性技术探索、适配模型安全领域特性的SFT/RL算法优化等，不断提升LLM的安全性； 3、Agent后训练探索与创新，提升模型在专业领域上端到端解决复杂任务的能力。
1. 负责大模型（MLLMs/LLMs）核心技术研发，包括预训练、垂域SFT、RLHF等，持续追踪和应用领域最新技术进展； 2. 负责大模型性能优化：研发模型加速技术，如量化、剪枝与知识蒸馏；优化数据特征与调度策略；构建高效推理链路、提升运行速度及降低成本； 3. 负责多模态AIGC的创意玩法探索，以及细粒度可控的多模态内容生成和编辑、不同输入条件下的高质量视频生成技术研究等； 4. 基于研究成果撰写高质量学术论文，积极参与业界交流活动，建立和维护学术界与产业界的合作关系。
研究领域： 其他 项目简介： LLM在多个任务中已经展示了强大的能力。然而，由于现实世界的数据和需求不断变化，模型需要持续学习新知识以保持其性能。如何通过数据合成、数据增强、数据采样等多种方式，使得模型能够获取更好的知识是当前行业研究的重点和难点。以DeepSeek-R1为代表的推理模型范式为行业提供了重要启示，尤其在数学解题、代码生成、科学计算等场景中，大模型需具备从多步骤推理到最终结论生成的完整逻辑链条处理能力。研究发现，模型性能的提升已从单纯依赖参数规模扩展转向对训练数据质量的深度优化。高质量数据的稀缺性及其对模型能力的影响机理，正成为制约大模型向高阶推理跃迁的核心瓶颈。本研究旨在通过“高质量”数据与AI融合，为AIXData产业应用（包括但不限于数据标注、数据生成、CoT数据等）带来应用价值。
1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。