阿里云研究型实习生 - 面向大语言模型的知识蒸馏技术研究
任职要求
1、扎实的算法和工程能力，优良的编程风格，熟悉Python/C++语言和常用设计模式，具备复杂系统的设计开发调试能力； 2、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心； 3、熟悉计算机体系结构基础知识，有扎实高性能计算(GPU/x86/ARM等)、或推理框架、或模型算法优化方面的经验。 加分项： 1、有突出的学术背景和创新研究能力； 2、对LLM等重点场景的系统优化或前沿算法有深入务实的经验； 3、具有GPU高性能Kernel开发和优化经验。
工作职责
专注于大模型后训练，包括蒸馏+SFT/RL等相关技术，目标提升LLMs/LMMs的综合效果以及垂直场景效果，同时降低模型尺寸以减少部署成本，具体职责包括： 1、深入探索LLM蒸馏技术，对大模型进行极致的轻量化，同时尽可能减少模型的综合性能/垂直领域性能损失； 2、从数据合成、蒸馏算法等方面，提出创新优化技术，减少蒸馏带来的灾难性知识遗忘问题； 3、提出强化学习等创新方法，提升蒸馏后小模型解决复杂问题的能力，探索面向不同的复杂度任务自动调整推理模型思考长度的技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的蒸馏+RL训练工具； 5、基于蒸馏+RL等后训练技术，面向Agent等LLM重点应用场景，构建业界领先的效果优化解决方案。
背景：大语言模型（LLM）评测是LLM开发和应用中的关键环节。基于模型的自动评测技术，面向复杂任务，例如知识推理（Knowledge Reasoning）、多轮会话（Multi-tern Dialogue）、文本生成（Text generation）等，具有独特的优势，逐渐成为学术界和工业界关注的热点。 涵盖技术点包括： 1. 基于裁判员模型的自动评测技术（Model-based Automatic Evaluation for LLM），涉及LLM/RL相关模型的算法设计、训练、推理等内容 2. 基于模型的自动评测框架设计，裁判员模型在不同任务和细分领域的性能优化
研究领域： 人工智能 项目简介： 在医疗领域，基于大模型的医学诊疗规划和决策一直面临着医学推理能力弱（医学事实性不足）、依据不足（可信性不足）、精准个性化不够（指导性不足，存在过度医疗的伦理风险）等问题。我们旨在结合先进的大推理模型、海量的医疗数据和专业医学专家的知识，依次完成以下研究和落地： 1. 研究大模型推理理论，建设一批高水平专家 AI 诊断推理智能体。 2. 研究复杂多智能体交互协同框架。 3. 落地面向下一代的自我进化的精准诊疗规划和可信医疗决策系统。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。