阿里云研究型实习生 - 面向大语言模型的知识蒸馏技术研究
任职要求
1、扎实的算法和工程能力，优良的编程风格，熟悉Python/C++语言和常用设计模式，具备复杂系统的设计开发调试能力； 2、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心； 3、熟悉计算机体系结构基础知识，…
工作职责
专注于大模型后训练，包括蒸馏+SFT/RL等相关技术，目标提升LLMs/LMMs的综合效果以及垂直场景效果，同时降低模型尺寸以减少部署成本，具体职责包括： 1、深入探索LLM蒸馏技术，对大模型进行极致的轻量化，同时尽可能减少模型的综合性能/垂直领域性能损失； 2、从数据合成、蒸馏算法等方面，提出创新优化技术，减少蒸馏带来的灾难性知识遗忘问题； 3、提出强化学习等创新方法，提升蒸馏后小模型解决复杂问题的能力，探索面向不同的复杂度任务自动调整推理模型思考长度的技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的蒸馏+RL训练工具； 5、基于蒸馏+RL等后训练技术，面向Agent等LLM重点应用场景，构建业界领先的效果优化解决方案。
该职位会专注于大规模离线LLM推理在文本处理场景中的研究和开发，具体职责包括： 1、大模型的量化调优，在较低内存和CPU算力的环境中，依然可以达到较高的token处理和生成速率。 2、常用推理框架(e.g. vLLM, Llama.cpp)，在网页文本处理任务上的性能调优，特别是针对质量分计算或者打标场景的调优。 3、中低端GPU对于小参数LLM(1.5B/3B/7B/14B等规格）的推理性能调优。
研究领域： 深度学习 项目简介： AI健康管家定位是全科三甲主任医师水平，确保健康管家问答的精准度与专业性是我们的核心追求。当前，我们正致力于对RAG（可检索增强生成模型）进行深度优化，主要聚焦于query planning、检索与生成等关键模块的独立改进。然而，构建一个能够针对不同复杂度query灵活响应的、模块化的rag系统，以及通过代理(agent)机制整合各模块以实现这一目标，尚处于初级阶段；同时，当前rag在利用知识图谱进行信息召回时，仅限于基础的1/2跳推理，这显然未能充分利用医疗领域丰富的文献与指南资源，这些资源能够为现有的图谱检索（graph rag）提供更深层次的融合与升级潜力。
研究领域： 人工智能 项目简介： 在医疗领域，基于大模型的医学诊疗规划和决策一直面临着医学推理能力弱（医学事实性不足）、依据不足（可信性不足）、精准个性化不够（指导性不足，存在过度医疗的伦理风险）等问题。我们旨在结合先进的大推理模型、海量的医疗数据和专业医学专家的知识，依次完成以下研究和落地： 1. 研究大模型推理理论，建设一批高水平专家 AI 诊断推理智能体。 2. 研究复杂多智能体交互协同框架。 3. 落地面向下一代的自我进化的精准诊疗规划和可信医疗决策系统。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。