阿里巴巴算法工程师-大语言模型（代码研发 & 端侧模型）（T-Star Lab 日常实习）

任职要求

1. 计算机科学、人工智能、机器学习或相关领域专业、研究方向，硕士及以上学历在校生。
2. 在自然语言、LLM大模型、多模态大模型、大模型轻量化等相关领域的研究研发经验。
3. 具备出色的编程能力，熟练掌握Pytorch等深度学习框架和Python编程语言。
4. 敢于…

工作职责

核心职责与研究课题：
1.  研发垂域大模型：面向淘宝复杂工程技术体系，构建懂淘宝上下文的研发垂域大模型。
①设计面向复杂工程系统的大模型数据构建和训练策略，涵盖离线的研发数据的高质量组织与清洗、在线人机协同的用户轨迹数据组织与迭代、算法训练方式策略选择（CPT、SFT、RL/RLHF）等；
②攻克研发场景的大模型面临的工程系统关系理解、研发领域知识显式记忆与推理、研发域差异化任务规划及工具调用、及情景感知检索等方向难题，打造懂业务、懂架构的研发智能体能力。

2.  端侧大模型探索：结合淘宝开源端侧深度推理引擎 MNN，探索极致高效的端侧大模型技术。
①摒弃单纯的模型压缩思路，以端侧NPU/CPU/GPU 的硬件特性牵引大模型架构设计，探索并设计适合端侧运行的高效模型架构，在有限算力下突破性能瓶颈；
②负责端侧模型的全流程训练探索，涉及从预训练及后训练优化，结合投机采样、KV Cache优化、混合量化等优化，得到高性能的端侧大模型。

T-Star实习可以带给你什么？
① 加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。
② 跟企业大牛导师/学术界名导一起做有价值的课题。
③ 丰富的技术资源、海量的数据与优秀的团队助力发paper。