腾讯大模型训练框架研发工程师-精调/蒸馏方向
任职要求
1.计算机科学、数学、电子工程等相关专业硕士及以上学历，3年以上深度学习框架或工具链开发经验，精通Python，熟练使用C++； 2.有Megatron-LM、DeepSpeed等开源框架使用或二次开发经验，理解分布式训练、显存优化技术； 3.熟悉强化学习（RL）、知识蒸馏、模型压缩等算法原理，具备相关模块开发经验； 4.熟悉CUDA编程、高性能计算优化（如算子融合、通信优化）者优先； 5.熟悉NCCL、MPI等集合通信算法者优先； 6.工程经验上具备大型项目架构设计能力，能独立解决性能调优、多节点调试等复杂问题； 7.综合素养；强烈的技术热情，良好的沟通能力与团队协作精神。 加分项 1.在顶级会议（NeurIPS/ICML/CVPR等）发表过框架优化或算法相关论文； 2.活跃于开源社区（如PyTorch、HuggingFace项目贡献者）； 3.有LLM训练、RLHF全流程开发经验； 4.在同等条件下，通过腾讯云认证或取得同等资格认证的候选人，我们会优先考虑。
工作职责
1.框架开发与优化：负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性； 2.分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈； 3.工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配； 4.前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力； 5.协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户。
1.负责应用开发领域内 AI agent 的工程架构设计，研发和演进，包括但不限于客户端/服务端业务逻辑代码、数据库结构生成等，辅助开发者完成应用开发； 2.参与设计和搭建用于训练、评估和优化Agent AI的框架，优化 LLM 在特定领域内表现，提升业务效果； 3.参与LLM 模型的优化及实现工作，包括不限于数据构建、模型微调优化、领域蒸馏参数轻量化部署等； 4.关注最新的AI研究趋势，尤其是大语言模型领域的进展，并将这些研究成果应用到Agent AI研发中。
1. 行业垂直大模型训练与优化：负责针对特定行业进行垂直大模型的端到端训练与精调，深度挖掘行业数据价值，构建具备专业知识壁垒的AI核心能力。 2. 前沿技术探索与落地： 跟踪大语言模型、多模态及强化学习等前沿算法，并将其创造性地应用于钉钉的核心业务场景（如行业解决方案、商业化产品等），负责从技术到产品的全链路落地，持续推动AGI在真实世界中的价值实现。 3. AI原生应用构建： 依托钉钉强大的AI平台与自研的垂直大模型，主导构建AI原生应用。重点方向包括但不限于：高级认知搜索、可自主执行任务的智能体 (Agentic AI)、以及深度内容洞察与生成工具，打造具有核心用户价值和行业影响力的产品。 4. 智能化场景创新： 探索大语言模型、多模态及扩散模型等技术，在搜索、推荐、广告等场景的创新应用，设计并实现新一代智能化解决方案，提升用户体验与商业效率。
1、精通AI项目实施技术架构，负责设计、规划和实现项目中的AI技术架构、集成架构和技术解决方案； 2、负责AI模型相关研发工作，聚焦大模型预训练和领域精调，包括模型架构、LLM大模型预训练方法、高效微调、模型评估及迭代、 3、参与LLM训练框架和应用平台建设，设计和开发数据采集和加工流程，调研、追踪和复现生成式大模型的最新进展和效果。 4、构建可快速适配和落地的行业大模型生产体系，探索并支持在行业中的应用场景，包括但不限于图文生成、代码生成、智能对话等。 5、跟踪AI领域的最新技术动态，探索AI工具在开发中的创新应用，参与技术分享与培训，提升团队整体技术水平。 6、管理AI技术交付团队，协同管理生态伙伴交付团队，合理分配工作任务并监督执行，确保团队目标的顺利达成。
1、精通AI项目实施技术架构，负责设计、规划和实现项目中的AI技术架构、集成架构和技术解决方案； 2、负责AI模型相关研发工作，聚焦大模型预训练和领域精调，包括模型架构、LLM大模型预训练方法、高效微调、模型评估及迭代、 大模型prompt等内应用落地。 3、参与LLM训练框架和应用平台建设，设计和开发数据采集和加工流程，调研、追踪和复现生成式大模型的最新进展和效果。 4、构建可快速适配和落地的行业大模型生产体系，探索并支持在行业中的应用场景，包括但不限于图文生成、代码生成、智能对话等。 5、管理AI技术交付团队，协同管理生态伙伴交付团队，合理分配工作任务并监督执行，确保团队目标的