小红书大模型分布式训练引擎研发实习生
任职要求
任职资格： 1、优秀的代码能力、数据结构和基础算法功底，熟悉Python开发，熟悉 Linux/Git开发环境； 2、有较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步（⭐️有大牛带着成长） 2、熟悉至少一种主流基础深度学习训练框架（TensorFlow/PyTorch/PaddlePaddle等）的使用和实现； 3、了解主流LLM模型结构，使用过至少一种主流LLM训练框架（Megatron-LM/DeepSpeed/veRL等）； 加分项：…
工作职责
工作职责： 1、参与千亿级大模型的分布式强化学习 RL 训练框架研发，提升百卡~千卡级训练吞吐与资源利用率 2、参与 100B以上多模态强化学习算法流程适配（如DAPO等），各领域任务的 RL 正确性验证 3、实验并调优不同并行策略（Tensor/ZeRO/FSDP/Pipeline Parallelism）在超大规模模型上的最佳配置组合 4、协助定位分析分布式训练中的关键性能瓶颈（如GPU利用率低、显存瓶颈、网络通信阻塞、I/O延迟等），设计并实施优化方案进行验证。 5、参与研发/优化训练引擎的关键特性，如大规模集群下的稳定断点续训、高性能异步Rollout机制、以及高性能算子（Kernel）的集成与优化。
Top Seed人才计划-豆包大模型研究实习生专项：面向 2025 年 9 月及以后毕业的博士及本硕在读同学，加入我们，你可以自主决定研究课题，与正式员工享受同等权限和资源，和优秀的研究员一起，向智能上限发起挑战。 团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、多模态引擎研发：研发融合文本、视觉、语音的角色类大模型，优化角色生成的真实性与情感表达（如虚拟助手、游戏 NPC、互动剧角色），突破多模态对齐、长期记忆、行为一致性等技术难点； 2、极致性能优化：超大规模模型的分布式训练优化，提升角色类模型的推理效率与资源利用率，指令微调、偏好对齐、数据增强等技术的场景化创新； 3、业务场景落地：支持豆包、猫箱等产品的角色生成需求，覆盖对话、创作、教育等场景，探索角色模型在智能硬件、元宇宙等领域的沉浸式交互能力； 4、前沿探索：研究人格化模型在情感计算、社会常识推理等方向的突破，定义AI角色从「功能执行」到「人格化陪伴」的技术范式。
1、参与快手大语言模型、多模态基座模型的训练/推理引擎研发及优化工作； 2、参与快手自研生成式推荐大模型训练全链路开发和优化，以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化； 3、设计和优化分布式训练框架，通过混合并行，通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题； 4、参与通用高性能RL框架的开发和优化，包括但不限于高效rollout、高效RL链路调度优化等； 5、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、AI搜索总结Agent研发： 1）设计并实现基于LLM的搜索总结Agent，提升搜索结果的理解、推理与结构化总结能力； 2）探索LLM Reasoning技术（如思维链、多步推理），优化复杂查询的Deep Research模式，实现长文本理解与跨文档信息融合； 3）构建端到端系统，涵盖意图识别、知识检索、结果生成与偏好对齐，提升用户体验； 2、模型优化及应用： 1）通过指令微调（Instruction Tuning）、偏好对齐（RLHF/DPO）等技术优化模型在搜索场景的适应性； 2）探索多模态信息（文本、代码、结构化数据）融合的搜索与生成技术； 3）研究未来生活中的创新应用场景（如个性化知识助手、自动化研究工具），探索技术边界。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、AI搜索总结Agent研发： 1）设计并实现基于LLM的搜索总结Agent，提升搜索结果的理解、推理与结构化总结能力； 2）探索LLM Reasoning技术（如思维链、多步推理），优化复杂查询的Deep Research模式，实现长文本理解与跨文档信息融合； 3）构建端到端系统，涵盖意图识别、知识检索、结果生成与偏好对齐，提升用户体验； 2、模型优化及应用： 1）通过指令微调（Instruction Tuning）、偏好对齐（RLHF/DPO）等技术优化模型在搜索场景的适应性； 2）探索多模态信息（文本、代码、结构化数据）融合的搜索与生成技术； 3）研究未来生活中的创新应用场景（如个性化知识助手、自动化研究工具），探索技术边界。