深度求索大模型训练/推理框架工程师
任职要求
1.基础扎实，学习能力强，愿意深入复杂系统和底层细节。 2.代码能力强，代码品味好，擅长与 Code Agent 合作。 3.对大模型训练、推理、RL、多模态系统优化有强烈兴趣。 4.熟悉 Python / C++ / Rust 之一，了解 PyTorch。 【加分项】 1.在大型开源软件中有深度贡献，或有优秀个人开源项目。 2.在高性能计算相关赛事（SC / ASC / ISC / …
工作职责
【团队使命】 AGI 的成功，离不开对极致工程系统的追求。我们致力于为 AGI 构建基础设施，打造高效、稳定、可扩展的工程系统，支持前沿探索的持续迭代、先进模型的大规模训练、以及面向全社会的极致性价比服务。我们的产出陪伴着每一代模型从能力验证一路走向大规模落地，长期、持续为下一代智能应用提供坚实基础设施底座。 【岗位类别】：实习/全职 1.建设分布式训练推理系统，包括模型并行、长上下文、MoE、低精度训推等。 2.建设 RL 训练系统，包括异步 RL、Agent RL、OPD 等。 3.建设多模态训练系统，包括模型结构搭建、性能显存优化、数据读取加速等。 4.设计和开发大规模推理服务的 KV Cache 磁盘缓存、负载均衡等策略。 5.与算法团队协作，支持新模型、新算法快速落地。
1. 大模型训练系统研发：构建支持百亿～万亿参数规模的高性能分布式训练框架，覆盖稠密模型与稀疏MoE模型，探索万卡级别的扩展与调度优化； 2. 大规模分布式推理系统优化：构建支持超长序列的并行推理引擎，结合缓存管理、自动并行、量化、蒸馏等手段优化成本与时延； 3. 强化学习与对齐系统建设：研发多种强化学习与对齐算法（如SFT、RM、RLEF等），提升模型在数学、代码、多模态等领域的推理与对齐能力; 4. Agent系统与交互智能体研发：探索多工具、多Agent协同、复杂任务长链推理任务，构建奖励模型、环境沙箱、Tool-use机制，支撑未来具身智能与Agentic RL的发展； 5. 工程×算法融合创新：将前沿算法（如量化、剪枝、稀疏化、动态蒸馏、神经架构搜索等）落地到生产级系统，实现算法优化与系统性能双提升； 6. 工程&应用&业务结合方向，与算法、系统、业务团队紧密协作，在电商、内容生成、智能客服等超大流量场景中实现 LLM、VLM、Diffusion 等模型的工程闭环。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。 1、完成LLM训练/推理技术在推荐大模型场景的研发、落地和调优，解决推荐场景的大模型工程问题； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案； 3、推动基于大模型开源组件构建，设计和实现新一代推荐系统架构，支持推荐大模型在业务落地； 4、与算法团队Co-Design，推动端到端生成式推荐技术创新的预研和落地。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：架构与工程团队负责为中国交易与广告产品和业务打造大规模、可扩展、高效和稳定的工程架构支撑。团队职责包括抖音、今日头条、番茄视频等各APP端的广告架构和工程、抖音商城架构、广告创意平台等。 加入我们，可以直面超大流量规模、复杂的业务逻辑，不断探索产品和技术的演进前沿，实现新技术趋势下的业务和架构转型。期待你来，一起打造高效、智能、可信赖、可持续发展的交易与广告产品，实现用户、客户和平台共赢！ 1、完成LLM训练/推理技术在广告大模型场景的研发、落地和调优，解决广告/推荐场景的大模型工程问题； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案； 3、推动基于大模型开源组件构建，设计和实现新一代推荐系统架构，支持推荐大模型在业务落地； 4、与算法团队Co-Design，推动端到端生成式推荐技术创新的预研和落地。
