字节跳动大模型算法研究实习生（大系统＆大算力）-Data AML-筋斗云人才计划
任职要求
1、2026届及以后毕业，博士在读，计算机、人工智能等相关专业； 2、掌握C/C++/Python等编程技能，有扎实的编程基础、良好的编程风格和工作习惯； 3、熟悉深度学…
工作职责
团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 课题介绍：大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，模态信息在推荐系统中的作用也越来越大。字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景，端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。期望在算法和工程CoDesign基础上，对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。工程上研究方向包括多模态样本的表征、基于Pytorch框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用；算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、AML负责给字节跳动提供大规模机器学习的算力，算法团队负责探索算法和系统的CoDesign，对推荐广告模型进行Deep & Wider的超大规模复杂化，例如7Billion/13Billion复杂化模型Scaling Law探索、长序列端到端入图建模、生成式、多模态Cotrain等； 2、参与抖音、今日头条等产品中的机器学习算法应用与优化，包括推荐、广告、多模态等需要利用大量算力的地方； 3、和工程团队密切配合，探索新的架构下新的算法。
包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。
包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。
包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。
【课题说明】 信息流广告系统一般采用“召回->粗排->精排->出价->拍卖”的多级漏斗架构，但各模块独立优化导致优化目标不一致，前链路会制约后链路上限，漏斗效率折损大。 近年来，随着大模型和生成式技术的快速发展，其强大的表征能力和良好的Scaling性质也为广告系统提供了新的可能性。本研究旨在探索如何利用生成式技术重塑整个广告系统，通过一个端到端的生成式广告大模型完成所有决策，打破多级漏斗框架，打开模型决策空间，最大化平台收益。 【建议研究方向】 1.生成式广告大模型架构设计：基于前沿大模型（如时空Transformer、MLA、MoE等），设计适配广告场景的生成式决策框架，支持根据“用户行为、实时位置、商户出价”端到端生成最优的广告商家、展示创意、相应计费。 2.多阶段的训练范式设计：借鉴LLM的分阶段训练技术（如PT、SFT、RLHF等），设计“基于海量交互的 pre-training 和 基于业务目标的 post-training ”的分阶段训练范式，提升广告大模型效果。 3.广告大模型的Scaling规律探索：探索广告场景下，生成式大模型“算力->效果”的转化规律，驱动推广搜迭代范式实现由“人工设计迭代”到“算力堆叠迭代”的跃迁。