字节跳动大模型算法研究实习生（大系统＆大算力）-Data AML-筋斗云人才计划

团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 课题介绍：大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，模态信息在推荐系统中的作用也越来越大。字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景，端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。期望在算法和工程CoDesign基础上，对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。工程上研究方向包括多模态样本的表征、基于Pytorch框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用；算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、AML负责给字节跳动提供大规模机器学习的算力，算法团队负责探索算法和系统的CoDesign，对推荐广告模型进行Deep & Wider的超大规模复杂化，例如7Billion/13Billion复杂化模型Scaling Law探索、长序列端到端入图建模、生成式、多模态Cotrain等； 2、参与抖音、今日头条等产品中的机器学习算法应用与优化，包括推荐、广告、多模态等需要利用大量算力的地方； 3、和工程团队密切配合，探索新的架构下新的算法。

包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。

包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。

包含GPU、网络、大模型框架等细分方向。 1、针对业务需求，解决算力瓶颈、通信延迟、分布式系统扩展性等问题； 2、协同算法、硬件及运维团队，构建高效、稳定的计算基础设施。 1）GPU方向：研究GPU集群的调度策略，优化资源利用率。探索混合精度计算、模型量化等GPU加速技术； 2）网络方向：设计低延迟、高吞吐的分布式网络架构（如InfiniBand/RoCE/DPU）。优化MPI、NCCL等通信库性能，解决大规模集群中的网络拥塞问题； 3）大模型工程框架方向：开发或优化大模型训练框架（如PyTorch/TensorFlow/DeepSpeed/Megatron-LM），设计分布式训练策略（模型并行、流水线并行、混合并行），提升千亿级参数模型的训练效率。研究训练加速技术（梯度压缩、显存优化、动态计算图调度）。