字节跳动多模态大模型优化实习生-Data AML
任职要求
1、2027届硕士及以上学位在读,计算机/人工智能/软件工程相关专业优先; 2、实习时间6个月以上,具备优秀的编程能力,扎实的数据结构和基础算法功底,熟练掌握Python,熟悉深度学习框架(如PyTorch),有CUDA/Triton使用经验者优先; 3、在计算机视觉、深度学习领域顶级期刊或会议(如CVPR、ICCV、NeurIPS、PAMI等)发表过论文者优先;对扩散模型、视觉Transformer或生成式A…
工作职责
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界效果领先的生成模型Seedance/Seedream相关工作,理解模型Seed-VLM的软硬件协同优化和算法优化逻辑,构建业界领先的模型优化能力矩阵; 2、研发面向多端异构平台的量化&稀疏、MOE压缩、Token压缩、Cache复用、投机解码、KV Cache压缩等加速算法,构建Training-Free或结合Post-Training/RL-Training的加速算法能力; 3、面向分布式训练/推理场景,深度挖掘模型表示位宽、分辨率、步数、结构等维度的冗余,通过算法和工程创新加速训练和推理过程,实现降本增效; 4、探索Efficient AIGC、Efficient LLM领域最前沿的问题,包括多模态理解生成统一建模加速、结合RL训练的模型优化等方向。
日常实习:面向全体在校生,为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍:Data AML是字节跳动公司的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外,AML还在AI for Science,科学计算等领域做一些前沿研究。 1、AML负责给字节跳动提供大规模机器学习的算力,算法团队负责探索大算力与算法和应用如何结合,例如文本/ID生成式推荐、模型Scaling Law、用户超长序列端到端建模等; 2、参与抖音、今日头条等产品中机器学习算法应用与优化,包括推荐、广告、多模态等需要利用大量算力的地方; 3、和工程团队密切配合,探索新的架构下新的算法。
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、参与字节跳动AI开发平台的需求调研、产品设计与功能迭代; 2、通过用户调研、数据分析等方式了解需求和使用场景,产出需求文档并推进落地; 3、跟踪产品上线效果、用户反馈,为产品功能的优化提供合理建议; 4、通过优化产品体验、文档等方式为用户提供支持,提升产品体验和用户满意度; 5、关注AI领域的技术和产品动态,为团队提供有价值的洞察和行动方案。
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界先进开源LLM/VLM模型的推理优化部署,构建业界领先的模型推理优化能力; 2、负责完善不同芯片的推理适配和优化技术体系,提升大模型x芯片类型矩阵的适配与优化效率; 3、负责新型异构芯片在多种大模型上的分析评估工作; 4、负责前沿技术的调研评估和引进落地,例如前沿论文中的推理加速技术、软硬协同优化、新异构硬件特性等。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。