字节跳动大模型训练优化工程师-Seed
任职要求
1、本科及以上学历，计算机、软件工程、人工智能等相关专业优先； 2、工程或机器学习算法有深厚的功底和经验； 3、历史上解决过难题，遇到难题时能静下心，没有畏难情绪，能查到底层，观察敏锐，逻辑清晰； 4、由衷热爱技术，有强烈的工作责任心，较好的学习能力、沟通能力和自驱力； 5、良好的沟通协作能…
工作职责
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责超大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。
1、负责具身智能相关模型云侧和端侧模型的性能优化和部署； 2、运用性能分析工具，对模型推理过程进行性能剖析，定位性能瓶颈，提出有效的优化方案，并通过实验验证优化效果； 3、通过量化、剪枝、蒸馏、算子融合、Cuda算子编写等性能优化的手段，结合业务需求，将GPU性能发挥到极致； 4、与算法部门深度合作，进行算法与系统的联合优化。
1、面向机器人应用场景探索多模态大模型技术，包括数据构建、指令微调、偏好对齐及模型优化等工作； 2、推动多模态大模型在机器人感知、定位、操作和交互等领域的创新应用，并致力于实现系统性能的极致优化。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、深度参与图像生成、视频生成、多模态视觉理解等视觉大模型训推一体化平台建设； 2、负责视觉大模型训练优化算法研究和落地，通过5D并行、通信优化、AutoCheckpointing等分布式训练手段提升模型的训练速度与效率； 3、通过编译优化、模型并行优化、图融合、高性能算子开发、低精度计算、Memory复用、Cache优化、高并发服务请求优化等技术，打造业界领先的高性能大模型训推引擎； 4、与算法部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，优化和部署视觉大模型，支持AI工具链和技术生态建设，推动字节跳动AI关键业务发展。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估：负责评估符合业务要求的异构计算芯片，建立/完善评估体系、负载模型，预估业务收益； 2、推理：负责异构计算芯片落地实际推理业务，适配异构计算芯片特性，降低推理时延，提高推理吞吐； 3、训练：负责异构计算芯片落地实际训练业务，根据芯片计算、通信特性，优化显存占用，提高训练吞吐； 4、算子：负责开发异构计算芯片的高性能算子，根据芯片特性，优化算力、带宽利用率； 5、编译：负责通过编译技术实现异构计算芯片在不同业务场景中落地，负责实现更加高效的异构硬件编程范式； 6、调研：负责调研、验证前沿软硬件结合方向，比如稀疏计算（Sparse Computation）、存内计算（In-Memory Computing）、数据流计算（DataFlow）等。