字节跳动高性能计算研发工程师-Seed
任职要求
1、精通C++，有良好的数据结构和算法基础，有3年以上高性能优化相关工作经验；熟悉主流的并行编程以及性能优化技术，熟悉CUDA和TensorCore编程，有相关高性能优化经验优先； 2、熟悉TVM/MLIR/XLA等自动化编译技术的优先； 3、熟悉深度学习常用算法和模型结构，有CV/NLP/语言场景模型优化经验优先，了解FasterTransformer模型推理优化框架优化，有量化/稀疏化高性能优化经验优先； 4、了解PyTorch/Tensorflow/Paddle深度学习框架优先。
工作职责
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责语音场景下高性能训推计算平台开发，支撑各业务场景下的训练、推理性能优化需求并推动业务落地； 2、负责训推高性能方案建设，跟进前沿技术，补足关键能力，构建领先的高性能训推平台。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、深度参与图像生成、视频生成、多模态视觉理解等视觉大模型训推一体化平台建设； 2、负责视觉大模型训练优化算法研究和落地，通过5D并行、通信优化、AutoCheckpointing等分布式训练手段提升模型的训练速度与效率； 3、通过编译优化、模型并行优化、图融合、高性能算子开发、低精度计算、Memory复用、Cache优化、高并发服务请求优化等技术，打造业界领先的高性能大模型训推引擎； 4、与算法部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，优化和部署视觉大模型，支持AI工具链和技术生态建设，推动字节跳动AI关键业务发展。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、解决公司大模型的系统、算法中的中长期难题； 2、系统难题包括但不限于：大规模Pretrain分布式训练，RL训练，LLM推理； 3、算法难题包括但不限于：模型结构优化，优化器；算法与工程高度结合； 4、工作灵活，可以自由参与各种技术讨论，自己发现问题，并解决问题。
1、深入探索LLM在搜索场景中的推理能力与深度研究（Deep Research）模式，优化信息整合与总结效果，打造高效、精准的智能搜索产品，推动AI技术在实际应用中的突破； 2、AI搜索总结Agent研发： 1）设计并实现基于LLM的搜索总结Agent，提升搜索结果的理解、推理与结构化总结能力； 2）探索LLM Reasoning技术（如思维链、多步推理），优化复杂查询的Deep Research模式，实现长文本理解与跨文档信息融合； 3）构建端到端系统，涵盖意图识别、知识检索、结果生成与偏好对齐，提升用户体验； 3、模型优化及应用： 1）通过指令微调（Instruction Tuning）、偏好对齐（RLHF/DPO）等技术优化模型在搜索场景的适应性； 2）探索多模态信息（文本、代码、结构化数据）融合的搜索与生成技术； 3）研究未来生活中的创新应用场景（如个性化知识助手、自动化研究工具），探索技术边界。
1、深入探索LLM在搜索场景中的推理能力与深度研究（Deep Research）模式，优化信息整合与总结效果，打造高效、精准的智能搜索产品，推动AI技术在实际应用中的突破； 2、AI搜索总结Agent研发： 1）设计并实现基于LLM的搜索总结Agent，提升搜索结果的理解、推理与结构化总结能力； 2）探索LLM Reasoning技术（如思维链、多步推理），优化复杂查询的Deep Research模式，实现长文本理解与跨文档信息融合； 3）构建端到端系统，涵盖意图识别、知识检索、结果生成与偏好对齐，提升用户体验； 3、模型优化及应用： 1）通过指令微调（Instruction Tuning）、偏好对齐（RLHF/DPO）等技术优化模型在搜索场景的适应性； 2）探索多模态信息（文本、代码、结构化数据）融合的搜索与生成技术； 3）研究未来生活中的创新应用场景（如个性化知识助手、自动化研究工具），探索技术边界。