字节跳动AI异构硬件推理优化专家-Seed

任职要求

1、计算机、软件工程、人工智能、电子信息、微电子等相关专业优先；
2、熟悉Linux环境下的C/C++或Python，具备扎实的编程能力和工程习惯；
3、熟悉计算机体系结构、芯片微架构、高性能计算、分布式系统、并行计算中的至少一个方向；
4、了解大模型推理基本流程，对Serving、调度、并发、显存管理、KV Cache或分布式推理有兴趣；
5、关注延迟、吞吐、带宽、算力利用率、显存占用、网络通信和在线稳定性等性能问题。

加分项：
1、有AI芯片性能…

工作职责

团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。
Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位；目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE等超过50个应用场景，并通过火山引擎开放给企业客户；第三方数据显示，豆包App用户量在中国市场排名第一，豆包大模型日均Token调用量行业领先。

1、该岗位面向超大规模AI加速卡集群，负责豆包Seed自研LLM模型的推理业务落地，深度参与分布式推理框架优化、高性能算子开发与在线稳定性建设，支撑豆包和火山引擎的大规模在线业务流量；
2、业务Serving上线：参与豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配、性能调优和稳定性建设；
3、推理框架优化：优化调度、Batching、KV Cache、显存管理、分布式并行、负载均衡、投机推理、稀疏计算和量化等核心链路；
4、高性能算子与通信优化：面向不同异构硬件ISA开发和优化Attention、GEMM、量化、通算融合等关键LLM算子。