高德地图高德-大模型推理工程师/专家-LLM/语音方向
任职要求
1.计算机相关专业，硕士优先，3年以上模型推理、部署经验。 主导过LLM或音视频生成模型的工程化落地项目。 2.熟练使用C++/Python，掌握Triton/TensorRT Serving等推理框架二次开发。 3.精通PyTorch/TensorFlow模型优化技术（量化/剪枝/蒸馏），熟悉ONNX模型转换与加速，精通CUDA编程与GPU性能调优。 4.熟悉大模型微调与推理加速联合优化，参与过开源推理框架（如vLLM、FastTransformer、DeepSpeed）核心开发者优先。 5.具备优秀的团队协作与沟通能力，能协调跨部门资源推进项目。
工作职责
1. 负责语言大模型（LLM）、语音生成模型、SpeechLM等推理优化加速，通过量化压缩、算子融合、动态批处理等技术，优化推理延迟。 2. 负责高性能推理框架设计，支持多模型混合部署（如LLM+TTS联合推理），优化GPU/NPU资源利用率。 3. 负责音频生成模型工程化落地，优化音频生成模型的推理管线，解决内存占用高、流式生成卡顿等问题。 开发多模态生成链路，优化跨模型数据传输与计算资源调度。 4. 负责构建模型推理监控系统，实时追踪推理指标，设计A/B测试框架验证优化效果。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、以自研推理引擎为中心的在线推理服务和近离线批式推理任务框架，负责超大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关，为搜索、推荐、审核等业务提供深度模型推理全场景端到端解决方案； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案，技术方案不限于子图匹配、编译优化、模型量化、异构硬件等； 3、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 4、与算法部门深度合作，进行算法与系统的联合优化。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发，服务于大模型推理的各业务场景（LLM/S2S/VLM/多模态等），包括模型分发加载、KV Cache存储和优化，数据IO性能优化，提高推理TTFT、TBT等核心性能指标； 2、负责设计和实现面向大模型推理的多层级存储系统，综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统（HDFS/对象存储）等多种介质进行数据的存储和迁移管理，实现「近计算缓存+远端大容量存储」的一体化分级系统； 3、负责优化大模型KV Cache命中率，从推理框架，流量调度，多级缓存等多个系统纬度入手定制化优化策略；优化数据的读取性能，充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输；优化数据副本的存放策略，实现负载流量和存储数据的合理化分布； 4、负责设计和实现高效、易用的数据访问接口，实现和推理框架、引擎的无缝对接，管理KV Cache的生命周期； 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控，确保稳定性； 6、负责多机房、多地域、多云场景的系统搭建和容灾，优化跨集群的数据摆放。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理； 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度，KVCache centric调度，实现动态、及时、准确的扩缩容管理； 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排，充分发挥大规模分布式集群算力； 4、负责大模型服务的稳定性，通过线上和线下的多系统联动，实现在多种异构资源（GPU、CPU、其他异构硬件）、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复； 5、负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理； 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度，KVCache centric调度，实现动态、及时、准确的扩缩容管理； 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排，充分发挥大规模分布式集群算力； 4、负责大模型服务的稳定性，通过线上和线下的多系统联动，实现在多种异构资源（GPU、CPU、其他异构硬件）、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复； 5、负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布。