字节跳动端到端具身智能系统架构专家 - 火山引擎
任职要求
1、5年以上自动驾驶车载系统架构设计经验，有完整智驾项目从0到1架构搭建与量产落地经验； 2、深入理解智驾软件栈分层逻辑，熟悉ROS2、DDS等中间件，有主流车规芯片架构适配经验； 3、有端到端自动驾驶、VLA/VLM、多模态模型或…
工作职责
团队介绍：火山引擎是字节跳动旗下云和AI服务平台，将字节跳动快速发展过程中积累的增长方法、技术能力和应用工具开放给外部企业，通过云和AI技术，推进企业智能化转型，激发增长潜能。 1、负责端到端VLA具身系统的实体智能体端整体架构设计，主导模型部署、推理调度、数据交互等链路的架构设计与性能优化，保障端侧算力平台上的系统实时性与资源利用效率； 2、定义模型与感知、定位、导航、运动规划、执行控制、诊断、日志、监控等模块之间的系统交互方式和工程接口，构建清晰的系统分层与协作逻辑； 3、建立系统级验证与准入机制，推动闭环仿真、真机测试、问题归因和版本发布全流程落地，保障版本交付质量与迭代效率； 4、设计系统级安全边界、异常检测、降级策略和冗余机制，保障端到端模型在实体智能体运行过程中的可控性和工程可靠性； 5、协同模型、算法、数据、部署、测试、硬件等跨团队，推动具身智能能力从原型验证到端侧集成、演示交付及规模化演进，沉淀跨场景通用架构能力。
1. 负责具身/智驾端到端闭环仿真系统的架构设计与核心模块开发，构建支持感知、预测、规划、控制算法闭环接入的仿真平台； 2. 负责算法闭环接入框架开发，包括算法接口适配、数据流管理、时序同步、模块调度、仿真运行控制与结果回放； 3. 负责具身/智驾仿真 evaluation 系统建设，包括指标体系设计、评测任务编排、批量仿真、结果分析、问题定位与报告生成； 4. 负责端到端物理传感器仿真能力开发，包括 Camera、LiDAR、Radar、IMU、GPS 等传感器模型、噪声模型、标定参数和数据输出链路； 5. 负责仿真引擎性能优化，包括多线程调度、渲染性能、传感器生成效率、场景加载、内存管理和大规模并行仿真能力建设； 6. 与具身/智驾算法、数据、测试和基础平台团队协作，支撑模型训练、算法验证、回归测试、corner case 复现等核心业务流程；
1、负责统一语音多模态大模型的设计、训练、优化，涵盖语音识别、语音合成、语音理解、文本-语音融合、跨模态检索与生成等方向； 2、推动语音与其他模态（文本、图像等）在统一建模框架下的深度融合，提升模型的理解、生成与交互能力； 3、跟踪并研究前沿的多模态学习方法，包括但不限于Transformer、对比学习、扩散模型、自监督学习、强化学习等； 4、参与大规模数据预处理、模型训练与推理优化，推动模型在实际场景中的高效部署； 5、与产品、工程团队紧密协作，将研究成果应用于智能助手、虚拟人、智能硬件、会议记录等业务场景。
1、负责/参与端到端自动驾驶模型的性能迭代与突破，通过数据和模型的优化迭代，推动模型在量产产品中的效果闭环； 2、深度搭建并优化数据挖掘与数据闭环链路，基于量产场景的真实数据分布，设计高效的数据筛选、清洗、标注、回流策略，通过数据驱动的方法持续提升模型在长尾场景、极端工况下的鲁棒性与可靠性，要求具备量产项目中数据驱动性能提升的实战落地经验； 3、负责/参与合成数据相关工作，聚焦长尾场景数据补充，通过合成数据与真实数据的协同应用，实现模型在长尾场景下的性能显著提升，要求具备合成数据落地应用的实战经验； 4、构建并迭代端到端模型评测体系，结合仿真测试、实车验证等多维度手段，建立科学的性能评估指标与自动化评测流程，能通过评测结果精准定位模型短板，并主导评测系统的优化升级，为模型迭代提供核心决策依据； 5、具备模型训练相关经验者优先（包括大规模数据训练、分布式训练、训练框架应用等场景经验）； 6、传统决策规划算法领域的优秀人才优先考虑； 7、紧跟业界前沿技术动态，重点研究自动驾驶领域最先进的数据闭环方案、评测方法与端到端模型应用，推动技术预研与工程化落地，保持团队在数据驱动与评测体系上的核心竞争力。
1. 端到端模型研发： 负责新一代 End-to-End 自动驾驶算法的泊车场景的研发，包括但不限于基于 World Model（世界模型）、Video Generation（视频生成） 或 VLM（视觉语言模型） 的驾驶策略生成。 2. 数据闭环与评测： 搭建针对生成式规划算法的自动化评测体系，利用大模型进行数据挖掘、自动标注（Auto-labeling）及场景重建，通过数据闭环持续提升模型性能。