百度视觉技术部 视觉架构研发工程师（J83377）

1、设计和实现机器学习平台系统, 包括dataloader/工具链/组件等AI基础设施, 落地业务功能需求; 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务的训练任务; 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。

团队介绍： 高德语音技术部，是负责高德全栈语音技术的综合性团队。团队核心技术能力包括：自研TTS基座大模型、端侧模型、多语种、RTC流式语音、语音内容生成、语音识别、多模态模型、模型服务与推理。业务支撑面向高德全部核心场景，包括语音导航、AI领航员、IP语音定制、国际化、AI语音助手、智能外呼、内容生成等。 团队定位是通过前沿语音技术的研究和落地，赋能下一代AI产品创新。 具体职责： 围绕voice agent/speech language model的研究工作，包括但不限于如下事项： 1. 为满足AGI时代"活人感"语音交互的需求，致力于完成包括但不限于以下目标：复杂声学+时空信息的声学理解、通过图灵测试水平的交互节奏 / 交流内容 / 语音输出，并完成所需的技术创新； 2. 多模态对话大模型的研发、语音对话pipeline方案以及端到端方案的交互能力搭建、全双工交互能力搭建，落地到高德多项agent应用场景； 3. 跟进最领先的语音理解/语音生成/语音交互技术，包括但不限于提出新的技术框架、改进现有的算法、持续提升相关技术及业务指标，鼓励撰写论文及申请专利； 4. 探索前沿方向，如更加高效且合理的模型架构、跨模态（文字/语音/视觉）混合训练的最佳实践、基于speech language model的后训练技术、COT Reasoning in streaming full-duplex、proactive interaction，等等。结合全链路各个agent，持续提升voice agent的交互体验； 5. 海量的语音数据的处理构建：定性分析、定量评估、参与设计自动评估框架，研发 scalable 的改进方案，持续提升数据质量。

1.定义并开发机器人关键技术，如关节设计、灵巧机械手、电驱动和传动系统、控制系统、机器视觉、边缘计算等； 2.能够结合生产式人工智能技术探索可商业化的机器人系统并能够开发原理样机验证可行性； 3.负责研发、选择机器人系统 如SCARA、Articulated Roboic Arm、RGV、AMR,、Delta 等； 4.熟悉ROS Moveit, Gazebo、Fanuc RoboGuide等开源和商业化创建模拟和离线编程工具及机器人开发环境； 5.营造我们团队成员的自驱成长思维，推动具有责任感和极端主人翁精神的高绩效团队文化； 6.直接参与概念、设计、架构和研发路线的制定和审查。

1.负责VLM Agent核心能力研发，包括但不限于多模态理解（图像/视频+文本）、指令遵循、自主规划、工具调用、记忆机制设计，实现Agent在特定场景的端到端自主决策与执行能力； 2.参与VLM模型的微调、适配与优化，结合Agent业务场景需求，提升模型的需求理解、工具使用和推理总结能力，提升跨模态交互流畅度和视觉理解精度等； 3.负责 VLM 基础模型能力的边界探索，研究基于强化学习的视觉推理增强技术，优化模型架构与推理策略，持续提升模型在细粒度视觉感知、复杂 UI 理解与跨模态逻辑对齐等高难度任务上的表现，探索 VLM 的 Scaling Law 新路径； 4.结合业务场景，梳理Agent应用需求，推动VLM Agent从原型验证到产品化落地，迭代优化产品体验； 5.跟进VLM与AI Agent领域前沿技术（如复杂任务规划、Think with images、RL 等），开展技术预研与创新，将前沿技术转化为实际业务价值。