钉钉悟空事业部-AI 语音智能体（Agent）-专家
任职要求
1. 背景要求： 计算机、信号处理、人工智能等相关专业，具有 2 年以上 语音算法或 AI 智能体开发经验。 2. 技术深度： ○ AI 驱动开发： 熟练使用 Cursor、GitHub Copilot 或其他 AI 开发工具，具备极强的 Prompt Engineering 能力，能利用 AI 快速解决复杂算法与架构问题。 ○ 双语言实战： 熟练掌握 Python（算法实验/Prompt 调优）与 Go（高性能并发服务/RTC 集成），具备从 0 到 1 解决工程落地问题的能力。 ○ AI 领域专长： 在 ASR/TTS 微调、LLM 编排（LangChain/LlamaIndex）或 RAG 优化中至少有两个领域有深入研究。 ○ 编程与加速： 熟练使用 PyTorch，了解模型量化与加速（如 TensorRT,…
工作职责
语音是人机交互中最自然、最便捷的模态。随着大模型时代的到来，语音 AI 正在从单一的任务处理向多模态、高自然度的“数字员工”演进。
在我们这里，RTC 不仅仅是传输管道，而是数字人的神经中枢。我们已经打通了 WebRTC 全链路，并实现了打断、轮次检测等核心能力。现在的目标是攻克 极致交互延迟、拟人化情感合成、以及具备 RAG 与工具调用能力的语音 Agent。加入我们，你将亲手打造一个“听得清、反应快、有记忆、能办事”的数字灵魂。我们倡导 AI-First 的开发哲学，鼓励利用 AI Coding 与 Vibe Coding 的新范式，快速将创意转化为亿万级用户的交互体验。
【岗位职责】
1. 全链路算法研发与优化：
○ 负责 ASR/LLM/TTS 全链路的协同优化。通过流式算法（Streaming）与端到端优化，挑战 RTC 场景下人机对答的物理延迟极限。
2. 语音 Agent 大脑构建：
○ RAG 与知识增强： 集成检索增强生成（RAG）技术，提升数字人在垂直领域（如医疗预约、智能客服）的专业度。
○ 实时任务编排： 研发高可靠的 Tool Use（工具调用） 逻辑，使数字人能实时操作后台系统，并处理调用过程中的长延迟等待与交互反馈。
○ 记忆管理： 建立长短期记忆系统，确保数字人在多轮复杂对话中保持语境一致性。
3. 专项技术突破：
○ 高鲁棒性交互： 研发基于深度学习的智能 VAD 与“语义打断”逻辑，解决强噪声及复杂环境下的起停点识别痛点。
○ 拟人化表达： 微调 TTS 模型（如情感自适应、口语化重写），提升音色的情感表现力与韵律感。
4. 模型工程化落地： 推动算法在 GPU 环境下的高性能部署，优化并发场景下的状态机管理、显存调度及异常重试机制。
5. 前沿预研： 跟踪并实践 Speech-to-Speech (S2S) 原生端到端交互，探索大模型驱动的语音多模态融合方案；跟踪并实践两段式（ASR+多模态/多模态+TTS）低延迟交互。我们正在寻找一位兼具技术深度与业务洞察力的大模型评测工程师，加入核心AI评测团队。你将主导构建面向真实业务场景的多目标评测体系，基于最新的Agent框架（如SWE-bench、WebArena、GAIA、AgentBench等）对LLM及多模态大模型进行系统性能力评估，并推动评测流程的AI自动化——让评测本身也由AI驱动。你的工作将直接影响模型选型、迭代方向与产品上线决策，是连接算法研发与业务落地的关键枢纽。 一、评测体系设计与方法论建设 设计并持续迭代公司级大模型评测体系，覆盖纯文本LLM（如Qwen、DeepSeek、Claude、GPT系列）与多模态大模型（图文理解、视频分析、音频交互等），建立"指标-方法-数据-工具"四位一体的评估框架。 跟踪国际前沿评测范式：从传统静态Benchmark（MMLU、GSM8K、HumanEval）到动态Agent评测（SWE-bench Verified、WebArena、GAIA、OSWorld），制定与公司业务对齐的评测方法论。 针对Agent场景（多步推理、工具调用、代码生成与执行、浏览器自动化、多智能体协作等），设计多维能力分层的评测方案，覆盖任务完成率、轨迹质量、工具选择准确率、执行效率与成本等关键指标。 二、真实业务驱动的评测数据集构建 深入理解公司核心业务场景（如智能客服、代码助手、文档理解、数据分析、办公自动化等），从中抽象出可量化的评测任务，设计贴近真实使用情况的评测数据集。 主导评测数据集的标注规范制定与质量控制，综合运用人工标注、模型辅助标注与主动学习策略，确保数据集的高质量与持续演进。 建立数据集的版本管理、难度分级与防泄漏机制，避免训练数据污染评测结果。 三、基于Agent框架的多目标任务评测执行 搭建基于主流Agent框架（LangChain/LlamaIndex、AutoGen、CrewAI、OpenAI Agents SDK、MCP协议等）的自动化评测流水线，支持大规模、可复现的模型能力基准测试。 执行多目标联合评测：在单次评测任务中同时考察模型在准确性、鲁棒性、安全性、推理效率、幻觉率、指令遵循度、多语言能力等维度的表现，输出多维度雷达分析。 针对多模态Agent场景，设计跨模态联合评测方案，评估模型在图文混合输入、视频理解与操作、语音交互闭环等复杂任务中的综合表现。 四、AI驱动的评测自动化与报告生成 探索并落地"LLM-as-a-Judge"范式：利用强模型（如Claude Opus、GPT-4o等）作为自动化评判器，结合结构化评分Rubric，实现开放式生成任务的高质量自动打分。 构建AI原生的评测报告生成管线：从原始评测日志到可视化分析报告全流程自动化，包括KPI仪表盘、能力雷达图、回归对比、错误案例分析、改进建议等。 建立CI/CD集成的评测门禁：将评测流程嵌入模型迭代流水线，实现每次模型更新后的自动化回归评测与能力变化预警。 五、跨团队协作与技术输出 与算法团队紧密协作，根据评测结果给出模型优化建议，参与模型选型与版本发布的决策评审。 与产品团队对齐业务需求，将产品侧的定性反馈转化为可量化的评测指标与测试用例。 定期输出行业模型能力竞品分析报告与技术白皮书，建立公司在模型评测领域的技术影响力。
负责产品的 AI 功能设计与研发，将大模型能力应用到实际业务中，大模型工程化落地 理解业务需求并转化为可落地的技术方案，推动 AI 能力在业务中的规模化应用 设计并开发高可用、高并发的分布式服务，构建微服务架构 负责数据库、缓存、消息队列的技术选型与性能调优 与产品、UI/UX、测试及运维团队紧密协作，确保项目高质量交付
• 负责悟空电商AI架构的整体规划与落地。聚焦于复杂多智能体系统（Multi-Agent System）、通用Skill生态与可视化工作流（Workflow）平台的顶层设计，将AI能力转化为可复用的中台组件和服务。 • 负责电商AI服务端高并发、低延迟、高可用的技术体系搭建。攻克在线推理延迟优化、大模型Token成本控制、长文本/多模态数据处理等底座工程难题，保障大促等极端场景下的业务稳定性。 • 深度参与AI产品从0到1再到规模化推广的全生命周期。协同算法、产品与运营团队，将前沿AI技术转化为能切实提升商家ROI、降低运营成本的商业化解决方案。 • 具备优秀的全栈全局观，能够主导或指导团队快速构建AI能力敏捷验证工具（如内部原型、评测看板等），加速AI业务的实验与迭代效率。 • 持续跟进大模型领域前沿进展（如MCP协议、最新多模态、Agentic Workflow等），结合电商场景进行技术储备；指导初中级工程师，提升团队整体在AI工程化领域的认知与作战能力。
• 负责悟空电商AI架构的整体规划与落地。聚焦于复杂多智能体系统（Multi-Agent System）、通用Skill生态与可视化工作流（Workflow）平台的顶层设计，将AI能力转化为可复用的中台组件和服务。 • 负责电商AI服务端高并发、低延迟、高可用的技术体系搭建。攻克在线推理延迟优化、大模型Token成本控制、长文本/多模态数据处理等底座工程难题，保障大促等极端场景下的业务稳定性。 • 深度参与AI产品从0到1再到规模化推广的全生命周期。协同算法、产品与运营团队，将前沿AI技术转化为能切实提升商家ROI、降低运营成本的商业化解决方案。 • 具备优秀的全栈全局观，能够主导或指导团队快速构建AI能力敏捷验证工具（如内部原型、评测看板等），加速AI业务的实验与迭代效率。 • 持续跟进大模型领域前沿进展（如MCP协议、最新多模态、Agentic Workflow等），结合电商场景进行技术储备；指导初中级工程师，提升团队整体在AI工程化领域的认知与作战能力。