钉钉千问办公-视觉Agent 算法专家-钉钉
任职要求
计算机、人工智能、模式识别、自动化等相关专业，本科及以上，具备扎实的机器学习/深度学习基础。 熟悉计算机视觉与视频理解核心方向，具备检测、分割、跟踪、动作识别、时序建模、事件分析等相关经验。 熟悉 VLM/MLLM/Omni 多模态模型原理及应用，有视频理解、多模态问答、视频 Agent 或具身/交互式智能体经验者优先。 熟悉大模型后训练方法，包括 SFT、DPO、RL/RLHF 等，对 Agent 能力对齐、任务分解、规划推理有实战经验。 具备 Agent/tool use/function calling/RAG 相关经验，能够设计基于工具增强的多轮推理流程。 熟悉长短期记忆、上下文管理、时序信息压缩与检索机制，有长视频理解或流式视频分析经验者优先。 熟练使用 PyTorch，具备模型训练、微调、部署与性能优化能力；有…
工作职责
负责面向真实业务场景的视频分析 Agent 算法研发，围绕实时视频理解与离线长视频复杂任务分析两大方向，构建具备感知、记忆、规划、推理与工具调用能力的多模态智能系统。 岗位职责 1、负责实时视频分析 Agent研发，融合 CV、VLM、Omni/多模态大模型等能力，服务于工业质检、巡检、SOP 合规、Streaming Video 交互等场景； 2、设计并优化面向视频流场景的长短期记忆机制、事件检测、异常告警与状态跟踪能力，提升实时性、稳定性与准确率； 3、负责通用/专用视觉模型在垂直场景中的微调、适配与性能优化，包括检测、识别、时序理解、多模态问答等任务； 4、负责离线长视频分析 Agent能力建设，提升模型在复杂任务中的自主拆解、规划、多步推理、细粒度分析与结果归因能力； 5、基于 SFT、RL/RLHF、DPO、Agentic RL 等后训练方法，提升大模型在Planning、Reasoning、Function Calling、RAG、数据洞察等方面的能力； 6、构建视频分析 Agent 的工具使用体系，支持如 crop_video、zoom-in、片段重采样、目标聚焦、证据回溯等能力，形成“观察—推理—行动—验证”闭环； 7、设计高质量训练数据与评测体系，持续提升长视频复杂任务上的准确率、鲁棒性、可解释性与泛化能力； 8、与产品、工程、业务团队协作，推动算法方案在真实场景中的落地与迭代。
1. 负责视觉Agent系统的全链路设计与开发，构建融合多模态感知、动态决策与自动化执行的视觉智能系统，推动复杂场景下的图文多模态/视频理解、交互与生成能力。 2. 负责视觉Agent核心算法的研发与优化，包括但不限于多模态大模型视觉感知、图像生成、多模态对齐（如文本-图像-视频）等方向，持续提升系统的鲁棒性与泛化能力。 3. 研发视觉Agent的协作机制，支持多智能体协同任务（如跨模态推理、工具调用），优化模型在实时性、资源效率及长上下文处理中的表现。 4. 研发大模型在业务场景下关键能力的应用研发，包括但不限于知识和指令遵循、分析诊断、深度推理、反思和评估等能力的优化和落地。 5. 结合业务场景设计并落地视觉Agent应用，赋能业务智能化升级。 6. 跟踪计算机视觉与大模型交叉领域的前沿技术，探索创新技术在实际场景中的落地路径。
团队介绍： 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现高精度地图、三维重建、LLM/VLM，AI Agent等核心技术，持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕，更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门，我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心，推动智能出行与真实世界连接的深度融合。 团队gihub主页： https://github.com/amap-cvlab 为何加入我们？ 1. 挑战业界顶尖难题： 处理百亿级位置数据，攻克动态世界中海量POI的实时、精准感知与理解，定义未来地图的“AI之眼”。 2. 驱动国民级应用创新： 你的技术将直接应用于高德地图数亿用户依赖的扫街榜等核心功能，实现从技术突破到产品颠覆的全流程落地。 3. 置身前沿技术浪潮： 在三维地图、世界模型、具身智能等前沿领域进行深度探索与研发。 4. 预研与业务深度结合：在这里，你将同时接触到面向未来的技术预研和支撑亿级用户的业务算法。我们提供从0到1的创新探索环境，也看重从1到N的规模化落地能力。 职位描述： 1.主导基于大模型的AI Agent全生命周期研发，包括通用型及垂直领域AI Agent的应用架构设计、数据构建、模型训练与评测； 2. 运用SFT、RL等Post-training训练方法，探索多模态与RL的结合，提升大模型/多模态大模型在自主规划（Planning）、多步推理、多模态RAG、工具调用、复杂指令理解等方面的能力； 3.跟踪LLM、VLM与Agent领域的国际前沿技术动态，推动技术创新在业务场景中的落地应用。
负责面向真实业务场景的视频分析 Agent 算法研发，围绕实时视频理解与离线长视频复杂任务分析两大方向，构建具备感知、记忆、规划、推理与工具调用能力的多模态智能系统。 岗位职责 负责实时视频分析 Agent研发，融合 CV、VLM、Omni/多模态大模型等能力，服务于工业质检、巡检、SOP 合规、Streaming Video 交互等场景。 设计并优化面向视频流场景的长短期记忆机制、事件检测、异常告警与状态跟踪能力，提升实时性、稳定性与准确率。 负责通用/专用视觉模型在垂直场景中的微调、适配与性能优化，包括检测、识别、时序理解、多模态问答等任务。 负责离线长视频分析 Agent能力建设，提升模型在复杂任务中的自主拆解、规划、多步推理、细粒度分析与结果归因能力。 基于 SFT、RL/RLHF、DPO、Agentic RL 等后训练方法，提升大模型在Planning、Reasoning、Function Calling、RAG、数据洞察等方面的能力。 构建视频分析 Agent 的工具使用体系，支持如 crop_video、zoom-in、片段重采样、目标聚焦、证据回溯等能力，形成“观察—推理—行动—验证”闭环。 设计高质量训练数据与评测体系，持续提升长视频复杂任务上的准确率、鲁棒性、可解释性与泛化能力。 与产品、工程、业务团队协作，推动算法方案在真实场景中的落地与迭代。
1. 参与研究最前沿的AIGC技术，探索其在游戏研发管线中的应用，把技术转化为优化游戏生产和升级玩家体验的实际解决方案。 2. 基于高质量数据集，参与图像编辑、图像生成后训练、贴图生成、视频生成等相关研发，优化游戏美术生产流程的品质表现和生产效率。 3. 参与VLM多模态算法研发，包括图像/视频/3D内容理解与质量评价的多模态模型训练与优化，提高AIGC Agent的基座模型能力，探索AI在数据管理、资产验收和游戏测试中的实际应用。 4. 参与音频驱动动作生成、动作补间、视频动捕等模型的训练，探索AI在游戏演出中的生产应用。 5. 参与AIGC Agent和游戏生产工具研发，将模型能力接入实际工作流程，帮助美术、TA、程序、策划等团队更高效地完成内容制作、检查和迭代。