阿里巴巴业务技术-AI Agent 优化工程师-营销方向
任职要求
1、具备扎实编程基本功和 Vibe Coding 能力，能构建高质量 Prompt 模板、评测脚本与数据 Pipeline； 2、具备系统化 Badcase 分析能力，能将个案修复转化为系统性优化策略； 3、掌握主流 AI/LLM 技术体系（Transformer、预训练/微调、Embedding/RAG、对齐评估、提示工程），并能落地到效果优化实践中； 4、有 AI 工程实践经验（至少一类）：Agent/RAG、知识库、评测体系、Prompt 版本管理、AI 工具链集成； 5、熟练掌握 AI Na…
工作职责
我们正在寻找一位具备卓业务洞察与和越工程能力的 AI 优化工程师。你将作为 Agent 效果优化的核心设计者、执行者，端到端地构建、评测并持续优化 AI 应用效果，将复杂业务场景转化为可量化、可迭代的优化闭环。 1、Agent 效果优化：负责主责场景下 Prompt、知识库、Skill、工具调用、记忆等核心组件的持续迭代，交付明确的量化收益（准确率、完成率、人工接管率、效率提升等） 2、评测与归因闭环：搭建自动化评测框架，完成"数据采集 → 评测分析 → Badcase 归因 → 优化验证"的完整闭环 3、数据飞轮建设：构建数据 Pipeline 与反馈机制，回流应用行为数据用于模型微调（SFT）与针对性优化，提升模型可控性与 ROI 4、AI 改造质量流程：利用 AI 重构测试链路，包括用例/脚本自动生成、回归推荐、缺陷聚类与复盘，将测试经验产品化 5、知识沉淀与团队协作：沉淀可复用的优化资产（Prompt 模板、评测脚本、Skills、最佳实践等），与产品/研发/SRE/运营协同推进质量前移与流程优化
在大模型与智能体（Agent）成为核心交付形态的趋势下，我们亟需构建科学、高效、贴合业务目标的AI评测能力，驱动Agent能力持续突破上限。作为AI评测工程师，你将深度参与从需求定义到上线监控的全生命周期，打造覆盖能力、鲁棒性、安全性与业务价值的多维评测体系。 具体你将负责： 1. 设计并落地面向真实业务的 Agent 评测体系：针对多步推理、工具调用、代码生成、记忆管理、多Agent协作等核心能力，构建覆盖准确性、鲁棒性、一致性、安全性、执行效率等的多维评估标准与场景化 Benchmark； 2. 构建高质量动态评测数据集：基于真实业务轨迹、合成数据（Synthetic Data）、对抗样本与失败案例（Badcase），持续演进评测集，探索 Agent 能力边界； 3. 研发自动化、高扩展的评测框架与工具链流水线：实现数据管理、指标计算、结果分析与可视化的一站式支持，提升评测效率； 4. 深度分析评测结果：精准定位Agent在推理、规划、记忆、工具使用等环节的缺陷，输出结构化诊断报告与优化建议，推动agent开发团队持续迭代； 5. 评测流程标准化建设：参与AI项目全流程，从需求阶段提供评测支持到上线后的持续观测，保障评测环境稳定性、数据质量与结果可复现性 6. 跟踪LLM与Agent前沿技术（如ReAct、Plan-and-Execute、Self-Reflection等），研究并引入先进评测方法（参考GAIA、AgentBench等行业基准）；
在大模型与智能体（Agent）成为核心交付形态的趋势下，我们亟需构建科学、高效、贴合业务目标的AI评测能力，驱动Agent能力持续突破上限。作为AI评测工程师，你将深度参与从需求定义到上线监控的全生命周期，打造覆盖能力、鲁棒性、安全性与业务价值的多维评测体系。 具体你将负责： 1. 设计并落地面向真实业务的 Agent 评测体系：针对多步推理、工具调用、代码生成、记忆管理、多Agent协作等核心能力，构建覆盖准确性、鲁棒性、一致性、安全性、执行效率等的多维评估标准与场景化 Benchmark； 2. 构建高质量动态评测数据集：基于真实业务轨迹、合成数据（Synthetic Data）、对抗样本与失败案例（Badcase），持续演进评测集，探索 Agent 能力边界； 3. 研发自动化、高扩展的评测框架与工具链流水线：实现数据管理、指标计算、结果分析与可视化的一站式支持，提升评测效率； 4. 深度分析评测结果：精准定位Agent在推理、规划、记忆、工具使用等环节的缺陷，输出结构化诊断报告与优化建议，推动agent开发团队持续迭代； 5. 评测流程标准化建设：参与AI项目全流程，从需求阶段提供评测支持到上线后的持续观测，保障评测环境稳定性、数据质量与结果可复现性 6. 跟踪LLM与Agent前沿技术（如ReAct、Plan-and-Execute、Self-Reflection等），研究并引入先进评测方法（参考GAIA、AgentBench等行业基准）；
围绕真实电商核心场景，参与AI应用的系统化构建与优化，把AI变为业务增长引擎，具体工作包括： 1）AI应用全生命周期演进：深度参与业务问题建模、应用架构设计、上下文工程、训练数据构建、自动化评估体系、模型后训练优化等 2）数据飞轮构建：打造高质量数据生产链路，探索合成数据（Synthetic Data）与高效蒸馏技术方案，跑通“业务-模型-反馈”迭代闭环 3）评测体系构建：面向业务目标，设计完备的AI应用效果评估体系，构建自动化评估框架，建立离线评估与在线业务指标联动的量化评估能力 4）强化学习与奖励机制设计：构建可工程化的Reward体系与RL训练环境，提升模型在垂直业务场景中的可控性与泛化能力 5）AI外部能力体系搭建：实现AI应用所需的知识库（RAG）、长短期记忆系统（Memory）、工具调用、多Agent协作框架等 6）多模态AI应用开发：构建AI应用的多模态感知与推理能力，解决在UI自动化、视觉理解与审核、多模态会话等场景的落地应用问题
这是一个综合的AI推理、优化的技术岗位，适合从事以下工作的候选人投递： ● AI应用构建与模型优化工作的候选人 ● AI应用数据构建与自动化评测工作的候选人 ●多模态AI应用构建与算法优化工作的候选人 围绕真实业务核心场景，参与AI应用的系统化构建与优化，把AI变为业务增长引擎，具体职责包括以下相关方向的一项或多项： 1、AI应用全生命周期演进：深度参与业务问题建模、应用架构设计、上下文工程、训练数据构建、自动化评估体系、模型后训练优化等； 2、数据飞轮构建：打造高质量数据生产链路，探索合成数据（Synthetic Data）与高效蒸馏技术方案，跑通“业务-模型-反馈”迭代闭环； 3、评测体系构建：面向业务目标，设计完备的AI应用效果评估体系，构建自动化评估框架，建立离线评估与在线业务指标联动的量化评估能力； 4、强化学习与奖励机制设计：构建可工程化的Reward体系与RL训练环境，提升模型在垂直业务场景中的可控性与泛化能力； 5、AI外部能力体系搭建：实现AI应用所需的知识库（RAG）、长短期记忆系统（Memory）、工具调用、多Agent协作框架等 6、多模态AI应用开发：构建AI应用的多模态感知与推理能力，解决在UI自动化、视觉理解与审核、多模态会话等场景的落地应用问题。