阿里巴巴数据技术及产品部-AI算法工程-Agent算法工程师

1. 负责建立多维度Agent评测指标体系与自动化评估框架，覆盖事实性、逻辑性、安全性及业务适配性等核心能力边界； 2. 构建高管决策等真实业务场景的专项评测集，通过挖掘高频Query与合成对抗性数据，确保评测基准的鲁棒性与权威性； 3. 持续监控Agent线上回答准确率与响应质量，利用全链路追踪工具定位幻觉、检索偏差等问题的根因并输出量化分析报告； 4. 推动语义层和数据层的持续优化迭代，协同算法与数据团队完善NL2SQL解析能力及知识库治理，从源头提升RAG系统的召回准确率； 5. 负责非结构化业务文档的结构化沉淀与知识萃取，将分散的业务术语、指标口径转化为Agent可精准理解与调用的标准化语义资产； 6. 熟悉大模型训练与推理流程（如SFT、RLHF），设计高质量的微调数据集与Bad Case修复方案，驱动模型在特定垂直领域的效果持续提升； 7. 掌握主流Agent开发框架（如LangChain、LlamaIndex）与自动化测试工具链，构建高并发下的Agent稳定性测试与回归测试机制。

1.构建C端AI助手（如千问、悟空、QoderWork）的产品评测体系：围绕对话式AI助手的核心体验，从真实用户场景出发，设计评测维度、构建高质量评测集与评分标准，确保评测结果能真实反映产品的市场竞争力与用户体感。 2.驱动评测体系的产品化与平台化：负责将评测所需要的场景用例、评测流程与结果洞察封装，线上维护评测结果、对比与可视化看板，降低产品与算法团队的评测门槛，支撑快速迭代。 3.Agent与工具调用评测环境搭建：针对AI助手中的搜索联网、插件调用与Agent规划能力，搭建端到端的仿真运行环境与MCP工具层，实现外部工具接口的标准化注册、调用链路追踪与结果校验，确保多步骤任务评测的可复现性。 4.评测Benchmark建设：接入并适配主流开源评测集，同时持续挖掘用户真实Bad Case，沉淀并构建符合国内C端用户习惯的专属业务评测数据集，完成数据解析与评分逻辑对齐。 5.跨团队协同与体验闭环：作为评测体验专家，与产品经理、算法研究团队紧密协作，将产品侧的体验诉求转化为可量化的工程评测方案，并通过评测数据反哺产品迭代方向，以打造最受欢迎的AI应用为目标。

1、参与集团级AI数据引擎：负责多模态数据（文本、音频、图像、视频）的采集、清洗、处理、治理与资产化管理，打造可复用、可观测、可解释的 EB 级数据体系，支撑大模型训练与推理的高质量数据供给； 2、多模态数据智能化处理：主导音频/视频/图像等模态的自动理解、标签体系构建、语义特征抽取、质量建模与自动化治理；设计并训练分类、识别、预测等多模态模型； 3、AI Native数据Pipeline建设：使用LLM+Agent框架构建智能数据Pipeline，实现数据分渠道过滤、去重、质量诊断、调度编排和异常告警等环节的自动化，显著降低人力成本； 4、数据&模型闭环迭代：基于评测反馈的短板，设计对应的专项数据集，并在训练过程中构建可观测指标，量化数据对模型能力提升的贡献，动态更新数据集，实现数据 → 模型 → 评测 → 数据的循环优化； 5、数据资产治理：负责元数据、数据血缘、分类分级、质量评分、数据标准、价值评估等治理框架的设计与落地，推动数据资产的可视化与可运营化，让数据可管理、可复用、可增长； 6、与模型团队协作，参与训练数据构造、数据反哺、短板挖掘和评测闭环建设，通过数据驱动模型能力提升，成为AI模型训练的数据核心驱动力；

1、参与集团级AI数据引擎：负责多模态数据（文本、音频、图像、视频）的采集、清洗、处理、治理与资产化管理，打造可复用、可观测、可解释的 EB 级数据体系，支撑大模型训练与推理的高质量数据供给； 2、多模态数据智能化处理：主导音频/视频/图像等模态的自动理解、标签体系构建、语义特征抽取、质量建模与自动化治理；设计并训练分类、识别、预测等多模态模型； 3、AI Native数据Pipeline建设：使用LLM+Agent框架构建智能数据Pipeline，实现数据分渠道过滤、去重、质量诊断、调度编排和异常告警等环节的自动化，显著降低人力成本； 4、数据&模型闭环迭代：基于评测反馈的短板，设计对应的专项数据集，并在训练过程中构建可观测指标，量化数据对模型能力提升的贡献，动态更新数据集，实现数据 → 模型 → 评测 → 数据的循环优化； 5、数据资产治理：负责元数据、数据血缘、分类分级、质量评分、数据标准、价值评估等治理框架的设计与落地，推动数据资产的可视化与可运营化，让数据可管理、可复用、可增长； 6、算法与工程一体化协作：与模型团队协作，参与训练数据构造、数据反哺、短板挖掘和评测闭环建设，通过数据驱动模型能力提升，成为AI模型训练的数据核心驱动力；