阿里巴巴数据技术及产品部-Coding & Agent 评测专家-杭州/北京
任职要求
1. 对代码生成与智能体领域有深入理解和判断，能清晰阐述"什么是好的代码能力"和"什么是好的 Agent 能力"，并将其转化为可量化的评测维度。 2. 具备从零设计 Benchmark 的完整经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。 3. 扎实的软件工程背景，具备实际的中大型项目开发经验，能从一线开发者视角审视代码能力评测的合理性。 4. 熟悉主流代码评测集（如SWE-bench、LiveCodeBench、BigCodeBench 等）和 Agent 评测集（如 WebArena、OSWorld、GAIA、AgentBench 等）的设计理念与局限性。 5. 熟练掌握 Python，具备数据处理、统计分析与可视化能力；了解主流 LLM 推理服务的调用方式与工程约束。 …
工作职责
主导 Coding & Agent 方向评测体系的设计与落地实施，定义模型能力，设计评测方法并构建专业评测集。具体包括： 1. 主导设计并构建面向代码生成与智能体的评测基准，涵盖能力维度拆解、任务难度分级、数据集构造、评分标准制定等全流程，具备从 0 到 1 打造高区分度评测集的能力。 2. 持续跟踪学术界与工业界在代码智能（Code Intelligence）和 Agent 领域的前沿进展，提出评测方向演进策略的专业判断，确保评测体系能有效度量模型的真实能力边界。 3. 设计覆盖真实开发场景的代码评测任务，包括但不限于：代码补全、多文件编辑、调试修复、重构优化、仓库级理解、工具调用链路等，推动评测从"解题"向"工程实践"演进。 4. 设计面向复杂 Agent 场景的评测任务体系，涵盖多步推理、环境交互、工具编排、长程规划、错误恢复等维度，构建能反映真实 Agentic 工作流的端到端评测方案。 5. 建立评测数据质量管控机制，包括题目查重与污染检测、难度标定与校准、人工标注规范制定与一致性审核，确保评测结果的可信度与可复现性。 6. 与模型训练团队紧密协作，将评测洞察转化为模型能力改进方向；与工程团队协同推动评测基础设施建设，支撑高频次、大规模的自动化评测流程。
1. 端到端负责RL数据（coding 方向）项目：从方案设计、数据有效性验证到规模化生产 ，帮助模型在性能上达到业界SOTA。 2. 定义评分标准(rubrics)、黄金集(golden sets)和奖励信号(reward signals)，确保训练数据质量可量化、可追溯、可迭代。 3. 协同算法团队闭环：与模型训练/RL算法团队紧密配合，将模型效果反馈翻译为数据改进策略，驱动数据→模型→评测的飞轮。 4. 数据体系设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 5. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性; 6. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率; 7. 探索更科学的评测指标、更高效的评测方法。
负责阿里巴巴多模态数据湖 ALake 体系中 Fluss 流式存储引擎的研发，构建面向实时数仓与流批一体场景的下一代存储底座。 1. Fluss 引擎研发：参与 Fluss 流式存储核心模块的设计与开发，包括行存/列存引擎、数据 Compaction、Checkpoint、故障恢复等 2. 湖仓联动：设计和实现 Fluss 与 Paimon 的数据联动机制，支撑 CDC 数据实时入湖、流批一体消费等场景 3. 引擎集成：推进 Fluss 与 Flink、Spark、StarRocks 等计算引擎的 Connector 开发与性能优化 4. 性能调优：端到端优化数据写入延迟、吞吐、小文件治理，解决线上大规模场景下的稳定性问题 5. 技术方案设计：参与 Fluss 架构演进，输出技术设计文档，推动开源社区建设
1. 建设多源异构数据统一管线：覆盖真机采集数据（跨本体、多传感器）与仿真数据的接入、清洗、转换、质检、存储和分发，实现不同来源数据的标准化汇聚 2. 负责多模态机器人数据的Schema设计与标准化：覆盖图像、深度图、点云、IMU、关节角、轨迹、动作、语义标注、传感器参数等，兼容统一/自有格式规范，支持对接开源数据集 3. 设计并搭建分布式仿真调度系统：支持大规模环境实例跨多GPU/多节点的调度、监控与弹性扩缩 4. 构建数据质量过滤与异常检测模块和建设数据版本管理与血缘追踪体系 5. 搭建数据导出与训练对接服务：按训练需求灵活导出真机+仿真混合数据子集，支持增量更新与数据混合策略（如Sim2Real增广比例调配） 6. 与仿真引擎、算法训练、机器人本体和平台工程团队协作，打通数据从采集/生成到训练、评测、分析和可视化平台的完整链路
1.构建C端AI助手（如千问、悟空、QoderWork）的产品评测体系：围绕对话式AI助手的核心体验，从真实用户场景出发，设计评测维度、构建高质量评测集与评分标准，确保评测结果能真实反映产品的市场竞争力与用户体感。 2.驱动评测体系的产品化与平台化：负责将评测所需要的场景用例、评测流程与结果洞察封装，线上维护评测结果、对比与可视化看板，降低产品与算法团队的评测门槛，支撑快速迭代。 3.Agent与工具调用评测环境搭建：针对AI助手中的搜索联网、插件调用与Agent规划能力，搭建端到端的仿真运行环境与MCP工具层，实现外部工具接口的标准化注册、调用链路追踪与结果校验，确保多步骤任务评测的可复现性。 4.评测Benchmark建设：接入并适配主流开源评测集，同时持续挖掘用户真实Bad Case，沉淀并构建符合国内C端用户习惯的专属业务评测数据集，完成数据解析与评分逻辑对齐。 5.跨团队协同与体验闭环：作为评测体验专家，与产品经理、算法研究团队紧密协作，将产品侧的体验诉求转化为可量化的工程评测方案，并通过评测数据反哺产品迭代方向，以打造最受欢迎的AI应用为目标。