阿里巴巴晓天衡宇-大模型标注评测工程师-系统底层方向

1. 验收 DevOps/运维方向 AI Coding 数据质量 — 对 CI/CD 配置、故障排查、build-release-config 等任务数据进行质量验收，核查任务设计的真实性、难度合理性与运维场景还原度。 2. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 3. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性; 4. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率; 5. 探索更科学的评测指标、更高效的评测和标注方法。

1. 验收数据工程方向 AI Coding 数据质量 — 对数据处理 bug-fix、pipeline feature 开发等任务数据进行质量验收，核查任务的真实性、难度合理性与工程场景还原度。 2. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 3. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性; 4. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率; 5. 探索更科学的评测指标、更高效的评测和标注方法。

1、负责音乐生成、复杂音频和高表现力语音任务的生产质量判断、复核、问题记录和样例沉淀。 2、判断旋律、节奏、风格、人声、伴奏、音质、结构、噪声、断裂、违和感和异常听感等问题。 3、支持 TTS 表现力、韵律、情感、声音自然度和复杂听感判断。 4、沉淀音乐/复杂音频任务的问题分类、判断依据、正反例和复盘材料。 5、配合业务、质检和验收负责人建立音乐/复杂听感任务的初步方法论。参与音乐生成、TTS 表现力和复杂音频任务的数据生产质量判断，把主观听感转化为可校准、可复盘、可沉淀的方法论。

1、负责多语种语音数据的生产质量判断、复核、验收辅助和问题记录，优先覆盖英语、西班牙语、葡萄牙语。 2、判断外语语音的发音、语言地道性、非目标语言、语义一致性、文本一致性和基础音频质量问题。 3、支持多语种 ASR、TTS 多语种音色、同声传译和供应商语言质量验收。 4、记录多语种任务中的常见错误、争议样例、术语问题、语言地道性问题和供应商反馈点。 5、与质检、验收、业务和外部语言资源协作，完成复核、仲裁和复盘。参与多语种 ASR、TTS、同声传译和供应商语音数据验收，负责语言质量、发音质量、文本一致性和语言地道性的生产质量判断。