腾讯混元数据算法工程师(Coding 数据质量与评测方向)
任职要求
1.计算机科学、软件工程、人工智能或相关本科及以上学历; 2.对数据有深度好奇与痴迷:着迷于理解数据的结构、质量与选择如何影响 LLM 的表现,能从繁杂的代码与报错日志中洞察模型能力的边界,而不只是处理数据; 3.重洞察、快迭代:思考严谨,但行动迅速,善于设计轻量实验快速产出可行动的结论; 4.具备强烈的技术热情和自驱力,拥有优秀的跨团队(模型、评测、平台)协作与沟通能力,认同"数据质量判断力本身是一种前沿能力"; 5.理解大模型,具备数据判断力:理解 Transformer 架构与大语言模型训练原理,具备 Code LLM 或大模型数据/评…
工作职责
1.定义"什么是好的 Coding 数据": 针对代码场景特有的严格语法约束、跨文件项目级推理、执行反馈与调试修复特性,把模型能力目标操作化为可执行的数据质量标准与标注规范(rubric、验收准则、ground-truth 定义),并建设配套的自动化质检体系——基于编译器/执行反馈、自动化测试、轨迹合理性校验等,识别诸如"凭空构造而非读取真实文件内容""在失败策略上反复循环"等深层缺陷; 2.设计揭示模型弱项的评测,产出独立的能力诊断,建设面向 Coding 能力的评测与质检体系(参考 SWE-bench 等),重点在测量完整性——抗污染、抗刷分、统计严谨、跨场景标准一致。设计能精准暴露模型失败模式的评测切片,产出可信、可归因的能力诊断,为模型迭代提供独立的"第三方读数"; 3.设计可验证的评测任务与执行环境,构建能自动判定、抗刷分的长程代码评测任务(贴近真实 SWE 场景的多步骤任务),以及配套的执行/沙盒环境,精准 measure 模型在真实编程任务中的能力边界; 4.高质量代码数据的源头建设,负责真实代码场景数据的源头建设与处理:在合规与用户授权前提下,从研发工具链/产品中建立数据回流机制(采集真实编程行为、执行反馈与调试轨迹);复杂项目级构建轨迹的获取、执行反馈的结构化、脱敏与可用化,把原始信号转化为模型团队可直接使用的高质量数据资产。这是一块大厂内部独有、外部数商难以触及的源头优势; 5.人机协同的质量流程设计,设计并落地人机协同的数据质量流程:用模型做预标注/预筛、人工聚焦高价值判断与校正、auto-QA 兜底一致性,在保证质量标准的前提下提升质检与标注的规模化效率; 6.前沿跟踪与能力沉淀,跟踪支撑代码能力提升的前沿方法(基于执行反馈的代码评测、代码自验证、AI SWE、可验证 reward 设计等),将最新成果转化为质检与评测能力;并把这套数据质量判断力沉淀、共享给协作的模型团队。
1.定义"什么是好的 Agent 数据":针对 Agent 场景特有的多轮交互、长链路规划、工具调用与环境反馈特性,把模型能力目标操作化为可执行的数据质量标准与标注规范(rubric、验收准则、轨迹合理性定义),并建设配套的自动化质检体系——识别诸如"在失败策略上反复循环而不切换""工具调用参数凭空构造而非基于环境反馈""规划与实际执行脱节"等深层轨迹缺陷; 2.设计评测,产出独立的能力诊断,建设面向 Agent 能力的评测体系:设计高质量的评测数据集与评测切片,精准暴露模型在多轮任务中的失败模式(如探索效率、工具使用鲁棒性、长链路规划、错误恢复等);重点在测量完整性——抗污染、抗刷分、统计严谨、跨场景标准一致。产出可信、可归因的能力诊断,为模型迭代提供独立的"第三方读数"; 3.设计可验证的评测任务与执行环境,构建能自动判定、抗刷分的长程 Agent 评测任务(贴近真实场景的多轮、多工具任务),以及配套的执行/沙盒环境,精准 measure 模型在真实交互任务中的能力边界; 4.高质量 Agent 数据的源头建设,负责真实 Agent 交互场景数据的源头建设与处理:在合规与用户授权前提下,从产品/工具链中建立数据回流机制(采集真实交互轨迹、工具调用与环境反馈);复杂轨迹的获取、环境反馈的结构化、脱敏与可用化,把原始信号转化为模型团队可直接使用的高质量数据资产。这是一块大厂内部独有、外部难以触及的源头优势; 5.人机协同的质量流程设计,设计并落地人机协同的数据质量流程:用模型做预标注/预筛、人工聚焦高价值判断与校正、auto-QA 兜底一致性,在保证质量标准的前提下提升轨迹质检与标注的规模化效率; 6.前沿跟踪与能力沉淀,跟踪支撑 Agent 能力提升的前沿方法(轨迹质量评估、Agent 评测方法、可验证 reward 设计等),将其转化为质检与评测能力;并把这套数据质量判断力沉淀、共享给协作的模型团队。
1.负责平台类产品的前后端研发工作,包括配置化能力、模板能力、任务流转、数据管理、权限管理等核心模块建设; 2.参与平台架构设计与通用能力建设,提升系统扩展性、复用性和稳定性; 3.负责复杂交互页面、中后台系统及配置化界面的开发与优化,提升平台整体使用体验; 4.负责服务端业务逻辑、接口设计、数据建模及系统联调,支撑多业务场景接入; 5.沉淀组件、模板、公共模块及工程化能力,推动平台能力标准化和规模化复用。