小红书AI评测平台架构师

任职要求

1、本科及以上学历，计算机、软件工程、人工智能、数据科学等相关专业，具备5年以上后端、数据平台、质量平台或分布式系统研发经验。
2、主导或深度参与过评测平台、实验平台、数据平台、质量平台或大规模任务执行系统的架构设计。
3、熟练掌握 Python、Java、Go 中至少一种编程语言，具备良好的 SQL、数据处理及后端工程能力。
4、熟悉大模型和 AI Agent 应用链路，理解 Prompt、RAG、Tool Calling、ReAct、上下文工程及多轮对话等核心概念。
5、理解模型评测、Agent 评测、过程评测和端到端评测的差异，能够针对不同评测对象设计数据、指标、规则和执行方式。
6、熟悉 LLM-as-a-Judge、人工标注、人机一致率、评审偏差、基准测试和回归评测等方法。
7、具备数据资产与数据治理能力，熟悉评测集版本、数据血缘、质量校验、权限控制及敏感数据处理。
8、具备分布式任务执行系统设计能力，熟悉任务调度、并行计算、失败重试、幂等、限流、缓存及成本治理。
9、具备统计…

工作职责

1、主导 AI 评测平台总体架构设计，建设统一、可扩展的评测基础设施，支持大模型、Agent、RAG、Tool及端到端 AI 应用的质量评估。
2、建立分层评测体系，覆盖模型能力评测、Agent 推理过程评测、工具调用评测、上下文与记忆评测、RAG 评测及端到端体验评测。
3、设计评测数据资产体系，统一管理评测集、线上采样、Bad Case、人工标注、合成数据和竞品数据，支持数据清洗、去重、分层、版本、血缘及权限治理。
4、建设评测集持续演进机制，将新业务场景、线上问题、模型升级和产品变化转化为新增评测样本，保持评测覆盖度、区分度和时效性。
5、设计统一的评测指标与规则体系，支持客观指标、规则评测、模型评审和人工评审，并建立指标版本、规则版本和场景适用范围的管理机制。
6、设计自动化评测执行引擎，支持模型与 Prompt 矩阵、并行批跑、任务调度、失败重试、断点恢复、结果复用及大规模评测的成本控制。
7、建设 LLM-as-a-Judge 与评审 Agent 能力，包括评审 Prompt、评分标准、证据引用、多评审器仲裁，以及人机一致率、评审稳定性和偏差校准。
8、建设 Agent 过程评测能力，基于执行轨迹评估任务规划、推理步骤、上下文使用、工具选择、参数生成、工具结果利用和最终答案质量。
9、建立线上质量闭环，打通用户反馈、业务指标、线上 Trace、异常日志和离线评测，通过自动归因和 Case 聚类持续发现质量问题。
10、建设回归评测与发布门禁机制，对模型、Prompt、知识库、工具及 Agent 流程变更进行版本对比、基线回归、劣化检测和发布准入。
11、建设评测分析与归因平台，从模型、Prompt、Context、RAG、Tool及工程链路等维度定位问题，推动优化建议进入产品、算法和研发流程。
12、探索基于评测信号的 Agent 自进化能力，将线上反馈、执行轨迹、评测结果和归因结论转化为可验证的 Prompt、Context、Tool、知识及流程优化建议，并建立自动生成、沙箱验证、回归评测和人工确认机制。
13、制定 AI 评测数据、指标、协议和平台接入标准，推动不同业务场景复用统一评测能力，同时保留业务自定义指标与规则的扩展空间。