小红书AI评测平台架构师

工作描述

任职要求
1、本科及以上学历，计算机、软件工程、人工智能、数据科学等相关专业，具备5年以上后端、数据平台、质量平台或分布式系统研发经验。
2、主导或深度参与过评测平台、实验平台、数据平台、质量平台或大规模任务执行系统的架构设计。
3、熟练掌握 Python、Java、Go 中至少一种编程语言，具备良好的 SQL、数据处理及后端工程能力。
4、熟悉大模型和 AI Agent 应用链路，理解 Prompt、RAG、Tool Calling、ReAct、上下文工程及多轮对话等核心概念。
5、理解模型评测、Agent 评测、过程评测和端到端评测的差异，能够针对不同评测对象设计数据、指标、规则和执行方式。
6、熟悉 LLM-as-a-Judge、人工标注、人机一致率、评审偏差、基准测试和回归评测等方法。
7、具备数据资产与数据治理能力，熟悉评测集版本、数据血缘、质量校验、权限控制及敏感数据处理。
8、具备分布式任务执行系统设计能力，熟悉任务调度、并行计算、失败重试、幂等、限流、缓存及成本治理。
9、具备统计与实验分析能力，理解抽样、显著性、置信区间、A/B 实验，以及线上指标与离线指标的相关性验证。
10、具备评测指标和质量标准设计能力，能够平衡客观指标、人工判断、模型评审和业务结果之间的关系。
11、能够将评测结果转化为可执行的产品、模型、Prompt、上下文、知识、工具和工程优化建议，而非仅提供评测分数。
12、具备较强…