平安科技评测中心经理

任职要求

1.重点大学及以上学历，5年以上AI/大模型相关工作经验，2年以上团队管理或技术Lead经验优先；
2. 具备扎实的工程开发基础，精通Python，熟悉分布式系统、Al评测框架，有实际大模型评测项目落地经验；
3.有AI产品链路评测经验，熟练掌握评测数据构建、回流机制、badcase分析及自动化评测能力…

工作职责

1.负责公司大模型及AI产品链路的评测体系建设与技术管理工作，推动评测驱动的开发迭代闭环；
2.负责评测数据构建、清洗、回流机制设计，实现“上线产品-日常观测-问题发现-数据回流-优化迭代”的正向循环；
3.建设高可用、可配置的评测系统平台，支持评测任务管理、指标分析、badcase分拣、多轮对话模拟及Mock用户能力；
4.结合AI产品链路（意图、提槽位、改写、检索、知识召回、模型入参、最终结果等），搭建自动化评测能力，覆盖幻觉、C端样式、低级问题CICD围栏测试等场景；
5.负责标注平台建设，提供灵活的标注模板、任务配置、审核质检流程，支持人工标注效率统计与质量管控；
6. 牵头评测能力搭建，覆盖业务评测、语音评测、图文多模态、仿真能力等，支撑平安万佛等核心服务的质量保障与持续优化；
7.负责评测团队管理、人员培养及跨团队协作，推动评测结果落地到产品改进。