蚂蚁金服网商银行-大模型与Agent评测工程师-杭州/北京/上海

社招全职3年以上AL技术-算法2026-09-05地点：杭州状态：招聘

扫码手机上打开

工作描述

任职要求
1. 计算机、人工智能、数学、统计、数据等相关专业本科及以上学历，硕士/博士优先；3年以上互联网或传统行业开发测试与质量保障经验，具备1年以上AI/算法类产品的算法评测经验（大模型/推荐/搜索/NLP/Agent系统）。
2. 扎实的算法与工程能力：熟练掌握Python/Java至少一种编程语言，能独立完成评测框架开发、数据处理与分析；熟悉主流算法框架与测试工具平台开发，精通至少一个测试领域（自动化/性能/安全）。
3. 深刻理解LLM/Transformer及后训练范式：熟悉SFT、RLHF/DPO/Reward Modeling等后训练技术路线；理解Agent/RAG的典型失败模式与评测要点；熟悉意图识别、决策规划、工具调用、知识检索等Agent核心模块的评测与分析。
4. 评测方法与方法论：熟悉常用评测指标（Accuracy/Recall/F1-score/BLEU/ROUGE等）与AB实验评估、统计推断、置信区间、偏差等概念；了解badcase分析与评测数据集构建方法；熟悉C-Eval、CMMLU、HumanEval、AGIEval或HELM、lm-evaluation-harness等主流评测集与框架者优先。
5. 有金融行业AI服务/AI营销项目评测落地经验…