蚂蚁金服蚂蚁集团-内容数据评测专家-内容技术
任职要求
1、本科或以上学历，计算机科学、数据科学、数学、统计学或相关专业； 2、至少1年模型评测、搜广推相关业务&体验保障经验，熟练使用Scala、Java或Python等编程语言，熟练掌握SQL、Python或R等数据分析工具…
工作职责
1、主要负责审核、理解、搜广推相关模型的评测工作，通过制定科学的评测方法和数据分析方法，挖掘模型效果上的badcase并推动链路上的优化； 2、负责流量分析、异常洞察、数据质量评估等通用数据分析能力开发； 3、有评测经验，熟悉搜推等相关数据产品的评测方法并有落地业务的经验； 4、深入理解公司产品及算法策略，通过数据挖掘，提出有实效的建议，驱动产品及技术迭代。
1. 负责多模态大模型的高质量的数据构造及模型评测工作，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 构建并维护一套完善的各领域AI数据内容质量管理体系，全面把控内容质量并对结果负责，并不断进行优化迭代； 4. 积极推动组织流程及交付流程优化，对接数据标注供应商。负责组织培训、试标、通过持续培训和反馈提升供应商标注质量与效率； 5.1开展多模态大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务。
1. 负责大模型的高质量的数据构造及模型评测工作，主要在LLM、科学（数学/化学/物理）等各垂域数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准；定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集； 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，全面把控内容质量并对结果负责，并不断进行优化迭代； 5. 积极推动组织流程及交付流程优化，对接数据标注供应商。负责组织培训、试标、通过持续培训和反馈提升供应商标注质量与效率； 6.开展LLM/科学/各垂域大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务。
1. 跟踪国内外监管政策和大模型技术标准发展趋势，熟悉监管合规规范，了解大模型原理，结合大模型特性、AIGC 场景特点，设计出适配业务发展需要的内容安全解决方案并推动落地； 2. 基于语言模型、多模态模型的风险防控标准和要求，在大模型内生安全、围栏安全、安全评测等方面，设计体系化的防控策略并推动落地，确保安全与体验的平衡； 3. 识别业务场景潜在安全风险，跟进风险舆情，制定应急预案并快速响应，确保问题得到及时处理； 4. 与业务团队、法务、GA 和基础安全等团队深度协作，确保大模型产品及服务符合相关法律法规要求。
1、负责支付宝的个性化AI产品体验以及基于最新的大模型等AI技术构造下一代的智能化产品的质量保障工作，确保在出行、政务等行业场景中的应用效果和安全； 2、工作内容包括不限于持续集成，回归体系，质量工具开发，线上监控应急，算法评估评测等，推动架构、技术、工具和流程的改进和创新，多工种配合，提升整体研发和交付的效率； 3、在技术架构、工具平台、团队技能和人员等方面进行有前瞻性的布局、规划和建设，构建高品质的稳定性保障能力，有质量技术方向的创新。