阿里巴巴晓天衡宇-大模型评测工程师-科学方向

任职要求

1. 本科及以上学历，数学、物理、化学、生物、计算机、工程学科等专业背景优先，有LLM算法技术、数据及评测技术背景优先，开展过相关行业据标注管理、模型评测等工作经验者优先；
2. 能准确理解业务诉求，对质量/数据变化敏锐，能通过独到的视角或科学的方法发现问题，推动业务指标达成和策略落地；
3. 熟悉数据标注工…

工作职责

1. 负责大模型的高质量的数据构造及模型评测工作，主要聚焦在科学方向（数学、物理、化学、生物、计算机、工程等专业）数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据；
2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目；
3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准；定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集；
4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代；
5. 开展LLM科学方向的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务；
6.承担本方向数据处理、数据清洗、数据蒸馏、数据合成等多样数据工程工作。