智能互联乌鸫科技-大模型数据标注评测专家-LLM/科学
任职要求
1. 本科及以上学历，有STEM专业背景优先，有LLM算法技术、数据及评测技术背景优先，开展过相关行业据标注管理、模型评测等工作经验者优先； 2. 能准确理解业务诉求，对质量/数据变化敏锐，能通过独到的视角或科学的方法发现问题，推动业务指标达成和策略落地； 3. 熟悉数据标注工具，掌握Python编程…
工作职责
1. 负责大模型的高质量的数据构造及模型评测工作，主要在LLM、科学（数学/化学/物理）等各垂域数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准；定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集； 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，全面把控内容质量并对结果负责，并不断进行优化迭代； 5. 积极推动组织流程及交付流程优化，对接数据标注供应商。负责组织培训、试标、通过持续培训和反馈提升供应商标注质量与效率； 6.开展LLM/科学/各垂域大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务。
1. 负责多模态大模型的高质量的数据构造及模型评测工作，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 构建并维护一套完善的各领域AI数据内容质量管理体系，全面把控内容质量并对结果负责，并不断进行优化迭代； 4. 积极推动组织流程及交付流程优化，对接数据标注供应商。负责组织培训、试标、通过持续培训和反馈提升供应商标注质量与效率； 5.1开展多模态大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务。
1.数据标注&采集专家基地运营管理： （1）负责站点搭建，人员招募，管理团队搭建，培训管理，质量管理与人员管理，负责站点的全面管理； （2）负责制定交付站点的日常运营计划、标准作业程序（SOP）与管理制度； （3）管理站点的标注评测专家，包括任务分配、绩效评估、技能培训与团队建设。 2.质量管理：搭建对大模型类数据标注、模型评测或数据集生产的质量和培训体系，对数据质量负责； 3.成本管控：负责对负责的交付站点的整体成本进行管控，包括人力成本，运营成本等各项成本，达成成本目标。 4.供应商管理：负责交付履约及结算等工作。对供应商在项目中出现的问题和事故进行及时干预与处理，确保项目顺利推进。"
1. 数据标注&采集资源管理体系搭建与优化：构建并完善数据标注/采集资源管理体系，统筹管理多种资源形态。通过精细化管理策略，提升资源交付的整体质量和效率，确保资源管理的标准化与规范化。搭建对大模型类数据标注、模型评测或数据集生产的质量和培训体系，对数据质量负责； 2. 供应商全生命周期管理：负责外部供应商的资源拓展、准入管理、资源调度、交付履约及结算等工作。对供应商在项目中出现的问题和事故进行及时干预与处理，确保项目顺利推进。建立完善的供应商绩效管理制度，通过科学的评估体系优化供应商合作，提升整体合作质量。负责交付履约及结算等工作。对供应商在项目中出现的问题和事故进行及时干预与处理，确保项目顺利推进。 3. 多元化资源管理与高效调度机制构建：构建多元化的资源管理结构，整合多种用工类型与垂直领域专家资源。设计高效、合理的资源分配调度机制，精准匹配项目需求与资源供给，确保资源供给的及时性与有效性，提升资源利用效率。 4. 资源交付与运营效率提升：通过商务策略优化、流程再造及产品设计创新，不断提升资源交付及运营效率，降低整体业务交付成本。推动资源管理的智能化与自动化升级，助力公司在数据标注领域保持竞争优势，实现业务的可持续发展
1.开展具身智能行业的数据采集、标注及评测建设，能够从各领域专业层面设计专业的数据生产方案、评测方案、开展专业的评测服务； 2.建设各领域评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作； 3. 构建并维护一套完善的各领域AI数据内容质量管理体系，全面把控内容质量并对结果负责，并不断进行优化迭代； 4. 积极推动组织流程及交付流程优化，对接数据标注供应商。负责组织培训、试标、通过持续培训和反馈提升供应商标注质量与效率； 5.承担本方向数据处理、数据清洗、数据蒸馏、数据合成等多样数据工程工作.