网易AI标注主管
任职要求
1、本科及以上学历,2 年及以上内容安全标注团队交付经验,熟悉标注项目全流程,具备出色的项目交付管理能力;
2、热爱游戏行业,有丰富的内容安全行业经验,对内容安全领…工作职责
1、全面承接内容安全模型相关的研发、标注、自测等任务,与模型运营团队协作,制定并执行交付计划,协调资源,监控进度与质量 ,确保项目高质量交付,对运营管理各环节敏锐把控,及时处理风险与偏差; 2、管理模型数据标注,与算法团队校准需求,动态调整质检方案,检查并纠正风险数据,解决质量问题,提升数据准确率; 3、依业务目标制定标注操作流程,定期优化,分析并简化繁琐流程,推动平台优化,确保执行高效 ; 4、为团队制定培训计划,助力团队快速提升效能,达成业务目标 。
负责对基于大模型构建的通用垂类应用进行效果和质量评估;通过与产品研发团队的紧密合作,制定评估标准和体系,准确分析评估效果,为应用的优化和改进提供支持,以提升应用的性能、用户体验和市场竞争力; 应用效果与质量评估: 1)负责评估基于大语言模型构建的通用垂类应用的效果和质量,包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面; 2)参与设计测试用例,涵盖不同场景、用户需求和输入条件,以确保应用在各种情况下的稳定性和可靠性; 3)参与收集和分析用户反馈数据,结合实际使用情况,对应用的性能和用户体验进行综合评估; 评估标准与体系建设: 1)理解业务需求和产品目标,与产品研发团队密切沟通和协作,负责制定详细、明确的评估标准和指标体系; 2)理解评估数据的收集、整理和分析流程,确保评估数据的完整性和可靠性,为评估体系的持续改进提供数据支持; 评估效果分析与报告:撰写评估报告,清晰阐述评估方法、过程、结果和结论,为产品研发团队提供决策依据和改进方向。
1、团队管理与流程建设: - 统筹管理标注团队,制定SOP标准与质量验收体系; - 搭建多维度评估框架(准确率/可用性/意图分类/解决方案优化); - 建立数据标注全流程质控机制,确保标注样本精准度。 2、业务场景深度运营: - 推动To C智能问答模型的知识准确性管理(上线前测评/在线监控/效果分析); - 推动To B知识库场景的标准化建设(知识易用性/答案审核); - 设计自动化标注工具与AI辅助审核系统。 3、跨部门协同: - 联动算法团队输出模型优化建议报告(周/月维度迭代建议); - 协同产品部门完善客服知识库建设(重点攻坚B端复杂场景); - 主导客服业务知识体系与AI能力的融合创新。
1.配合AI医学管理部执行组内相关管理工作,跟进项目执行落地情况: 2.参与团队评估的数据跟踪与数据整理工作; 3.跟进各任务的数据接收、评估进度、推进流程,进行异常问题反馈; 4.配合管理团队完成其他支持类工作