字节跳动大模型运营专家(内容质量管理)-CQC
任职要求
1、具有丰富的大模型应用经验,精通PE(Prompt Engineering)方法和工具,对治理场景有了解,熟悉主流的大模型框架和技术; 2、逻辑思维强,良好的数据分析思维和丰富的数据可视化经验优先; 3、注重产品体验,有成熟的产品运营及推广经验优先; 4、较好的项目管理和沟通协调能力,有自我驱动力。
工作职责
1、分析现有内容治理流程,识别大模型应用机会点,制定大模型应用规划,明确落地场景及优先级; 2、独立完成大模型测试验证,输出收益量化报告,制定大模型实际应用方案; 3、协同相关团队推动大模型上线,设计人机协同治理流程; 4、持续监控模型效果,优化迭代策略,适配业务安全需求变化。
1、模型运营:为特定任务选择最合适的模型,排查模型性能问题或错误,并及时向模型开发者(算法工程师)提供反馈; 2、模型与政策对齐:通过提示工程和其他先进技术,确保模型输出符合商业化内容审核政策和相关法律要求; 3、大模型应用管理:端到端管理针对特定任务类型的大模型应用,包括但不限于评估数据集准备、提示词工程、RAG数据集准备,进行测试和迭代改进以增强准确率与召回率; 4、应急响应:调查应急事件(如误判与漏放),诊断根本原因,提出并实施提示词、模型或其它解决方案的改进以减提高大模型审核质量,对系统性问题进行及时归因和整改; 5、跨部分合作:与算法工程师紧密合作,在生产环境中部署、监控和维护大模型应用;持续优化模型的使用成本、处理时效和准确性,同时确保整体系统的高可扩展性;与政策、法律和合规团队合作,共同提升内容审核政策与业务的匹配度,同时保证模型与政策的对齐;与产品和工程团队合作,将大模型审核的各项能力及时集成到审核工具和平台中。
1、模型运营:为特定任务选择最合适的模型,排查模型性能问题或错误,并及时向模型开发者(算法工程师)提供反馈; 2、模型与政策对齐:通过提示工程和其他先进技术,确保模型输出符合商业化内容审核政策和相关法律要求; 3、大模型应用管理:端到端管理针对特定任务类型的大模型应用,包括但不限于评估数据集准备、提示词工程、RAG数据集准备,进行测试和迭代改进以增强准确率与召回率; 4、应急响应:调查应急事件(如误判与漏放),诊断根本原因,提出并实施提示词、模型或其它解决方案的改进以减提高大模型审核质量,对系统性问题进行及时归因和整改; 5、跨部分合作:与算法工程师紧密合作,在生产环境中部署、监控和维护大模型应用;持续优化模型的使用成本、处理时效和准确性,同时确保整体系统的高可扩展性;与政策、法律和合规团队合作,共同提升内容审核政策与业务的匹配度,同时保证模型与政策的对齐;与产品和工程团队合作,将大模型审核的各项能力及时集成到审核工具和平台中。
1.负责制定数据运营策略,为大模型的训练提供精准有效的数据支持; 2.负责拓展数据生产方案,为大模型在生活服务场景的落地提供数据支持; 3.负责供应商采购招标,设计并实施各类数据管理机制,保证数据质量; 4.负责监测大模型在各应用场景的效果,并提出实质性的改进建议。