快手大模型运营专家
任职要求
1. 2 年及以上内容安全或审核策略运营经验，熟悉主流违规类型及审核流程； 2. 熟练使用 Python、SQL，可独立完成万级数据处理与可视化； 3. 至少完整落地 1 个…
工作职责
1. 负责审核类大模型运营，拆解业务违规场景，制定模型策略与评估指标； 2. 运用 SQL、Python 完成数据提取、清洗及可视化，定期输出模型效果报表； 3. 主导轻量级 RAG 与 Agent 验证，独立编写可灰度的 Agent 原型，量化验证 prompt、知识库或插件对召回、误杀的改善； 4. 设计并维护审核评测集，将 Agent 低置信或误判样本回流评测，组织人工复核，持续迭代标注规范，驱动模型更新； 5. 协同审核团队，把 Agent 决策链路转化为上线策略、规则与灰度实验，并持续跟踪线上效果。
1、基于今日头条内容治理业务，挖掘可借助大模型替代或提效的业务场景； 2、通过分析业务流程，制定大模型应用策略，探索大模型接入业务后的收益并持续优化，实现模型与业务需求的高度契合； 3、依据业务对大模型的需求，借助工具和算法，尝试通过自动化Workflow、Agent搭建等方式解决业务问题；或进一步对模型做微调训练，通过常规SFT等手段满足业务需求； 4、与算法、产品、策略运营等多团队构建高效协作机制，推动大模型从测试到应用的全生命周期管理； 5、协调各方资源，确保大模型及相应工具正确部署与持续优化，高效高质解决业务问题。
1、分析现有内容治理流程，识别大模型应用机会点，制定大模型应用规划，明确落地场景及优先级； 2、独立完成大模型测试验证，输出收益量化报告，制定大模型实际应用方案； 3、协同相关团队推动大模型上线，设计人机协同治理流程； 4、持续监控模型效果，优化迭代策略，适配业务安全需求变化。
1、模型运营：为特定任务选择最合适的模型，排查模型性能问题或错误，并及时向模型开发者（算法工程师）提供反馈； 2、模型与政策对齐：通过提示工程和其他先进技术，确保模型输出符合商业化内容审核政策和相关法律要求； 3、大模型应用管理：端到端管理针对特定任务类型的大模型应用，包括但不限于评估数据集准备、提示词工程、RAG数据集准备，进行测试和迭代改进以增强准确率与召回率； 4、应急响应：调查应急事件（如误判与漏放），诊断根本原因，提出并实施提示词、模型或其它解决方案的改进以减提高大模型审核质量，对系统性问题进行及时归因和整改； 5、跨部分合作：与算法工程师紧密合作，在生产环境中部署、监控和维护大模型应用；持续优化模型的使用成本、处理时效和准确性，同时确保整体系统的高可扩展性；与政策、法律和合规团队合作，共同提升内容审核政策与业务的匹配度，同时保证模型与政策的对齐；与产品和工程团队合作，将大模型审核的各项能力及时集成到审核工具和平台中。
1、负责内容安全/内容生态模型运维业务，模型训练全链路工作，包括但不限于大模型调用、微调、评估优化，以及机器学习和深度学习模型的训练和工程化落地； 2、深入理解业务需求与数据特征，从业务目标达成出发设计大模型或大小模型协同解决方案，通过Prompt工程、RAG、微调等技术提升内容识别、理解、审核等场景的应用效果，优化业务流程和效率； 3、主导大模型在业务中的创新应用，包括但不限于搭建领域适合的微调方案、设计多模型融合策略、优化模型部署上线流程，推动大模型规模化落地； 4、持续跟踪AI前沿技术动态，推动大模型与行业知识库，业务规则的结合，构建可复用的模型能力中台； 5、高效、规范管理模型项目需求，做好经验沉淀，将训练经验扩展至多业务场景，保证项目投入ROI。