得物agent大模型运营

我们是京东科技，作为京东集团旗下专注于以技术为产业服务的业务子集团，秉承“以科技引领产业数智化升级，推动世界更加高效和美好”的使命，为企业和金融机构等客户提供全链条的技术产品与服务。我们目前已服务超95%的央企、超2500家大型企业、944家金融机构和超250万家中小微企业。在供应链金融领域，以数智供应链+供应链金融的“双链联动”模式，面向企业和金融机构输出供应链金融科技平台的技术及运营能力，助力产业链上的中小微企业高效便捷获得融资服务。在企业服务领域，基于全栈式云服务产品，帮助企业实现数智化升级。加入我们，一起用技术让生活更美好！ 一、职位概述 负责智能陪伴Agent依赖的大模型能力迭代与优化，制定自动化、人工评测方案，收集并分析模型bad case，协同算法、数据团队持续提升模型对话能力，保障产品核心体验。 二、岗位职责 1.制定大模型能力的自动化、人工评测标准及方案，持续收集线上各环节的基础模型能力bad case，完成分类、分析及归因； 2.对接数据团队、协同算法团队，同步bad case分析结果及优化需求，持续推动各基础模型能力迭代优化，提升模型对话回复质量； 3.通过数据分析和用户反馈，跟踪不同场景下模型对话回复效果，针对性提出优化方案，持续提升用户对话体验； 4.沉淀模型评测方法、优化经验，搭建模型运营知识库，提升团队工作效率；

1、基于产品研发和业务需求，完成Agent方向大模型相关的标注工作，设计标注方案及规则，组织团队完成日常数据生产，达成相关模型训练和优化效果指标； 2、运用PE进行数据生产和过滤，了解大模型前沿训练信息，关注行业的发展方向； 3、有良好的理解与需求分析能力，能够分析理解数据核心需求与要解决的问题，并有良好的文字表达能力，能够清晰、准确地解释对应原因； 4、沟通表达能力好，能够顺利进行团队内外部相关方的沟通协作，保障数据交付，推进模型训练和优化过程的顺利进行； 5、思维灵活，能够适应业务间的快速切换，不断学习掌握各项新的标注逻辑和方式，对大模型PE能力有较高兴趣或有一定的使用经验。

1、广告审核相关大模型的运营与迭代：负责广告审核大模型的日常运营、效果监控与持续优化，基于大模型能力，匹配风险治理场景，制定大模型应用策略，尝试通过自动化workflow、agent等方式解决业务风险问题，或通过模型微调的方式，提升大模型结果的精确度，满足风险治理需求；基于广告审核业务痛点，定位模型bad case、误伤/漏放问题，输出优化方向与运营策略，推动模型迭代与效果提升； 2、指标监控与风险管理：建立大模型指标监控体系，包括准确率、召回率、精确率等核心指标；负责对广告审核大模型的合规性把控，识别运营过程中的潜在风险，建立风险预警、拦截、回溯机制，杜绝运营过程中产生的业务风险； 3、流程与工具优化：基于业务治理需求，协调各方资源，推动运营工具/平台的功能迭代与更新，提升运营效率。

1、基于今日头条内容治理业务，挖掘可借助大模型替代或提效的业务场景； 2、通过分析业务流程，制定大模型应用策略，探索大模型接入业务后的收益并持续优化，实现模型与业务需求的高度契合； 3、依据业务对大模型的需求，借助工具和算法，尝试通过自动化Workflow、Agent搭建等方式解决业务问题；或进一步对模型做微调训练，通过常规SFT等手段满足业务需求； 4、与算法、产品、策略运营等多团队构建高效协作机制，推动大模型从测试到应用的全生命周期管理； 5、协调各方资源，确保大模型及相应工具正确部署与持续优化，高效高质解决业务问题。