美团大模型交付产品运营
任职要求
本科及以上学历，有AI数据生产和评估相关领域背景、客服或用户体验背景3-5年以上相关工作经验者优先； 能准确理解业务诉求，对质量/数据变化敏锐，能通过独到的视角或科学的方法发现并解决问题，推动业务指标达成和策略落地； 有自然语言处理、搜索、人工智能领域相关工作经验，有AI项目交付经验者优先； 熟练使用 SQL、Python 等数据分析工具，具备数据获取、分类和分析能力者优先； 积极主动，对AI和大模型领域有激情，喜欢找办法解决问题，具备较强的团队协作能力、组织协调能力、复杂问题解决能力 具备以下条件优先 有过数据标准标准制定、模型效果评测流程梳理经验者优先 有过其它互联网大厂或AI大模型数据/评测交付经验者优先 有一定算法或技术背景，能与算法、产品深度密切协同者优先
工作职责
负责对服体大模型构建的通用垂类应用进行数据生产交付和效果质量评估；通过与产品研发团队的紧密合作，制定评估标准和体系，准确分析评估效果，为应用的优化和改进提供支持，以提升应用的性能、用户体验和市场竞争力 应用效果与质量评估： 1、负责评估基于服体大模型所构建的通用垂类应用的效果和质量，包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面 2、参与设计测试数据集，涵盖不同场景、用户需求和输入条件，以确保应用在各种情况下的稳定性和可用性 3、参与收集和分析用户反馈数据，结合实际使用情况，对应用的性能和用户体验进行综合评估 评估标准与体系建设： 1、理解业务需求和产品目标，与产品研发团队密切沟通和协作，负责制定详细、明确的评估标准和指标体系 2、理解评估数据的收集、整理和分析流程，确保评估数据的可用性和置信度，为评估体系的持续改进提供数据支持 与产品、算法、运营、业务方保持协同，制定业务规划、目标管理以及团队人员管理工作，共同关注团队效果数据和目标达成，为产品研发团队提供决策依据和改进方向，共同优化模型及agent体验效果 设计和实现大语言模型方向AI训练流程，并不断优化迭代，带领团队高效完成标注和内容生产项目同时负责管理标注团队，积极推动标注工具、组织流程及交付流程优化，提升并完善团队的交付能力
负责对服体大模型构建的通用垂类应用进行数据生产交付和效果质量评估；通过与产品研发团队的紧密合作，制定评估标准和体系，准确分析评估效果，为应用的优化和改进提供支持，以提升应用的性能、用户体验和市场竞争力 应用效果与质量评估： 1、负责评估基于服体大模型所构建的通用垂类应用的效果和质量，包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面 2、参与设计测试数据集，涵盖不同场景、用户需求和输入条件，以确保应用在各种情况下的稳定性和可用性 3、参与收集和分析用户反馈数据，结合实际使用情况，对应用的性能和用户体验进行综合评估 评估标准与体系建设： 1、理解业务需求和产品目标，与产品研发团队密切沟通和协作，负责制定详细、明确的评估标准和指标体系 2、理解评估数据的收集、整理和分析流程，确保评估数据的可用性和置信度，为评估体系的持续改进提供数据支持 与产品、算法、运营、业务方保持协同，制定业务规划、目标管理以及团队人员管理工作，共同关注团队效果数据和目标达成，为产品研发团队提供决策依据和改进方向，共同优化模型及agent体验效果 设计和实现大语言模型方向AI训练流程，并不断优化迭代，带领团队高效完成标注和内容生产项目同时负责管理标注团队，积极推动标注工具、组织流程及交付流程优化，提升并完善团队的交付能力
1、负责大模型服务交付运营、标注运营策略的规划统筹，与模型训练、产品、算法及技术等团队建立高效的合作协同关系及工作流，推动大模型业务目标的达成； 2、持续推动大模型服务交付运营、标注运营的策略优化及落地，保障服务、标注交付的执行准确率及执行效率； 3、可独立完成业务问题挖掘、根因分析并闭环解决，搭建问题发现-定位-解决的全链路策略/机制，推动流程优化及产品化改造； 4、可将高频、重复性策略需求转化为标准化产品功能，主导需求文档（BRD/MRD）撰写，联动产品、技术团队完成开发及上线，并持续跟踪产品功能使用效果，结合业务反馈推动迭代优化，提升运营自动化与智能化水平； 5、基于抖音电商大模型战略发展需要，完成大模型服务交付、标注运营全流程的策略制定与优化，包括需求分析、资源调配、效率提升等，设计可落地的执行方案并推动实施。
1、充分理解广告业务形态，深入了解巨量千川广告产品，对广告产品有敏锐洞察力，结合客户需求，输出基于电商经营及广告理解下的诊断策略及建议，强化客户投广认知，实现客户留存、ARPU提升，为收入目标负责； 2、结合中小商家需求，协同产品研发团队打造AI驱动的智能化产品能力（如智能投放建议、被动问题解决、识别商家状态主动提供建议等服务），帮助客户解决问题； 3、参与巨量千川自助AI产品建设，借助大模型能力构建业务应用流程，包括但不限于投广客户的意图识别、商业产品知识及工具的检索与推荐、话术编排等能力等； 4、持续推动大模型服务交付运营、标注运营的策略优化及落地，保障服务、标注交付的执行准确率及执行效率，与模型训练、产品、算法及技术等团队建立高效的合作协同关系及工作流，推动大模型业务目标的达成； 5、可独立完成业务问题挖掘、根因分析并闭环解决，搭建问题发现-定位-解决的全链路策略/机制，推动流程优化及产品化改造；可将高频、重复性策略需求转化为标准化产品功能，主导需求文档（BRD/MRD）撰写，联动产品、技术团队完成开发及上线。
1、充分理解广告业务形态，深入了解巨量千川广告产品，对广告产品有敏锐洞察力，结合客户需求，输出基于电商经营及广告理解下的诊断策略及建议，强化客户投广认知，实现客户留存、ARPU提升，为收入目标负责； 2、结合中小商家需求，协同产品研发团队打造AI驱动的智能化产品能力（如智能投放建议、被动问题解决、识别商家状态主动提供建议等服务），帮助客户解决问题； 3、参与巨量千川自助AI产品建设，借助大模型能力构建业务应用流程，包括但不限于投广客户的意图识别、商业产品知识及工具的检索与推荐、话术编排等能力等； 4、持续推动大模型服务交付运营、标注运营的策略优化及落地，保障服务、标注交付的执行准确率及执行效率，与模型训练、产品、算法及技术等团队建立高效的合作协同关系及工作流，推动大模型业务目标的达成； 5、可独立完成业务问题挖掘、根因分析并闭环解决，搭建问题发现-定位-解决的全链路策略/机制，推动流程优化及产品化改造；可将高频、重复性策略需求转化为标准化产品功能，主导需求文档（BRD/MRD）撰写，联动产品、技术团队完成开发及上线。