美团AI训练师主管
任职要求
本科及以上学历，有AI数据生产和评估相关领域背景，具备2年以上训练师团团队管理经验； 能准确理解业务诉求，对质量/数据变化敏锐，能通过独到的视角或科学的方法发现并解决问题，推动业务指标达成和策略落地； 有自然语言处理、搜索、人工智能领域相关工作经验，有AI项目交付经验者优先； 有想象力、良好的理解阅读能力和创意，了解国内外各种类型的AI产品玩法，如工具类（GPT、豆包、文心一言等）娱乐类（猫箱、星野、CAI等）多模态AI（Midjourney、可灵等）； 熟悉大语言模型，有数据标注与管理的经验，具备从训练数据到模型效果评估到优化的完整经验者优先； 熟练使用数据分析工具，具备数据获取、分类和分析能力； 对AI产品有热情与热爱，具备出色的好奇心与学习能力，能适应较快节奏的工作方式。
工作职责
负责对基于大模型构建的通用垂类应用进行效果和质量评估；通过与产品研发团队的紧密合作，制定评估标准和体系，准确分析评估效果，为应用的优化和改进提供支持，以提升应用的性能、用户体验和市场竞争力； 应用效果与质量评估： 1）负责评估基于大语言模型构建的通用垂类应用的效果和质量，包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面； 2）参与设计测试用例，涵盖不同场景、用户需求和输入条件，以确保应用在各种情况下的稳定性和可靠性； 3）参与收集和分析用户反馈数据，结合实际使用情况，对应用的性能和用户体验进行综合评估； 评估标准与体系建设： 1）理解业务需求和产品目标，与产品研发团队密切沟通和协作，负责制定详细、明确的评估标准和指标体系； 2）理解评估数据的收集、整理和分析流程，确保评估数据的完整性和可靠性，为评估体系的持续改进提供数据支持； 评估效果分析与报告：撰写评估报告，清晰阐述评估方法、过程、结果和结论，为产品研发团队提供决策依据和改进方向。
1、技术培训需求调研与体系规划：开展多维度的技术能力缺口诊断（如产品技术、专项问题），运用问卷、访谈、绩效数据分析等方式识别关键需求。基于业务战略（如产品迭代、投诉改善目标），制定年度/季度培训计划，明确优先级、资源配置及实施路径。 2、技术认证体系与月考管理：设计分层级技术认证标准（如初级/高级工程师认证），关联职业发展通道与激励机制。主导技术月考全流程：题库开发（结合产品故障库）、考核实施、成绩分析，输出能力短板改进方案。 3、讲师团队建设与管理：选拔内部技术专家担任讲师，设计培养计划（含课程开发、授课技巧、课堂控场能力训练）。建立讲师激励体系（如课时津贴、荣誉评级），确保课程质量与讲师留存率。 4、一线工程师能力提升与认证体系化：开发针对性课程（如3C数码产品故障排查、黑白电维修技术），通过工作坊、情景模拟强化实操能力。搭建“培训-认证-实践-复训”闭环体系，推动能力数据化（如认证通过率、故障解决效率提升率）。 5、技术专项攻坚组织：主导高优先级专项（如多维率降低、重大投诉改善），协调研发、服务团队开展根因分析，设计培训干预方案并跟踪落地效果。
该岗位的主要职责包括构建和优化基于AI的大模型链路，通过系统化整理业务知识，提升模型能力的质量及覆盖率，从而增强大模型的理解和应用能力。此外，需与技术团队合作，确保应用的可用性和持续更新，并搭建模型测评标准，确保机器人在会话召回准确率等关键指标上达到预定目标。通过科学评估和监控机制，持续优化模型性能，实现召回准确率提升，同时关注采纳率和知识库查看率等指标，全面提升知识库和大模型的实际应用效果。 具体工作内容主要包括： 1. 探索和提炼业务大模型知识库的结构化构建方式，不断迭代更新版本，确保大模型和人工均能有效使用，实现知识库的全面覆盖。 2. 搭建模型测评标准，确保机器人在会话召回准确率等关键指标上达到目标水平。 3. 建立模型适用文档，对不同的基座模型进行全方位测评，评估每个模型在不同场景、环节、应用方式等方面的优势和劣势。 4. 负责客服场景对话能力的搭建，提升场景闭环率，并将需要搭建的能力提交给工具运营以推进。 5.通过设计、优化和测试AI模型的提示词（Prompt）、知识库，提升智能体输出的准确性、逻辑性和用户体验。 6. 使用低代码平台（如扣子类产品）进行基于语言模型的智能体应用开发。
该岗位的主要职责包括构建和优化基于AI的金融客服知识库，通过系统化整理金融知识，提升知识库的质量和覆盖率，从而增强大模型的理解和应用能力。此外，需与技术团队合作，确保知识库的可用性和持续更新，并搭建模型测评标准，确保机器人在会话召回准确率等关键指标上达到预定目标。通过科学评估和监控机制，持续优化模型性能，实现召回准确率提升，同时关注采纳率和知识库查看率等指标，全面提升知识库和大模型的实际应用效果。 具体工作内容主要包括： 1. 探索和提炼金融大模型知识库的结构化构建方式，不断迭代更新版本，确保大模型和人工均能有效使用，实现知识库的全面覆盖。 2. 搭建模型测评标准，确保机器人在会话召回准确率等关键指标上达到目标水平。 3. 建立模型适用文档，对不同的基座模型进行全方位测评，评估每个模型在不同场景、环节、应用方式等方面的优势和劣势。 4. 负责客服场景对话能力的搭建，提升场景闭环率，并将需要搭建的能力提交给工具运营以推进。 5.通过设计、优化和测试AI模型的提示词（Prompt）、知识库，提升智能体输出的准确性、逻辑性和用户体验。 6. 使用低代码平台（如扣子类产品）进行基于语言模型的智能体应用开发。
1、设计机器人交互流程，确保用户服务体验，持续优化客服机器人能力； 2、负责文本机器人、语音机器人日常运营维护，对机器人各项服务指标负责； 3、可独立完成基于数据分析的机器人运营报告，提炼问题点并输出合理解决方案； 4、与AI产研团队就产品问题、算法模型优化进行深入沟通并推动AI产品、算法优化； 5、与内部不同业务团队进行配合，推动、完成产品优化、以及机器人相关反馈处理。