美团评测/标注产品负责人
任职要求
硬核技能
数据标注/质量管理经验
熟悉 LLM 评测指标与常用基准
掌握数据标注全流程、质控方法与工具
团队管…工作职责
我们是谁？ - 我们正在孵化一款懂你会办事的AI助手产品。我们是一个痴迷AI、敢想敢造的小团队，等待一个同样疯狂的你，一起重新定义“生活” 你将迎接的挑战：从0到1打造现象级AI产品 - 深入用户场景，挖掘那些“未被说出口”的痛点和欲望，设计让用户惊呼“这就是未来”的产品 - 与算法、工程、设计团队并肩作战，将前沿技术转化为真实可感的产品价值 希望你一起做什么？ - 搭建全新的Agent评测框架，持续追踪并输出改进方案。 - 组建并管理评测与标注团队，持续提升团队效率与数据交付质量。 - 和相关团队一起搭建评测/标注工具等
1、协助业务部门负责人，对评测/标注及其它作业流程策略、链路及标准进行评估，通过优化人工作业规则、流程与管理模式，持续提升外包交付效率、保证交付质量； 2、挖掘算法模型优化和业务策略的链接关系，通过有效的评测/标注设计，更好地支持模型能力提升、持续保障与优化评测/标注的外包运行效果； 3、协助业务负责人，基于评测/标注类实际管理情况与业务特性沉淀对应业务的标准化指标以及人员管理体系； 4、协助部门负责人进行外包团队管理工作，对外包任务交付质量负责。
1、质量监控：按照标注和评测标准和流程，对所负责的业务内容进行系统化质量评估（包括但不限于抽检、质量把控、标注），并结合评估结论，针对性的进行业务质量提升，保障业务质量交付顺利； 2、业务协作： 1）支持线上用户需求洞察，针对用户真实场景、数据和需求形成结构化梳理，形成标注/评测需求，明确生产链路，协同算法团队持续迭代产品； 2）制定并搭建模型训练数据策略、评测机制，支持评测集、训练集的搭建，监测模型回复质量并进行问题汇总反馈，持续优化线上模型回复效果； 3）支持细分任务的交付统筹，对数据质量、执行方式、产能规划、人员培养/筛选、风险识别和解决负责； 4）深入理解实际业务场景需求，支持细分任务的过程提效场景发掘和探索落地，包括但不限于数据标评流程、生产工具、大模型预标工具等多方面。
1、平台战略规划与设计：深入全链路业务场景，通过业务分析、用户研究、竞品分析等，对内部产品平台进行整体战略规划与架构设计，深度洞察业务需求与用户反馈，推动平台功能的持续优化与用户体验的全方位提升。通过创新思维与技术手段，确保平台在行业内保持头部地位。业务方向包含但不限于智能标注产品、专家社区产品、评测产品、资源管理产品等 2、智能化工具开发与升级：深度参与产品工具的开发与迭代升级，主导智能化功能的落地实施，显著提升数据标注及作业效率与准确性。通过引入前沿技术，推动产品工具的智能化转型，助力团队在数据标注领域实现技术突破。 3、平台运营策略与用户增长：制定并执行负责产品的运营策略，通过线上线下多渠道推广，提升产品用户的使用量。构建创新的用户激励机制，激发标注人员的积极性与忠诚度，打造高活跃度的用户产品。 4、行业动态与市场趋势洞察：持续关注数据标注行业的前沿动态与发展趋势，定期开展市场调研，深度分析竞争对手的产品与运营策略。基于市场洞察，提出创新的产品优化与运营改进方案，确保平台在激烈的市场竞争中保持核心竞争力。
1、平台战略规划与设计：深入全链路业务场景，通过业务分析、用户研究、竞品分析等，对内部产品平台进行整体战略规划与架构设计，深度洞察业务需求与用户反馈，推动平台功能的持续优化与用户体验的全方位提升。通过创新思维与技术手段，确保平台在行业内保持领先地位。业务方向包含但不限于智能标注产品、专家社区产品、评测产品、资源管理产品等 2、智能化工具开发与升级：深度参与产品工具的开发与迭代升级，主导智能化功能的落地实施，显著提升数据标注及作业效率与准确性。通过引入前沿技术，推动产品工具的智能化转型，助力团队在数据标注领域实现技术突破。 3、平台运营策略与用户增长：制定并执行负责产品的运营策略，通过线上线下多渠道推广，提升产品用户的使用量。构建创新的用户激励机制，激发标注人员的积极性与忠诚度，打造高活跃度的用户产品。 4、行业动态与市场趋势洞察：持续关注数据标注行业的前沿动态与发展趋势，定期开展市场调研，深度分析竞争对手的产品与运营策略。基于市场洞察，提出创新的产品优化与运营改进方案，确保平台在激烈的市场竞争中保持核心竞争力。