淘宝闪购淘宝闪购-AI产品运营（评测&知识库运维方向）-北京/上海
任职要求
1. 本科或以上学历，5年以上 LLM 相关产品运营经验，熟悉AI产品工作，深入理解 RAG 技术链路与优化逻辑，具备知识库构建、清洗、评测等实际项目经验。 2. 有评测标注运营管理经验，能够独立制定评测SOP，协调外包团队，把控评测质…
工作职责
1. 负责具体 Agent 端到端效果的运营，能够提供高质量的训练集和测试集，用于算法模型迭代。 2. 负责建立并持续迭代大模型评测体系和方法，设计科学的评估框架与指标体系，定义大模型效果，制定及优化评测标准、流程管理、资源协调等，产出稳定可信的专业评测分析报告。 3. 建立并执行线上质量监控机制，分析问答Badcase，并能系统性归因，推动问题闭环解决。 4. 持续关注行业产品动态，洞察业界评测研究与方法论，结合实际业务场景，持续优化迭代内部评测方案，探索更贴近真实用户体验的评测方法，推进产品快速迭代，提升产品用户体验。 5. 主导 RAG 链路中的知识库规划、构建与持续维护，协同产品、算法与工程团队，共同提升智能问答的准确性与可靠性。
1、设计 AI 助手评测产品体系，覆盖大盘评估、策略迭代评估，建设自动化评估能力，让评估本身可规模化。 2、与产品和算法团队深度协作，把"产品质量"这种模糊的体感问题，拆解为可量化的指标体系与可执行的标注方案。 3、探索多模态场景下的评测方法，针对不同模态的特性设计差异化的评估框架。 4、推动评测结论真正落地——影响策略方向、影响产品决策、影响下一轮模型迭代。
1. AI 模型：负责模型上线后的监控、指标跟踪、灰度发布与回滚策略，保障在线服务的稳定性与可用性。 2. 数据与特征管理：与数据工程师协作，维护特征仓库、特征质量检测与线上特征一致性。 3. 业务化落地：能产出基于AI的运营工具和需求与产品/运营团队合作，将模型能力（推荐、留存预测、投放优化、客服等）转化为具体运营策略并推动实施。 4. 跨部门沟通：作为技术与业务间的桥梁，清晰传达模型假设、限制与预期效果，协同落实落地计划。
1. 深入全链路业务场景，通过用户研究与竞品分析，定义 AI 赋能的产品方案； 2. 将模型能力转化为具体的运营策略，负责提示词（Prompt）优化、标签体系梳理、特征质量管理，与算法/研发团队协作，推动 AI 能力在实际场景中的部署与应用； 3. 参与 AI 模型的指标跟踪、灰度发布与效果监控；协助评估模型的稳定性、可用性及输出一致性，确保在线服务的健康运行； 4. 监控产品核心指标，利用 SQL/Python 等工具进行数据挖掘与实验评估，基于数据洞察持续迭代优化 AI 策略； 5. 负责 AIGC 产品的内容包装与创意传播方案，针对特定场景打造高质量内容，提升用户活跃度与产品忠诚度。
1. 负责SaaS AI智能客服及AI智能导购产品的运营工作，包括但不限于机器人应答效果的分析与提升、运营方法论的沉淀以及运营调优工具的建设； 2. 利用数据分析工具，对客户进行分层分析，深入挖掘不同行业特性，识别并抓住产品增长的机会点； 3. 根据数据分析的结果，制定并实施有效的产品运营策略，持续优化用户体验，提升用户满意度； 4. 与产品团队紧密合作，基于运营数据提出产品改进建议，推动产品功能的优化与创新； 5. 监控运营活动的效果，根据市场反馈及时调整运营策略，确保达到预期目标。