百度评估产品经理(J51963)
任职要求
-本科及以上学历,3年以上的搜索相关产品的评估执行经验 -具备良好的数据分析和用户研究意识,能够独立撰写评估及调研报告 -…
工作职责
-负责生成式相关的例行评估工作,为评估交付数量、交付时间和质量负责,开展相应的评估数据分析和撰写评估报告 -负责开展相关用户及竞品调研的组织和实施,推进评估标准的迭代升级 -对接生成式相关的业务团队同学,进行标准沟通、结论对齐和业务迭代方向讨论等 -跟进相关的分析报告、case的落地和优化,为最终的数据闭环和体验优化情况负责
● 构建空间智能(世界模型,当前高德世界模型业内 sota) Benchmark: 从高德海量的历史行为数据中,提炼出评估模型“空间推理能力”、“多地点规划能力”、“地理常识”的黄金测试集(Golden Set),建立对标业内顶级模型的客观评测体系; ● 复杂推理链数据生产: 设计并生产针对导航规划的思维链数据。不仅告诉模型“走哪条路”,还要通过数据教会模型“为什么要走这条路(考虑红绿灯、天气、临时封路)”,提升模型的可解释性; ● 合成数据探索: 利用高德的仿真引擎生成极端场景(长尾路况、复杂立交桥)的合成数据,用于训练模型的鲁棒性,弥补真实数据的不足; ● 数据飞轮建设: 设计从用户反馈(如“用户偏航”、“手动切换路线”)自动转化为模型负样本的闭环流程。
1、负责小红书搜索基础体验评估,系统性地发现体验问题,驱动产品与策略的持续优化 2、构建例行化的评估机制,持续监控体验指标和问题变化,推动产研团队拆解问题、制定优化方案 3、建立和维护搜索体验评估标准,负责对内外的沟通对齐、培训及落地执行 4、探索并应用AI赋能评估工作,提升评估的效率与深度
1、数据看板监控,跟踪核心指标(如评估准确率、误伤率、评估时效、争议率等),每日 / 周 / 月输出数据报表,及时发现异常波动并预警; 2、深度分析评估数据,挖掘评估质量、需求问题、效率瓶颈,形成专项报告,提出可落地的优化建议(如规则整合、人员培训、流程简化、需求合并等); 3、协同部门推进评估工具的优化与迭代、数据统计、自动化评估等功能需求,提升运营效率、评估效率、评估需求覆盖面等; 4、为评估体系的科学性、评估需求的合理性、评估成本的必要性 等提供辅助,共同迭代整体项目的标准化运营流程与交付提升和收益回收追踪;
1. 质量策略与流程设计:完成人工和机器审核各模块质量策略和流程方案设计与落地,主动挖掘问题并保障问题检出置信度 2. 大模型质量评测:负责机审大模型上线前的质量评测,设计评估指标体系,搭建评估链路,上线后持续监测模型是否劣化,输出问题诊断和分析 3. 目标制定与管理:串联业务产品、规则运营、人审管理等上下游团队,对齐业务目标与拆解质量指标,建设目标管理体系 4. 跨团队协同推进:推进策略、算法、规则等协作方了解问题并辅助解决,在高张力协同环境中主导问题闭环 5. 需求与成本管理:做好质检团队的需求与成本管理,监控质检效率和数据产出质量 核心指标:审核漏放率 / 误伤率、质检问题检出率、问题定位分析精准度、质检效率