百度AI大模型策略产品经理(J90178)
任职要求
-有大模型策略、评估体系搭建,人工智能/大模型/深度学习/数据挖掘相关领域或有算法背景者优先 -必备经验: 有大模型或B端策略经验。加分项: 模板/功能产品经验,MaaS平台型经验 -有耐心有韧性,目标导向,高效达成;优秀的沟通和协调能力,能够与内外部合作方共同达成目标
工作职责
-关注大模型在应用中的模型效果评估问题,能深入分析提炼大模型评估体系,并与算法策略团队推进模型效果迭代 -参与搭建行业内具有效果领先的场景agent,并对于效果有详细的评估标准,向团队内输出效果优化优化策略 -调研并分析大模型落地应用情况,根据客户输入及数据分析提炼效果优化点,主动发现并抽象问题 -辅助建设并持续完善大模型在具体场景的效果评估体系,支持高质量数据集建设,推进大模型效果持续提升 -参与设计大模型在常见行业领域的应用范式,总结最佳实践,帮助客户快速提升大模型
1、数据与标注管理 参与通用问答场景下的数据清洗、标注规则制定及质量验收,确保训练数据符合模型需求。 协助构建和优化标注流程,提升数据标注效率与一致性。 2、效果归因分析 对AI的问答结果进行归因分析,定位回答偏差或错误的原因(如数据缺陷、模型缺陷、业务逻辑等)。 输出分析报告,提出可落地的优化建议。 3、日常质量巡检 监控通用问答产品的输出质量,设计并执行巡检机制,跟踪badcase修复进展。 建立关键指标的评估体系。 4、产品功能支持 参与大模型新功能的需求调研、原型设计或AB测试,协助完成功能上线全流程。收集用户反馈,分析需求优先级。
1.质量标准制定:负责制定教育类大模型的质量标准和评估体系,涵盖问答生成的准确性、流畅性、合理性等维度,确保AI生成内容在教育场景下的高质量与高准确性; 2.生成内容的评测与优化: 基于用户反馈、数据分析等手段,组织评测团队对AI生成的教育内容进行定期评测,分析结果并与技术团队合作,推动模型的不断优化与进步; 3.模型智能提升策略: 制定大模型在教育领域整体的智能提升策略,协调跨部门资源,推动AI大模型在教育应用中的深度融合与持续创新; 4.用户反馈与需求挖掘: 通过数据分析、用户调研等手段,挖掘教育产品用户的需求与痛点,优化大模型的生成内容与互动体验; 5.跨部门协作与项目推进: 与研发、数据科学、教育专家等团队密切协作,确保AI的质量标准和优化方案能够高效落地。
1.质量标准制定:负责制定教育类大模型的质量标准和评估体系,涵盖问答生成的准确性、流畅性、合理性等维度,确保AI生成内容在教育场景下的高质量与高准确性; 2.生成内容的评测与优化: 基于用户反馈、数据分析等手段,组织评测团队对AI生成的教育内容进行定期评测,分析结果并与技术团队合作,推动模型的不断优化与进步; 3.模型智能提升策略: 制定大模型在教育领域整体的智能提升策略,协调跨部门资源,推动AI大模型在教育应用中的深度融合与持续创新; 4.用户反馈与需求挖掘: 通过数据分析、用户调研等手段,挖掘教育产品用户的需求与痛点,优化大模型的生成内容与互动体验; 5.跨部门协作与项目推进: 与研发、数据科学、教育专家等团队密切协作,确保AI的质量标准和优化方案能够高效落地。