百度大模型评估策略产品经理实习生（J89149）

1. 针对不同产品线、用户分群和内容场景的特性，通过包括但不限于Prompt工程和传统工程等方式，设计，执行和验证个性化策略，优化用户体验； 2. 与模型和工程团队合作，进行深入的产品策略研究，定期评估现有策略的效果，并根据业务需求进行调整。

-深入理解客户场景，将客户需求进行分类并抽象为标准任务类型 -将客户洞察映射至预训练或微调数据中，提升模型在客户评估中的表现 -基于客户/业务需求，结合ACG模型研发部的大模型能力，与大模型数据工程师、算法工程师密切合作，制定策略方案，提升多模态模型或推理模型在具体场景中的适配能力与表现 -协助构建“客户需求 ↔ 模型能力 ↔ 数据反馈”闭环，推动模型在真实业务中的应用效果最大化

1. 针对不同产品线、用户分群和内容场景的特性，通过包括但不限于Prompt工程和传统工程等方式，设计，执行和验证工程架构，优化用户体验； 2. 与模型和工程团队合作，进行深入的产品策略研究，定期评估现有策略的效果，并根据业务需求进行调整。

1、数据与标注管理 参与通用问答场景下的数据清洗、标注规则制定及质量验收，确保训练数据符合模型需求。 协助构建和优化标注流程，提升数据标注效率与一致性。 2、效果归因分析 对AI的问答结果进行归因分析，定位回答偏差或错误的原因（如数据缺陷、模型缺陷、业务逻辑等）。 输出分析报告，提出可落地的优化建议。 3、日常质量巡检 监控通用问答产品的输出质量，设计并执行巡检机制，跟踪badcase修复进展。 建立关键指标的评估体系。 4、产品功能支持 参与大模型新功能的需求调研、原型设计或AB测试，协助完成功能上线全流程。收集用户反馈，分析需求优先级。