百度大模型评估策略PM实习生（J93269）
任职要求
-具备计算机/机器学习/NLP/人工智能相关领域硕士及以上学历，或同等的科研/工程经验 -对大模型（LLM/VLM等）的评估方法有深入理解，有benchmark构建或评测研究经验优先 -熟悉主流评估方法（如人类偏好评估、…
工作职责
-研究与设计大语言模型的评估方法与策略，跟踪业界最新研究进展，探索更高效、精准的评估体系 -对开源benchmark有一定了解，能够独立完成benchmark适配到评估结果分析全流程工作 - 参与自有benchmark的构建、优化评估方法的区分度、稳定性与公允性，涵盖通用能力、垂直领域和多模态等维度 -研究评估自动化前沿方法，参与流程设计与开发 -与模型训练、产品、算法等多团队密切协作，推动评估体系与模型迭代紧密联动
1、对话质量评估与策略优化：参与商家会话质量评测体系建设，包括评测体系、评测指标、评测流程，对齐用户体感和指标收益。参与客服会话水平评估，定位典型问题并输出优化策略/sop，推动商家和智能客服对话质量提升和留资效果； 2、自动评估体系建设：参与设计大模型自动评估体系和流程，自动化评测效果调优，保证自动化评估效率和准确率； 3、意图识别能力搭建：根据会话及商家信息，定义意图识别体系及规则，与算法共建意图识别模型，保证可用及准召； 4、会话知识图谱：通过爬虫挖掘、模型润色生产等方式进行会话知识供给建设和补充，刻画线索行业会话水位和知识图谱，保障对话效果。
-对大模型落地场景感兴趣，与GTM团队沟通、梳理客户场景的评估标准，做到可量化评估 -参与自有benchmark的构建、优化评估方法的区分度、稳定性与公允性，涵盖通用能力、垂直领域和多模态等维度 -对开源benchmark有一定了解，能够独立完成benchmark适配到评估结果分析全流程工作 -与模型训练、产品、算法等多团队密切协作，推动评估体系与模型迭代紧密联动
-关注大模型在应用中的模型效果问题，能深入分析提炼评价体系，并与算法策略团队推进模型效果迭代 -调研并分析大模型落地应用情况，根据客户输入及数据分析提炼效果优化点，主动发现并抽象问题 -辅助建设并持续完善大模型在具体场景的效果评估体系，支持高质量数据集建设，推进大模型效果持续提升 -参与设计大模型在常见行业领域的应用范式，总结最佳实践，帮助客户快速提升大模型效果
-研究并实现大语言模型的评估方法与算法策略，持续跟踪业界最新研究进展，提出创新性改进思路，探索更高效、精准的评估体系 -参与并主导 benchmark 的构建与实现，开发工具和流程，系统分析和优化评估方法的区分度、稳定性与公允性，覆盖通用能力、垂直领域与多模态方向 -研究与实现评估自动化方法（如自动化标注、模型对比、在线评测等），参与核心评估框架和平台的设计与研发 -与模型训练、算法、数据、产品等多团队紧密协作，推动评估体系与模型迭代的深度耦合