百度大模型评估PM实习生（J98643）

-研究与设计大语言模型的评估方法与策略，跟踪业界最新研究进展，探索更高效、精准的评估体系 -对开源benchmark有一定了解，能够独立完成benchmark适配到评估结果分析全流程工作 - 参与自有benchmark的构建、优化评估方法的区分度、稳定性与公允性，涵盖通用能力、垂直领域和多模态等维度 -研究评估自动化前沿方法，参与流程设计与开发 -与模型训练、产品、算法等多团队密切协作，推动评估体系与模型迭代紧密联动

1、对话质量评估与策略优化：参与商家会话质量评测体系建设，包括评测体系、评测指标、评测流程，对齐用户体感和指标收益。参与客服会话水平评估，定位典型问题并输出优化策略/sop，推动商家和智能客服对话质量提升和留资效果； 2、自动评估体系建设：参与设计大模型自动评估体系和流程，自动化评测效果调优，保证自动化评估效率和准确率； 3、意图识别能力搭建：根据会话及商家信息，定义意图识别体系及规则，与算法共建意图识别模型，保证可用及准召； 4、会话知识图谱：通过爬虫挖掘、模型润色生产等方式进行会话知识供给建设和补充，刻画线索行业会话水位和知识图谱，保障对话效果。

-关注大模型在应用中的模型效果问题，能深入分析提炼评价体系，并与算法策略团队推进模型效果迭代 -调研并分析大模型落地应用情况，根据客户输入及数据分析提炼效果优化点，主动发现并抽象问题 -辅助建设并持续完善大模型在具体场景的效果评估体系，支持高质量数据集建设，推进大模型效果持续提升 -参与设计大模型在常见行业领域的应用范式，总结最佳实践，帮助客户快速提升大模型效果

-跟踪业界大模型评估平台与工具的研究与实现进展，设计并研发先进的评估指标、算法和系统方案，提升结果的准确性与可解释性 -参与大模型评估平台的架构设计与持续迭代，负责核心模块（如评测引擎、任务调度、可视化分析）的迭代与优化 系统梳理评估全流程，包括样本管理、评测执行、结果存储与可视化、趋势对比和多维度分析等，形成可扩展的评估工具链 -跟进行业领先的评估研究方向，推动新方法在评估平台中高效落地 -与算法、模型训练、数据等团队紧密协作，确保平台功能满足前沿评估与大规模实验需求