logo of baidu

百度大模型评估策略产品经理实习生(J89149)

实习兼职ACG地点:北京状态:招聘

任职要求


-本科及以上学历在读,人工智能/大模型/深度学习/数据挖掘相关领域或有算法背景者优先,实习四个月及以上,每周到岗至少四天
-对大模型LLM/VLM等)的评估方法有深入理解,有benchmark构建或评测研究经验优先
-熟悉主流评估方法(如人类偏好评估、自动化指标、Elo/pointwise等),对评估可靠性与公正性有系统认知
-具备扎实的分析能力和独立研究能力,能将策略方法落地到工程实践
-有一定Python开发能力(如评估脚本、自动化流程搭建)视为加分项
-良好的跨部门沟通与协作能力,具备自我驱动意识

工作职责


-研究与设计大语言模型的评估方法与策略,跟踪业界最新研究进展,探索更高效、精准的评估体系
-参与benchmark的构建、分析和优化评估方法的区分度、稳定性与公允性,涵盖通用能力、垂直领域和多模态等维度
-研究评估自动化前沿方法,参与流程设计与开发
-与模型训练、产品、算法等多团队密切协作,推动评估体系与模型迭代紧密联动
包括英文材料
学历+
大模型+
深度学习+
数据挖掘+
算法+
Python+
脚本+
相关职位

logo of meituan
实习GN06

1. 针对不同产品线、用户分群和内容场景的特性,通过包括但不限于Prompt工程和传统工程等方式,设计,执行和验证个性化策略,优化用户体验; 2. 与模型和工程团队合作,进行深入的产品策略研究,定期评估现有策略的效果,并根据业务需求进行调整。

更新于 2024-12-26
logo of baidu
实习ACG

-深入理解客户场景,将客户需求进行分类并抽象为标准任务类型 -将客户洞察映射至预训练或微调数据中,提升模型在客户评估中的表现 -基于客户/业务需求,结合ACG模型研发部的大模型能力,与大模型数据工程师、算法工程师密切合作,制定策略方案,提升多模态模型或推理模型在具体场景中的适配能力与表现 -协助构建“客户需求 ↔ 模型能力 ↔ 数据反馈”闭环,推动模型在真实业务中的应用效果最大化

更新于 2025-07-16
logo of meituan
实习核心本地商业-美

1. 针对不同产品线、用户分群和内容场景的特性,通过包括但不限于Prompt工程和传统工程等方式,设计,执行和验证工程架构,优化用户体验; 2. 与模型和工程团队合作,进行深入的产品策略研究,定期评估现有策略的效果,并根据业务需求进行调整。

更新于 2025-07-02
logo of mi
实习

1、数据与标注管理 参与通用问答场景下的数据清洗、标注规则制定及质量验收,确保训练数据符合模型需求。 协助构建和优化标注流程,提升数据标注效率与一致性。 2、效果归因分析 对AI的问答结果进行归因分析,定位回答偏差或错误的原因(如数据缺陷、模型缺陷、业务逻辑等)。 输出分析报告,提出可落地的优化建议。 3、日常质量巡检 监控通用问答产品的输出质量,设计并执行巡检机制,跟踪badcase修复进展。 建立关键指标的评估体系。 4、产品功能支持 参与大模型新功能的需求调研、原型设计或AB测试,协助完成功能上线全流程。收集用户反馈,分析需求优先级。

更新于 2025-08-13