百度大模型评估策略产品经理实习生(J89149)
实习兼职ACG地点:北京状态:招聘
任职要求
-本科及以上学历在读,人工智能/大模型/深度学习/数据挖掘相关领域或有算法背景者优先,实习四个月及以上,每周到岗至少四天 -对大模型(LLM/VLM等)的评估方法有深入理解,有benchmark构建或评测研究经验优先 -熟悉主流评估方法(如人类偏好评估、自动化指标、Elo/pointwise等),对评估可靠性与公正性有系统认知 -具备扎实的分析能力和独立研究能力,能将策略方法落地到工程实践 -有一定Python开发能力(如评估脚本、自动化流程搭建)视为加分项 -良好的跨部门沟通与协作能力,具备自我驱动意识
工作职责
-研究与设计大语言模型的评估方法与策略,跟踪业界最新研究进展,探索更高效、精准的评估体系 -参与benchmark的构建、分析和优化评估方法的区分度、稳定性与公允性,涵盖通用能力、垂直领域和多模态等维度 -研究评估自动化前沿方法,参与流程设计与开发 -与模型训练、产品、算法等多团队密切协作,推动评估体系与模型迭代紧密联动
包括英文材料
学历+
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
数据挖掘+
https://www.youtube.com/watch?v=-bSkREem8dM
Database vs Data Warehouse vs Data Lake
https://www.youtube.com/watch?v=7rs0i-9nOjo
算法+
https://roadmap.sh/datastructures-and-algorithms
Step by step guide to learn Data Structures and Algorithms in 2025
https://www.hellointerview.com/learn/code
A visual guide to the most important patterns and approaches for the coding interview.
https://www.w3schools.com/dsa/
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
脚本+
[英文] Scripting language
https://en.wikipedia.org/wiki/Scripting_language
https://zhuanlan.zhihu.com/p/571097954
一个脚本通常是解释执行而非编译。脚本语言通常都有简单、易学、易用的特性,目的就是希望能让程序员快速完成程序的编写工作。
相关职位
实习GN06
1. 针对不同产品线、用户分群和内容场景的特性,通过包括但不限于Prompt工程和传统工程等方式,设计,执行和验证个性化策略,优化用户体验; 2. 与模型和工程团队合作,进行深入的产品策略研究,定期评估现有策略的效果,并根据业务需求进行调整。
更新于 2024-12-26
实习ACG
-深入理解客户场景,将客户需求进行分类并抽象为标准任务类型 -将客户洞察映射至预训练或微调数据中,提升模型在客户评估中的表现 -基于客户/业务需求,结合ACG模型研发部的大模型能力,与大模型数据工程师、算法工程师密切合作,制定策略方案,提升多模态模型或推理模型在具体场景中的适配能力与表现 -协助构建“客户需求 ↔ 模型能力 ↔ 数据反馈”闭环,推动模型在真实业务中的应用效果最大化
更新于 2025-07-16
实习核心本地商业-美
1. 针对不同产品线、用户分群和内容场景的特性,通过包括但不限于Prompt工程和传统工程等方式,设计,执行和验证工程架构,优化用户体验; 2. 与模型和工程团队合作,进行深入的产品策略研究,定期评估现有策略的效果,并根据业务需求进行调整。
更新于 2025-07-02