KeepAI 评测产品经理(J12071)
社招全职1年以上地点：北京状态：招聘
任职要求
1、统招本科及以上学历，专业为体育科学、运动人体科学等相关专业； 2、具备1年以上AI产品评测经验，能设计严谨的A/B测试方案； 3、熟练使用Prompt工程验证模型表现，具备基础SQL/Python数据分析能力； 4、平台优先项：熟悉Dify/Coze/Autogen等Agent开发平台操作逻辑。 加分项： - 拥有以下其…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1、构建覆盖运动指导场景的AI Agent评测框架，制定专业指标（如动作规范性判断准确率、训练计划科学性评分）； 2、模型能力的持续验证与优化，设计运动领域测试用例（如训练方案、运动咨询/指导问答）；主导多模态Agent（文本/语音/视觉）在真实运动场景的评测并输出评测报告； 3、行业技术前瞻研究，跟踪Agent平台（Dify/Coze等）新功能，探索运动垂类适配方案；研究LLM、知识图谱与运动生理学数据的融合应用。
包括英文材料
学历+
Prompt+
https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/introduction-prompt-design
A prompt is a natural language request submitted to a language model to receive a response back.
https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/prompt-engineering
These techniques aren't recommended for reasoning models like gpt-5 and o-series models.
https://www.youtube.com/watch?v=LWiMwhDZ9as
Learn and master the fundamentals of Prompt Engineering and LLMs with this 5-HOUR Prompt Engineering Crash Course!
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL？简单地说，SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
还有更多 •••
相关职位
社招5年以上
1、深度洞察 C 端用户需求，构建 AI 产品质量评测体系，科学制定评测指标与标准，确保评测项目高效执行，输出专业详尽的评测报告，精准捕捉并提炼用户体验痛点，持续推动 C 端产品用户体验升级。 2、主导大模型在 C 端产品落地的效果评估工作，针对文生文、多模态理解与生成等核心能力展开全面评测，深度分析不同大模型在多元用户需求场景下的性能表现，为大模型的精准落地提供坚实数据支撑。 3、聚焦 AI 产品垂类技能，对算法效果进行迭代评测，通过深度数据分析挖掘优化方向，协同算法团队推进算法优化，实现产品核心功能的持续迭代与性能提升。 4、构建自动化评测方案，紧跟模型能力发展趋势，积极探索全模态评测技术，推动评测体系的智能化、高效化升级，提升整体评测效能。
更新于 2025-06-03深圳
社招A148949
1、负责大模型评测平台的全生命周期的产品规划、设计与推动落地，平台为大模型基座及抖音内各场景效果的评测服务，平台能力包括标准的管理、数据标注/生成、自动投放、智能化评测能力等； 2、深入理解大模型预训练语言模型，与评测团队一起建设科学、公允、客观的大模型评测体系； 3、判断行业发展趋势，结合最前沿的技术和产品形态，打造标杆性的大模型评测产品； 4、探索创新型算法评测方法，包括大模型的自动化标注，对抗模型等能力。
更新于 2024-01-31北京
实习
1. 以体验者的身份了解日常工作流程，从中发掘效率提升方向。 2. 深入了解业务流程，梳理业务流程低效点，并思考如何通过AI解决。 3. 搭建智能体，并基于智能体的使用反馈，持续调优
更新于 2025-09-04上海|北京
实习
1. 以体验者的身份了解日常工作流程，从中发掘效率提升方向。 2. 深入了解业务流程，梳理业务流程低效点，并思考如何通过AI解决。 3. 搭建智能体，并基于智能体的使用反馈，持续调优
更新于 2025-11-26北京