快手大模型-评测工程师
任职要求
1、本科及以上学历； 2、具备3年及以上测试或评测相关经验（不限于大模型领域），对大模型及前沿 AI 技术有浓厚兴趣； 3、 具备扎实的编程能力，熟练掌握至少一种主流编程语言（如 Python、C++等），具备良好的数据分析能力，能独立完成评测逻辑和数据处理； 4、拥有良好的沟通协作能力和跨团队合作经验，工作严谨，注重质量与细节； 5、学习能力强，对新技术敏感，具备快速理解技术文献、动手实践并解决问题的能力。 加分项： * 有大厂/头部互联网公司工作经验； * 具备图像、视频或多模态处理相关项目经验。
工作职责
1、以算法视角，参与快手大模型（包括不限于LLM，T2I，T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率。
1、负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设； 5、站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。
1.负责大模型评测体系建设，包含评测集管理、评测流程建设、评测工具需求制定及开发落地； 2.负责大模型评测，包含制定测试方案、测试指标定义，测试集数据建设、测试执行并输出专业测试报告； 3.评测技术的持续迭代和优化，能通过Prompt工程或自训练算法模型等AI手段，建设提升大模型评测能力，并负责相关自动化测试工具开发及维护, 最大化提高测试效率 4.站在用户角度，对产品、研发提出建设性的意见，在测试参与的各个流程中以用户视角保证产品体验 5. 调研行业先进AI技术，并推动落地在实际项目中。
1、参与快手大模型（包括不限于大语言模型，文生图模型，文生视频模型和多模态大模型）日常评测工作和评测体系建设； 2、参与评测方案的持续迭代和优化，通过Prompt工程、自训练算法模型、NLP模型等手段，建设提升大模型评测能力； 3、参与快手大模型相关应用的迭代和效果优化，调研行业先进AI技术，并推动落地在实际项目中； 4、与相关上下游团队密切配合，评估模型效果、给出迭代建议、明确优化方向，从评测视角持续帮助模型能力提升。
1、负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设； 4、站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。