快手大模型评测实习生

岗位职责： 1、梳理和解读大模型相关的评测业务，辅助进行定制化的评测框架体系构建，完善内部评测机制； 2、针对交付评测数据进行数据验收，反馈指标以及数据问题，引导评测同学进行质量提升； 3、针对市场上大模型相关应用进行摸底调研，结合内部模型方向给到模型优化改进意见；

1. 参与多模态（文本、语音、图像）模型评测； 2. 针对大模型在实际业务中的落地场景（如代码生成、知识问答、长文本摘要），设计测试用例，定位模型幻觉、偏见、安全性等问题； 3. 研究并扩展评测数据集，构建多样化业务场景； 4. 前沿技术研究与创新，跟踪大模型评测领域最新进展。

1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。

1、产品评测与数据管理：负责大模型产品的全面评测工作，包括数据集的设计、构建和管理，以及 prompt 的深入挖掘和分析。 2、测试结果分析与报告撰写：负责测试结果的详细记录、数据的整理和分析，并根据分析结果撰写清晰、准确和具有洞察力的测试报告。 3、跨部门协作：与算法和研发团队保持紧密联系，共同解决模型运行过程中遇到的挑战。提供模型badcase的跟踪、修复与验证。