理想汽车大模型评测实习生

岗位职责： 1、梳理和解读大模型相关的评测业务，辅助进行定制化的评测框架体系构建，完善内部评测机制； 2、针对交付评测数据进行数据验收，反馈指标以及数据问题，引导评测同学进行质量提升； 3、针对市场上大模型相关应用进行摸底调研，结合内部模型方向给到模型优化改进意见；

1、协助参与快手大模型（包括但不限于 LLM、T2I、I2I、MLLM 等）的评测工作，支持评测体系的建设与优化； 2、协助开发和维护评测相关的自动化工具，提升评测效率和稳定性； 3、在导师指导下完成数据收集、分析与可视化，输出阶段性评测结论； 4、参与图像等生成结果质量评估，结合主观感受与客观指标，提出改进建议。

1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。

1、产品评测与数据管理：负责大模型产品的全面评测工作，包括数据集的设计、构建和管理，以及 prompt 的深入挖掘和分析。 2、测试结果分析与报告撰写：负责测试结果的详细记录、数据的整理和分析，并根据分析结果撰写清晰、准确和具有洞察力的测试报告。 3、跨部门协作：与算法和研发团队保持紧密联系，共同解决模型运行过程中遇到的挑战。提供模型badcase的跟踪、修复与验证。