小红书大模型评测实习生

1. 参与多模态（文本、语音、图像）模型评测； 2. 针对大模型在实际业务中的落地场景（如代码生成、知识问答、长文本摘要），设计测试用例，定位模型幻觉、偏见、安全性等问题； 3. 研究并扩展评测数据集，构建多样化业务场景； 4. 前沿技术研究与创新，跟踪大模型评测领域最新进展。

1、协助参与快手大模型（包括但不限于 LLM、T2I、I2I、MLLM 等）的评测工作，支持评测体系的建设与优化； 2、协助开发和维护评测相关的自动化工具，提升评测效率和稳定性； 3、在导师指导下完成数据收集、分析与可视化，输出阶段性评测结论； 4、参与图像等生成结果质量评估，结合主观感受与客观指标，提出改进建议。

1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。

1、产品评测与数据管理：负责大模型产品的全面评测工作，包括数据集的设计、构建和管理，以及 prompt 的深入挖掘和分析。 2、测试结果分析与报告撰写：负责测试结果的详细记录、数据的整理和分析，并根据分析结果撰写清晰、准确和具有洞察力的测试报告。 3、跨部门协作：与算法和研发团队保持紧密联系，共同解决模型运行过程中遇到的挑战。提供模型badcase的跟踪、修复与验证。