快手AI大模型测试开发工程师
任职要求
1、计算机、AI相关专业本科及以上学历，2年以上测试开发或AI方向经验； 2、熟悉大模型技术栈； 3、熟练掌握Python，有自动化测试框架开…
工作职责
1、测试策略设计：制定大语言模型（如QWEN、Deepseek、GPT等）的测试计划，覆盖功能、性能、安全等维度，设计 prompts 测试用例，评估模型在多样化场景下的响应质量（如事实性、逻辑性、无害性）； 2、自动化测试开发：构建自动化测试框架，支持模型迭代的高效验证（如基于Pytest、LangChain、评估指标体系等）； 3、跨团队协作：与工程团队合作提出优化建议，推动模型性能优化。
1. 负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设。 2. 设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估。 3. 构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系。 4. 推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性。 5. 主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现。
1、负责AI模型训练数据的质量评测，保障高质量的数据交付； 2、设计高置信度的测试集，完善数据评测体系，并持续推动体系的迭代； 3、基于模型生成结果对数据进行分析，精准定位数据问题； 4、高效管理外包团队，保证项目排期有效进行。
1. 负责 AI 应用的测试设计与自动化测试开发，确保功能正确、性能稳定、体验可靠。 2. 深入理解业务需求和 AI 应用场景，参与需求评审，识别风险点和测试重点。 3. 针对 AI 模型输出的正确性、稳定性、一致性、可用性设计测试策略与测试用例。 4. 跟踪线上质量问题，进行问题复现、日志分析和根因定位，推动问题闭环解决。 5. 持续优化测试策略与流程，总结测试经验，沉淀工具和平台，提高整体测试效率与质量。 6. 与产品、算法工程师、后端/前端工程师紧密合作，保障 AI 功能从需求到上线的质量。
1. 负责 AI 应用的测试设计与自动化测试开发，确保功能正确、性能稳定、体验可靠。 2. 深入理解业务需求和 AI 应用场景，参与需求评审，识别风险点和测试重点。 3. 针对 AI 模型输出的正确性、稳定性、一致性、可用性设计测试策略与测试用例。 4. 跟踪线上质量问题，进行问题复现、日志分析和根因定位，推动问题闭环解决。 5. 持续优化测试策略与流程，总结测试经验，沉淀工具和平台，提高整体测试效率与质量。 6. 与产品、算法工程师、后端/前端工程师紧密合作，保障 AI 功能从需求到上线的质量。