快手大模型测试工程师-【可灵AI数据方向】
任职要求
1、本科及以上学历，电子或计算机类工科专业，3年以上测试领域工作经验； 2、具备AIGC、AI评测方向实践经验，熟悉常见的音视频质量评测方法； 3、熟悉Python/Shell等编程语言中的至少一种；熟悉Linux操作系统、数据库操作系统； 4、评估项目质量风险，跟进项目进度和问题…
工作职责
1、负责AI模型训练数据的质量评测，保障高质量的数据交付； 2、设计高置信度的测试集，完善数据评测体系，并持续推动体系的迭代； 3、基于模型生成结果对数据进行分析，精准定位数据问题； 4、高效管理外包团队，保证项目排期有效进行。
1.协助理解大模型业务需求、场景边界及变更诉求，参与梳理核心质量指标，配合完成需求拆解与测试范围界定，保障测试工作贴合业务目标； 2.参与大模型测试用例设计，覆盖正常 / 异常 / 边界 / 高并发场景，配合完成测试策略梳理与执行计划落地； 3.负责大模型测试执行工作，包含 RL+agent 流程校验、链路质量、协议兼容、推理性能、模型效果等专项测试； 4.作为测试执行对接人，配合模型效果评估团队落实测试标准与数据对接，协同研发、产品、运维团队跟进问题定位、整改及闭环； 5.参与测试用例库、测试流程的沉淀与优化，协助推进测试自动化落地；跟进线上质量问题，配合完成根因分析与改进落地。
1. 负责项目全流程质量保证，包括需求分析、参与系统设计，制定测试计划、设计和执行测试用例，自动化用例开发，产品进度&风险把控，缺陷跟踪及定位、协助开发解决问题 2. 负责或带领其他测试开发工程师执行项目测试，合理制定测试计划，保证产品发布质量 3. 通过持续的测试流程和方法创新，利用工程化、体系化的思路方法，构建成熟稳定的质量保证体系，提升研发过程的质量和效率 4. 研究探索前沿技术，改进工具链，提高测试覆盖、有效性和效率，降低维护成本。
1、测试策略设计：制定大语言模型（如QWEN、Deepseek、GPT等）的测试计划，覆盖功能、性能、安全等维度，设计 prompts 测试用例，评估模型在多样化场景下的响应质量（如事实性、逻辑性、无害性）； 2、自动化测试开发：构建自动化测试框架，支持模型迭代的高效验证（如基于Pytest、LangChain、评估指标体系等）； 3、跨团队协作：与工程团队合作提出优化建议，推动模型性能优化。
1. 负责 AI 应用的测试设计与自动化测试开发，确保功能正确、性能稳定、体验可靠。 2. 深入理解业务需求和 AI 应用场景，参与需求评审，识别风险点和测试重点。 3. 针对 AI 模型输出的正确性、稳定性、一致性、可用性设计测试策略与测试用例。 4. 跟踪线上质量问题，进行问题复现、日志分析和根因定位，推动问题闭环解决。 5. 持续优化测试策略与流程，总结测试经验，沉淀工具和平台，提高整体测试效率与质量。 6. 与产品、算法工程师、后端/前端工程师紧密合作，保障 AI 功能从需求到上线的质量。