千问千问事业部-高级测试开发专家-北京
任职要求
1、8年以上大规模互联网移动产品线端到端系统质量保障经验，有AI助手类产品质量经验优化； 2、对业务架构有整体深刻理解，能够独立完成测试方案与测试平台的选型和设计，能够独立对团队的质量和效率决策产生影响； 3、具有良好的技术洞察力和优秀的数据分析技能，熟悉LLM 原理…
工作职责
1、负责千问/夸克产品的端到端质量保障工作，深度参与产品需求和架构设计，评估需求、技术架构合理性和可测性，主导复杂跨团队项目的质量规划与落地，推动系统性改进； 2、结合行业发展趋势，制定全面的质量策略（功能/性能/稳定性/兼容性/安全性），构建适合业务发展的质量保障体系，包括线下测试、线上监控以及问题定位分析能力建设； 3、深度分析线上用户行为和链路系统技术指标，通过主动挖掘系统/用户体验问题、模型效果评测、竞对产品分析等手段体系化推动用户体验不断优化； 4. 带领并指导团队成员成长，充分利用AI测试能力，建立和完善质量技术规范和最佳实践，提升团队整体技术能力和业务影响力。
1. 负责智能 AI/Agent 类产品的质量保障体系建设，覆盖从需求评审、开发测试到上线监控的全生命周期； 2. 建立基于业务场景的质量评估模型，搭建自动化评测pipline，覆盖意图识别准确率、工具调用成功率、多轮对话连贯性及最终结果可用性； 3. 负责端侧业务交互链路的质量保障，确保多模态交互的流畅性、正确性等核心性能体验监控、优化推进； 4. 主导评测数据集构建与持续维护，建立 Badcase 分析与归因机制，推动算法/工程侧的质量改进闭环； 5. 规划并落地测试工具链、数据构造引擎及线上异常监控体系，将 AI 前沿技术（如 LLM-as-a-Judge、Agent 自动评测）转化为团队生产力； 6. 带领测试团队成长，提升团队对 AI 技术的敏感度与应用能力，沉淀 AI 质量保障的最佳实践。
1. 负责新一代AI驱动的PC产品质量保证工作与团队建设，主导质量团队的组织架构设计、人才梯队培养及绩效管理，打造一支具备系统底层、应用上层及 AI 评测能力的复合型质量团队，对最终产品交付质量与用户体验负责； 2. 构建覆盖“安卓系统-上层应用-AI Agent"的全链路质量保证体系。主导跨域质量架构设计，解决终端稳定性兼容性、云边端协同、分布式系统一致性、AI非确定性输出等复杂质量挑战，制定统一的质量门禁与发布准出标准，确保端到端交付质量； 3. 引领测试技术的智能化转型，探索"AI for Testing"与"Testing for AI"双轮驱动模式。一方面将 AI 能力融入自动化测试、用例生成、缺陷分析等环节提升效能；另一方面建立针对 AI Agent/LLM 产品的专项评估体系（如准确性、安全性、幻觉检测），解决非确定性输出的质量挑战，保持行业技术领先性； 4. 主导测试能力平台化与服务化建设，构建系统级、应用级、服务端及 AI 评估的自动化用例库。推动质量能力与 CI/CD 流水线深度集成，实现代码变更的自动化质量卡点。打造自助式质量验证平台，赋能研发、运维及合作伙伴，降低质量验证门槛，提升整体交付效率； 5. 建立多维度的质量度量体系，结合线上监控、灰度发布数据及用户反馈，驱动质量问题的根因分析与持续改进闭环，对线上重大质量事故负责，建立快速响应与防御机制，保障业务连续性。
1. 负责新一代AI驱动的PC产品质量保证工作与团队建设，主导质量团队的组织架构设计、人才梯队培养及绩效管理，打造一支具备系统底层、应用上层及 AI 评测能力的复合型质量团队，对最终产品交付质量与用户体验负责； 2. 构建覆盖“安卓系统-上层应用-AI Agent"的全链路质量保证体系。主导跨域质量架构设计，解决终端稳定性兼容性、云边端协同、分布式系统一致性、AI非确定性输出等复杂质量挑战，制定统一的质量门禁与发布准出标准，确保端到端交付质量； 3. 引领测试技术的智能化转型，探索"AI for Testing"与"Testing for AI"双轮驱动模式。一方面将 AI 能力融入自动化测试、用例生成、缺陷分析等环节提升效能；另一方面建立针对 AI Agent/LLM 产品的专项评估体系（如准确性、安全性、幻觉检测），解决非确定性输出的质量挑战，保持行业技术领先性； 4. 主导测试能力平台化与服务化建设，构建系统级、应用级、服务端及 AI 评估的自动化用例库。推动质量能力与 CI/CD 流水线深度集成，实现代码变更的自动化质量卡点。打造自助式质量验证平台，赋能研发、运维及合作伙伴，降低质量验证门槛，提升整体交付效率； 5. 建立多维度的质量度量体系，结合线上监控、灰度发布数据及用户反馈，驱动质量问题的根因分析与持续改进闭环，对线上重大质量事故负责，建立快速响应与防御机制，保障业务连续性。
1. 负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设。 2. 设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估。 3. 构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系。 4. 推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性。 5. 主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现。