腾讯资深AI测试工程师(云数据业务方向)
任职要求
1.深刻理解LLM原理与局限,具备大型项目的AI HarnessEngineering或Agent落地工程实践; 2.熟练掌握云原生(K8s/IaC);对分布式存储(Ceph/HDFS)、云数据库、大数据计算(Spark/Flink)至少两个领域有源码级理解或复杂排障经验; 3.熟悉自动化框架…
工作职责
1.针对LLM幻觉与随机性难题进行专项治理,构建确定性保障机制。确保AI生成的用例与脚本在多轮执行、异构环境下保持高度一致,建立团队对人机协同的信任基线; 2.破解AI决策“黑盒”痛点,搭建覆盖“意图-生成-执行-判定”的数字孪生与追溯系统,实现过程秒级回溯,满足核心业务对合规性与安全性的严苛要求; 3.将AI测试从“实验室Demo”推向生产环境,设计支持万级并发的调度引擎(可用性99.99%)。引入对抗样本与变异测试,建立AI测试本身的防篡改机制; 4.抽象云底层资源,赋予AI自主管理环境生命周期的能力。通过自然语言交互实现复杂拓扑的一键拉起、故障注入与销毁,极大提升研发效能; 5.基于MCP理念打磨测试脚手架,开发针对存储、数据库、大数据等业务的专属插件库(Tools/Skills),以“绿叶”精神赋能兄弟团队快速接入。

1. 负责AI类产品(包括大模型应用、智能对话系统、AIGC工具等)的功能、性能、可靠性、数据质量及AI特有维度(如输出一致性、幻觉识别、提示词鲁棒性、偏见与公平性)的测试策略制定与执行; 2. 设计并开发面向AI场景的自动化测试框架与工具链,覆盖模型API接口测试、批量推理验证、评测数据集自动化比对、反馈闭环验证等关键环节; 3. 构建和维护AI测试数据集、评测基准及效果度量体系,协同算法团队开展模型迭代的质量评估与回归验证; 4. 参与AI产品需求与技术方案评审,识别AI特性相关质量风险(如上下文依赖异常、长程推理失效、多模态输入兼容性等),推动可测性设计落地; 5. 持续优化测试效能,推动AI测试能力嵌入CI/CD流程,实现模型版本、服务版本、前端应用的端到端质量门禁。
1.负责腾讯云AI Coding产品质量保障工作,深度参与产品质量体系建设,识别全链路上的质量风险,建立稳定性保障体系,推动稳定性建设落地; 2.腾讯云AI 产品相关的评测工作,包含AI算法的评测体系建设、评测集构建、以及相关评测工程化建设等; 3.负责AI算法的评测标准和评测流程制定,构建评测集,并推进评测执行,分析评测结果,对模型质量给予充分评估; 4.建设相关评测工具/平台,推动评测工程化和无人化。
1.针对LLM幻觉与随机性难题进行专项治理,构建确定性保障机制。确保AI生成的用例与脚本在多轮执行、异构环境下保持高度一致,建立团队对人机协同的信任基线; 2.破解AI决策“黑盒”痛点,搭建覆盖“意图-生成-执行-判定”的数字孪生与追溯系统,实现过程秒级回溯,满足核心业务对合规性与安全性的严苛要求; 3.将AI测试从“实验室Demo”推向生产环境,设计支持万级并发的调度引擎(可用性99.99%)。引入对抗样本与变异测试,建立AI测试本身的防篡改机制; 4.抽象云底层资源,赋予AI自主管理环境生命周期的能力。通过自然语言交互实现复杂拓扑的一键拉起、故障注入与销毁,极大提升研发效能; 5.基于MCP理念打磨测试脚手架,开发针对存储、数据库、大数据等业务的专属插件库(Tools/Skills),以“绿叶”精神赋能兄弟团队快速接入。