腾讯MaaS模型评测高级工程师

1.负责腾讯云MaaS产品质量保障工作，深度参与产品质量体系建设，识别全链路上的质量风险，建立稳定性保障体系，推动稳定性建设落地； 2.腾讯云MaaS产品相关的模型评测工作，包含模型的评测体系建设、评测集构建、以及相关评测工程化建设等； 3.跟踪业界评测基准动态（如 SWE-bench、HumanEval、MMLU、AgentBench 等）以及业界模型（如kimi，deepseek，minimax，glm等）发展动态； 4.建设相关评测工具/平台，推动评测工程化和无人化。

团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 1、负责豆包AI大模型To B评测体系的顶层设计，定义评测维度、指标、标准和流程； 2、深入理解客户需求，将客户反馈转化为评测任务，确保评测结果真实反映客户使用效果； 3、建立模型对比分析机制，输出量化分析结论，以及原因拆解分析，能牵引模型优化； 4、深入研究重点行业业务流程，从业务视角设计有价值的行业评测方案； 5、跟踪全球前沿评测方法论（Benchmark设计、统计方法、Eval工具链），持续升级评测体系。

深入参与阿里云 MaaS（Model as a Service）平台核心算法研发，以先进的大模型与智能体体系驱动业务落地，定义下一代 AI-Native 交互范式。工作内容包括并不限于： 1、负责面向真实场景的智能体自适应、自演进技术研发，构建基于业务数据的 Agentic RL 训练、Agentic Infra 优化，持续提升智能体在任务规划、工具调用、多轮推理等方面的能力，支撑 AI 搜索、Deep Research等场景的云产品研发； 2、主导针对挑战性难题的大模型优化（文本、语音、全模态），深入理解电商、教育、金融等垂直行业的业务诉求，基于大模型如Qwen进行后训练全链路优化（数据-训练-评测），攻坚大模型在关键领域、核心指标上的能力提升以及泛化性增强，构建基于大模型的行业端到端解决方案； 3、从真实场景中沉淀评测基准、数据、训练等核心算法能力，融合至阿里基座模型的训练和评测中，持续提升通用大模型在真实场景中的能力表现； 4、持续跟踪AI领域的技术趋势，将前沿和自研技术转化为核心业务驱动力，确保大模型与智能体具备卓越的性能表现，持续保持团队在AI领域的全球技术领先地位。

1、MaaS 网关架构与研发：负责大模型 MaaS 网关的整体架构设计与核心研发，建设公司统一的大模型 API 服务入口，提供 OpenAI 兼容 API。 2、模型接入与路由：负责多模型接入抽象、请求路由、模型版本管理、灰度发布等能力，支撑异构推理后端的统一对外服务。 3、服务治理能力建设：负责鉴权、限流、配额、TPM / RPM、流控、熔断降级、SLO 保障、成本统计等网关核心治理能力。 4、多租户与高并发：建设多模型、多租户、高并发场景下的请求调度与服务治理体系，提升模型服务的稳定性和资源效率。 5、开发者体验优化：持续优化统一 API、SDK、文档、监控、问题诊断和接入流程，提升内部 AI 应用开发效率。 6、业务打通与协同：与推理引擎、调度、算法及上层业务团队协同，为社区、搜索、审核、企效、AI 应用等场景提供开箱即用的大模型服务能力。