荣耀AI平台工程师-评测基建
任职要求
1、本科及以上学历，计算机相关专业，5年以上后端或平台开发经验。 2、精通 Python/Java/Go 中至少一门语言，具备扎实的API设计与数据库设计能力。 3、熟悉分布式系统相关技术，有消息队列（Kafka/RabbitMQ等）、…
工作职责
1、负责 AI评测平台的整体架构设计与核心功能开发，构建集评测任务调度、数据管理、标注平台、结果分析及可视化报表于一体的一站式评测系统。支持大规模评测任务的并发执行、异步处理和失败重试机制，保障平台稳定性。 2、参与构建评测数据生成引擎，利用大模型/Agent能力自动化生成评测脚本、评测数据集及对抗性测试用例；建设评测数据中台，实现多模态数据集（文本、图片、音频等）的版本管理、存储与检索。 3、参与开发基于 LLM-as-a-Judge 的自动化评测模块，将主观质量、安全性、逻辑一致性等软性指标转化为可配置的LLM裁判模型，并设计校验与校准机制保障评判准确性。 4、参与建设端到端Trace链路追踪与智能归因系统，对AI请求的全链路（用户输入→意图识别→模型推理→结果生成）进行埋点与透视，开发异常检测与自动归因分析能力，精准定位质量波动根因。
1. 负责AI产品核心效果评估与精度度量：主导大模型及AI应用在业务场景下的效果评测全流程，包括构建多维度评测指标体系（如准确率、召回率、幻觉率、Rouge/BLEU及任务完成率），制定严谨的AB实验方案，并对评测数据进行深度统计与归因分析。 2. 构建对抗性评测与稳定性验证体系：设计并执行覆盖边界Case、长尾分布及恶意攻击的测试用例，系统性评估模型在复杂场景下的鲁棒性、安全性与语义稳定性，输出可量化的风险评估报告。 3. 推动效果回归与用户体验闭环：建立版本迭代的效果回归基线，利用自动化工具持续监控模型更新带来的精度波动；同时建立“线上数据回流-线下标注验证-模型优化”的闭环机制，推动产品体验的持续优化。 4. 设计自动化评测工具与数据飞轮：开发或集成AI自动化评测脚本（如基于API的批量推理、断言校验），建设数据标注与结果分析平台，提升效果评估的效率和可复现性；主导评测数据集的构建与管理，确保数据分布的合理性与标注一致性。
我们正在寻找有经验的 AI 基建开发工程师，负责构建企业级 AI 基础设施，包括 AIGW（AI Gateway / 大模型接入与运维）、智能 NPC 平台、MCP Hub 等关键 AI 基础设施的设计、开发和运维工作。您将参与大模型接入、能力编排、性能优化、评估体系建设以及成本管理等全链路工作，帮助业务更高效地使用大模型。 您将与 AI 应用、业务研发、平台团队紧密协作，构建稳定、高性能、可扩展的大模型服务体系。 主要职责： 1. 负责 AIGW（AI Gateway）的大模型接入、路由、限流、监控、运维体系建设与优化。 2. 实现并维护与主流大模型服务（OpenAI、Anthropic、Gemini、DeepSeek 等）的 API 集成体系。 3. 参与大模型能力评估：效果评测、推理性能优化、模型选型对比、成本分析与优化。 4. 构建并维护 LLM 应用相关的工具链，包括 Prompt 模板管理、RAG 访问层、评测框架。 5. 优化模型调用策略（缓存、多模型路由、降级策略、并发调度）。 6. 支持业务团队落地 AI 应用，协助完成模型选型、评估、接入、调试与规范化接入。 7. 编写并维护平台技术文档、接入文档、最佳实践与标准。 8. 持续跟进生成式 AI、大模型推理、Agent/MCP、模型加速等领域的最新进展并应用于平台。
负责AI平台的模型接入、推理优化及平台功能开发工作。负责AI基础设施的架构设计与迭代，将前沿AI技术转化为可落地的平台能力，支撑各业务的智能化需求。 1.AI模型接入与推理加速： ● 负责主流开源模型的接入适配工作，包括模型格式转换、服务化封装及API接口开发；运用各种技术手段优化推理耗时与资源使用率，提升AI平台的性能与成本优势。 2.AI平台架构设计与开发： ● 优化与迭代AI平台架构，提升AI平台的可扩展性、分布式系统吞吐量、系统安全与稳定性等，持续优化成本。 3.AI能力产品化： ● 开发并维护平台AI工具链，如LoRA微调训练 pipeline、模型评估工具等；参与Agent框架与Skills开发平台的建设，支持业务快速构建AI应用；跟踪AI领域前沿技术动态，参与技术调研与POC验证。