米哈游AI 推理平台工程师
任职要求
1. 有 2 年以上后端开发、平台工程、AI 基础设施、MLOps 或推理服务部署经验。 2. 熟悉 Linux、Docker、Kubernetes、网络、负载均衡、服务发现等基础设施能力。 3. 熟悉至少一种推理服务框架或部署方式，如 Triton、vLLM、SGLang、TensorRT-LLM、FastAPI/gRPC 推理服务等。 4. 熟悉 GPU 服务器和容器化运行环境，了解 NVIDIA Driver、CUDA、Container Runtime、NCCL、显存管理和 GPU 监控。 5. 具备服务稳定性建设经验，熟悉监控告警、日志分析、压测、容量评估、灰度发布、故障应急和复盘机制。 6. 熟练掌握 Go/Python/…
工作职责
1. 负责 AI 模型推理服务的工程化部署和生产环境稳定性保障，覆盖 LLM、CV、语音、多模态等模型服务。 2. 负责推理平台能力建设，包括模型发布、服务编排、灰度发布、回滚、弹性扩缩容、流量治理、实例管理和资源隔离。 3. 基于 Docker、Kubernetes、Triton、vLLM、SGLang 等技术栈，推动模型服务标准化、自动化和平台化。 4. 建设推理服务监控、日志、告警、压测和性能回归体系，保障线上服务 SLA 和性能稳定性。 5. 负责推理服务线上问题排查与稳定性治理，包括资源异常、服务超时、性能抖动、显存不足、实例异常等问题定位。 6. 与算法、SRE、基础设施和业务团队协作，支持模型从实验环境到生产环境的落地。
1. 设计并实现高性能AI原生网关。构建低延迟、高并发的API网关系统，支持多模态、多协议接入，为国内及全球客户提供灵活、安全、可扩展的流量接入方案，提供完整的数据面控制与可观测能力。 2. 打造智能推理调度与资源管理系统。设计并实现面向复杂分布式推理场景的请求调度和资源调度系统，结合动态负载特征与异构硬件资源，持续优化请求分发策略；建设Serverless化资源调度架构，实现资源的弹性伸缩与极致利用率提升。 3. 构建先进的MLOps平台能力。深度优化模型服务的CI/CD流程，推动算法研发到生产部署的自动化与标准化；实现模型版本管理、灰度发布、监控告警、性能分析等全生命周期管理能力，提升迭代效率与系统稳定性。
岗位简介 加入我们，你将负责自动驾驶大模型从实验室到车端落地的关键一环——构建高吞吐、低延迟的推理服务平台。你会接触到业界最前沿的推理引擎（TensorRT、SGLang、vLLM）、KV Cache 共享与 P/D 分离架构，以及面向多模态大模型（VLM）的异构推理优化，直接影响自动驾驶系统的实时感知与决策能力。 推理服务化平台建设：参与构建高可用的模型推理服务平台，支持 LLM / VLM 等模型的服务化部署、弹性扩缩容与多租户隔离。 推理引擎深度优化：基于 TensorRT、TorchScript、SGLang、vLLM 等框架进行推理性能优化，探索 INT8/FP8 量化、算子融合、动态 Batch 等加速手段。 KV Cache 与显存管理：参与设计高效的 KV Cache 管理策略（如 Mooncake / LMCache 方案），支持长上下文场景下的显存高效利用与跨实例共享。 P/D 分离与推理架构：参与 Prefill-Decode 分离架构的设计与实现，优化首 token 延迟与整体吞吐，支撑自动驾驶场景下的实时交互需求。 端云协同推理：探索车端（Thor / Orin 等）与云端协同推理方案，参与模型轻量化、蒸馏与边缘部署优化。
1. 负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设。 2. 设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估。 3. 构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系。 4. 推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性。 5. 主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现。
搜集审核整车各个用电器的负载特性，负载参数， 包括且不限于如静态电流，启动电流，inrush 电流，电容参数等，并支持各个参数需求验证闭环。 参与低压电源架构各个组件设计， 如DCDC变换器， 低压电池，电子保险丝，保险丝盒等，支持定义各个验证roadmap/test case 及问题解决验证闭环。 支持整车低能耗设计及管理， 承接顶层需求， 比如静态里程衰减等， 根据现有电器架构能力，设计低功耗方案， 并将功耗目标分解到各个零件， 支持各个零件的低功耗设计，形成验证闭环的roadmap，并推动相关验证闭环问题解决。 支持整车power 相关系统设计， 如整车上下电逻辑， 整车power 健康度管理及报警，确保整车各个场景的电源可用性及用电安全。 支持Power架构前沿技术研究分析，如安全冗余形态研究，电压等级演进研究（48V），电源器件最新技术的使用研究，以实现整车轻量化，低能耗，低成本，高安全等综合性能述求。 支持Power 相关新技术对标分析。