文远知行AI Infra推理平台工程师【2027届校招】
任职要求
2026届本科及以上学历，计算机科学、软件工程、人工智能等相关专业。 扎实的编程功底，熟练掌握 Python / C++，了解 Go / Rust 者优先。 熟悉至少一种深度学习框架（PyTorch / TensorFlow），了解模型推理部署的基本流程。 对计算机体系结构有基本理解，了解 GPU 加速计算原理（CUDA 编程基础）。 具备良好的系统思维、性能敏感度和工程交付能力。 加分项 有模型推理优化经验（量化、剪枝、蒸馏、算子优…
工作职责
岗位简介 加入我们，你将负责自动驾驶大模型从实验室到车端落地的关键一环——构建高吞吐、低延迟的推理服务平台。你会接触到业界最前沿的推理引擎（TensorRT、SGLang、vLLM）、KV Cache 共享与 P/D 分离架构，以及面向多模态大模型（VLM）的异构推理优化，直接影响自动驾驶系统的实时感知与决策能力。 推理服务化平台建设：参与构建高可用的模型推理服务平台，支持 LLM / VLM 等模型的服务化部署、弹性扩缩容与多租户隔离。 推理引擎深度优化：基于 TensorRT、TorchScript、SGLang、vLLM 等框架进行推理性能优化，探索 INT8/FP8 量化、算子融合、动态 Batch 等加速手段。 KV Cache 与显存管理：参与设计高效的 KV Cache 管理策略（如 Mooncake / LMCache 方案），支持长上下文场景下的显存高效利用与跨实例共享。 P/D 分离与推理架构：参与 Prefill-Decode 分离架构的设计与实现，优化首 token 延迟与整体吞吐，支撑自动驾驶场景下的实时交互需求。 端云协同推理：探索车端（Thor / Orin 等）与云端协同推理方案，参与模型轻量化、蒸馏与边缘部署优化。
我们是谁？ 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎，持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 挑战世界级技术难题，追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责： 我们在构建面向具身智能与交互式世界模型的下一代推理基础设施：支持多模态流式输入（视频/传感器/地图）、实时闭环输出（动作/轨迹/场景状态），在端云一体部署下实现确定性低延迟、可规模化吞吐与可持续的成本效率。你将负责推理加速基础框架与关键性能机制建设，打通“模型—引擎—硬件—调度—观测”的全链路。 你将负责 1) 推理基础框架与运行时 ● 设计并实现端云一体推理框架：统一模型加载、版本管理、热更新、灰度与回滚能力 ● 建设流式推理 pipeline：ingest → preprocess/encode → predict/plan → control，支持异步与背压 ● 推理引擎集成与改造：vLLM / TensorRT-LLM / SGLang / TGI（云端），TensorRT / ONNX Runtime / TVM / NPU SDK（端侧） 2) 实时调度与性能关键路径 ● Prefill/Decode 分离调度（如适用）、长度分桶、连续 batching、尾延迟治理（P99/P999） ● KV cache 管理：paged/block、prefix/prompt cache、逐出策略、显存碎片治理 ● 多机多卡并行与通信：TP/PP/EP（MoE），NVLink/IB/RDMA 等链路优化 ● 投机解码/并行解码（Speculative/Medusa 等）在业务场景的落地与收益闭环 3) 量化与算子/Kernel 优化 ● 建立 profiling 体系：算子画像（attention/GEMM/视觉编码/采样解码等）、输入分布、性能回归基线 ● 分层量化策略：FP8/INT8/INT4 与 activation-aware 量化，质量回归与灰度上线 ● CUDA/Triton kernel、算子融合、内存与流水并行优化；端到端 latency 优化而非单点指标 4) 可观测性与可靠性 ● 建立实时推理指标体系：E2E latency、jitter、FPS/Hz、丢帧率、功耗/温控降频、OOM/重试等 ● 帧级/样本级 tracing，故障定位、过载保护、降级与安全回退路径（端侧尤重）"
职位概述：负责公司大规模 AI 推理集群的设计、建设与优化，支撑模型在线服务（LLM / CV / 推荐等）的高性能、低延迟与高可用运行。你将深度参与从模型部署到系统调优的全链路基础设施建设。 * 负责 AI 推理集群（GPU/CPU）的架构设计与落地，包括资源调度、服务部署、弹性扩缩容等 * 搭建和维护模型推理服务框架（如 SGlang、TensorRT、vLLM 等） * 优化推理性能（延迟、吞吐、成本），包括： * 模型量化（INT8/FP16/FP8） * Kernel 优化 / CUDA 调优 * Batch 策略 / KV Cache 优化（LLM场景） * 构建高可用推理服务体系（灰度发布、A/B、自动回滚） * 设计和实现推理调度系统（多模型、多租户、优先级控制） * 与算法团队协作，将模型高效部署上线并持续优化 * 构建监控与观测体系（QPS、Latency、GPU 利用率等） * 推进推理成本优化（算力利用率、Spot实例、混部等）
为了更好地提升城市即时配送的效率与体验，2017年，美团启动了无人机配送服务的探索，通过科技创新推动履约工具变革，加快建设空地协同的本地即时配送网络。目前，美团已初步完成了自主飞行无人机、智能化调度系统及高效率运营体系的研发建设工作，由此打造了一个服务于多场景、多天候的城市低空物流解决方案。 在该岗位中您将负责： 1、推理框架研发：参与构建与优化高性能分布式 AI 推理引擎，支持大模型在多卡、多机环境下的高效分布式部署与高效通信； 2、分布式任务调度：参与设计与实现面向大模型推理的高效任务调度算法。针对 Prefill与 Decoding阶段的不同资源需求，协助研发 PD 分离架构下的请求流转与精细化调度； 3、全局负载均衡：协助构建多节点、多实例集群的负载均衡策略。基于请求长度预测、全局 KV Cache 缓存命中率以及运行时显存状态，实现智能流量分发，避免集群局部热点与雪崩； 4、弹性伸缩与容错：参与大规模分布式推理集群的健康度监控，协同开发故障自动检测与动态隔离机制，提升高并发在线服务（LLM-as-a-Service）的可用性（SLA）； 5、性能剖析与调优：协助排查高并发场景下，由网络延迟、长尾请求（Tail Latency）、线程锁竞争或集合通信（NCCL）瓶颈导致的全局吞吐跌落； 6.主动探索并运用各类AI工具优化日常工作流程，积极推动AI在无人机业务中的落地实践。
1、负责快手容器云超大规模算力平台的架构设计与开发工作，包括但不限于资源调度、服务编排及容器引擎等多领域场景； 2、基于云原生技术完善海量异构资源的多集群联邦和统一调度能力，构建低成本、高弹性的计算、存储、网络算力基座，致力于持续提升资源效率； 3、参与完善服务微架构及性能瓶颈分析观测体系，深入支撑容器平台及快手各类业务的全链路稳定性问题，持续提升业务运行质量； 4、云原生及大模型推理场景AI-Infra领域前沿技术，提升大规模的推理场景GPU利用效率。