小红书深度学习推理优化-异构计算方向
任职要求
1. 计算机及相关专业本科以上学历，3年以上高性能系统或AI Infra研发经验。 2. 精通C/C++/CUDA/AscendC/TopsCC，具备扎实的系统底层能力（内存、并发、网络）。 3. 深入理解至少一种主流训练/推理框架（XDL、TFRA、DeepRec、TorchRec、DeepSpeed、veRL、Megatron等），对其执行模型与性能瓶颈有源码级洞察。 4. 熟悉TensorFlow Serving、TensorRT、OpenXLA、ONNX Runtime等推…
工作职责
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能推理服务。主导SOTA推理引擎的架构设计与核心模块开发，支撑搜广推业务在长序列建模、生成式推荐、Agent等前沿场景在GPU，XPU等异构计算部件上规模落地。 1. 参与推理引擎的架构设计与核心模块的开发。持续优化推理基础设施：特征DSL编译引擎、服务化推理框架，实现性能提升。 2. 优化搜广推、长序列、多模态、MoE等深度学习模型的推理效率，将各场景的推理性能优化到极致。 3. 针对GPU/NPU等异构计算芯片，探索片内多部件并行流水线等前沿技术，构建业界影响力。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 工作职责： 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、参与/负责KV Router、PD分离/EPD分离、KVCache管理、动态PD调整等分布式推理能力建设； 3、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 4、参与/负责构建推理框架的系统容错能力，包括但不限于请求迁移、优雅退出、故障检测、自愈等能力建设； 5、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 6、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。
公司介绍 滴滴于 2016 年组建自动驾驶技术研发部门，致力于打造世界领先的 L4 级自动驾驶技术，通过科技让出行更安全、更高效。我们相信，将自动驾驶技术部署在共享出行车队中，将创造最大的社会价值。依托滴滴在出行领域的 先进技术、海量数据、丰富经验和完整的出行平台生态，我们正在打造并运营世界领先的自动驾驶 Robotaxi 车队，推动自动驾驶在城市复杂交通场景中的规模化落地。 职位描述 作为感知团队的一员，你将与国内外顶尖人才一起，研究和开发自动驾驶领域的前沿算法，直接赋能 L4 Robotaxi 的大规模部署。 你将面向真实城市道路场景中的多样化挑战，利用多模态传感器（LiDAR、Camera、Radar 等）设计、开发并优化感知算法，解决物体识别、障碍物检测、场景理解、意图预测与大模型赋能等核心问题。 在这里，你将有机会： 与中美两地的优秀工程师和科学家合作，参与世界级的技术竞争； 深入研究并推动最前沿的学术成果在产业中的落地； 在全球最大出行平台之一的业务场景中，实现科研成果的规模化应用。 主要方向与职责： 你将在以下方向中选定一个或多个方向深入负责，并承担从研发到落地、从算法到系统的端到端职责： （一）物体识别与跟踪 设计并实现基于 LiDAR / Camera / Radar 的多模态检测模型，识别车辆、行人、自行车、静态障碍物、交通标志等 提升精度、召回率与抗扰性（抗遮挡、夜间、恶劣天气、长尾类别） （二）通用障碍物识别 识别未知类别 /未训练类别的障碍物 基于异常检测 /开放类别识别的算法研究与工程实现 在非结构化环境（施工区域、道路损坏、落物等）中提升鲁棒性 （三）场景和意图理解 语义分割、实例分割、道路 /车道/交通标志/交通灯等结构物识别 场景理解，例如施工区域识别、可通行区域识别等 意图理解，例如行人动作识别、起步意图识别等 交互和事件识别，例如多方交互、交通规则冲突、非规范驾驶行为等 （四）感知大模型 /多模态 探索或应用预训练多模态大模型，将视觉、语言、地图/文本信息融合以增强感知能力 零样本 / 少样本 / 跨域泛化的策略研发 将大模型成果迁移到真实车队感知系统中，提升复杂场景下的鲁棒性 （五）模型评估、验证 构建完整的评估管道，包括离线评估 + 真实道路 + 模拟环境测试，支持回归检测与性能监控 指标体系设计 (Precision, Recall, IoU, latency, false positives rate 等)
1.参与AI与GPU相关项目的性能优化与研发，通过利用并行计算优化、架构优化、量化优化和异构调度等高性能优化技术，研发行业领先的高性能异构AI优化技术与编译优化技术； 2.针对搜广推、音视频以及大模型场景，优化大模型训练和推理场景的性能； 3.与公司各算法部门深度合作，对重点项目进行算法与系统的联合优化。
1、负责设计与开发分布式模型训练系统，支持千亿参数的PS架构和万亿参数的Transformer架构，优化算力异构集群； 2、设计开发高性能模型推理服务，优化低延迟、高并发、高稳定性的推理系统，满足搜广推场景毫秒级响应需求； 3、优化训练和推理中的性能瓶颈，通过升级架构、算子优化、访存优化、量化技术等压榨硬件算力； 4、优化大模型的训练和推理速度，调研开发DeepSeek、Megatron、DeepSpeed、vLLM等模型和框架的落地； 5、与算法团队紧密合作，针对业务需求（CTR/CVR、大语言模型、强化学习等），推动新技术在场景中的应用。