商汤大装置-GPU硬件服务工程师

# 11. ECS高级研发工程师 ## 11.1 工作职责 - 打造云原生、高性能、高可用、高可靠的 ECS 服务

你将参与构建和演进公司 MaaS 推理基础设施，支撑多模态大模型在多集群环境下的高效、稳定与低成本运行，具体包括： 1. 参与或主导 推理网关与核心服务 的设计与开发，支持多模态请求处理、流式推理、Micro-batch 调度等能力。 2. 参与 跨集群服务发现、健康检查与流量治理，提升推理系统的可用性与弹性。 3. 构建和优化 推理系统的可观测性能力，包括日志、指标、Tracing 以及基础成本与性能分析。 4. 针对 低延迟、高吞吐、高 GPU 利用率 等目标，参与系统性能优化与问题排查。 与算法、平台、硬件等团队协作，持续优化推理系统在性能、成本与稳定性上的整体表现。 5. 根据经验级别，逐步或直接承担 技术方案设计、系统演进决策、复盘与优化推动 等职责。 我们会根据候选人能力与经验，在具体职责深度和影响范围上进行匹配。

1. 负责 GPU 服务器的选型、准入测试和验收工作。 2. 分析 GPU 性能瓶颈并进行性能调优工作，定位并解决 GPU 和相关的硬件故障。 3. 负责构建稳定可靠的测试机制和测试系统，设计测试方案支撑上层业务系统。 4. 与产品研发团队协同配合，参与千卡/万卡集群互联的软硬件方案设计，解决新硬件和系统落地过程中的各类技术问题。 5. 持续跟进智算产业链的最新技术能力和硬件架构，设计出有竞争力的硬件解决方案，支持产品经理向客户输出硬件服务器的技术文档。 6. 结合 GPU 产品业务场景做成本和收益评估，确定技术方案以支撑算力迭代、资源折算、项目输出标准化方案制定等工作；

我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。