商汤大装置-大模型算法开发高级工程师
任职要求
1. 熟练掌握C++、Python等编程语言的一种或多种，具备良好的编码能力。 2. 有大型工程项目经验，代码风格严谨高效。 3. 熟悉多线程/多进程开发，拥有扎实的计算机体系结构、计算机网络、数据结构基础。 4. 熟悉开源开发工具https://github.com/LazyAGI/LazyLLM（可提前了解） 加分项 1. 熟练掌握深度学习框架Pytorch，熟悉colossal-AI, deepspeed, internEvo…
工作职责
开发https://github.com/LazyAGI/LazyLLM 【注意】此岗位对编程要求较高，面试前欢迎先了解项目，会展开交流。 1. 结合业务落地的经验，探索并形成各个垂直领域应用定制开发的标准作业程序(SOP)，沉淀到LazyLLM中 2. 打造灵活高效的场景应用建设方案，搭建从数据到训练、微调、部署、推理、评测、交付的低代码大模型应用生产SDK。 3. 与公司内外的行业伙伴合作，打造端到端解决方案能力，探索如一体机、私有化应用开发平台、国产芯片等业务交付新形态。
1. 负责商汤SenseCore AI智算数据中心以及大模型应用开发平台等产品的项目落地技术设计、开发工作； 2. 协同公司内外部产品团队、售前团队以及项目管理团队，做好需求管理，参与项目定制化开发工作，完成客户项目落地。
你将参与构建和演进公司 MaaS 推理基础设施，支撑多模态大模型在多集群环境下的高效、稳定与低成本运行，具体包括： 1. 参与或主导 推理网关与核心服务 的设计与开发，支持多模态请求处理、流式推理、Micro-batch 调度等能力。 2. 参与 跨集群服务发现、健康检查与流量治理，提升推理系统的可用性与弹性。 3. 构建和优化 推理系统的可观测性能力，包括日志、指标、Tracing 以及基础成本与性能分析。 4. 针对 低延迟、高吞吐、高 GPU 利用率 等目标，参与系统性能优化与问题排查。 与算法、平台、硬件等团队协作，持续优化推理系统在性能、成本与稳定性上的整体表现。 5. 根据经验级别，逐步或直接承担 技术方案设计、系统演进决策、复盘与优化推动 等职责。 我们会根据候选人能力与经验，在具体职责深度和影响范围上进行匹配。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。