钉钉钉钉-AI Infra架构师-大模型训练方向
任职要求
1. 计算机科学、数学、统计学、自动化等相关专业本科及以上学历。 2. 熟悉Post-Training流程，深入了解RL领域，包括但不限于RM、PPO、DPO、GRPO等算法。 3. 具备大模型训练框架开发能力，包括pytorch、megatron等。 4. 具备强化学习框架开发能力，包括openRLHF、verl等。 5.具备一线的C++/Python工程能力，精通数据结构和常用算法，掌握各种编译、调试、性能分析工具，…
工作职责
1.post-training 框架研发，聚焦 LLM + RL 方向，设计框架架构与技术路线，提升其扩展性、稳定性与效率。 2.优化框架性能，如训练速度、显存占用等，降低训练成本，为 LLM + RL 训练提供有力技术支撑。 3.协同业务团队，将 LLM 能力在业务场景落地，根据业务需求定制训练方案并评估验证模型。 4.负责模型训练和推理所需的IaaS基础设施的规划、迭代与框架维护，致力于提供一致性、可扩展、高可靠的平台技术底座；
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作。 2、负责研发AI异构计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 3、洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作； 2、负责研发AI异构计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 3、洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 工作职责： 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、参与/负责KV Router、PD分离/EPD分离、KVCache管理、动态PD调整等分布式推理能力建设； 3、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 4、参与/负责构建推理框架的系统容错能力，包括但不限于请求迁移、优雅退出、故障检测、自愈等能力建设； 5、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 6、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。
1. 负责金融行业技术架构解决方案设计，重点满足客户IaaS、PaaS、智算等技术架构方面需求，依托阿里巴巴和蚂蚁金服在分布式架构和智算架构领域的实践，构建云原生、AI原生等全栈解决方案。 2. 负责对金融客户的信息科技规划进行深度分析和洞察，形成有领先型的云化架构转型和智算架构转型方案，对用户信息科技部门和高层领导进行决策影响；其中对标杆客户进行轻咨询类规划引导，形成更加针对性的客户解决方案。 3. 熟悉阿里巴巴相关IaaS、PaaS、大模型、智算等产品能力和竞争优势，掌握各类技术方案的相应技术参数指标，针对不同业务需求优化设计，负责组织相应的POC进行方案支持，保证产品方案的客户价值、可落地性和差异化优势。 4. 面向金融企业客户，在客服、投研、投顾、风控、营销、内部工作提效等场景中，以大模型为基础，通过使用langchain、RAG、SFT、Agent等相关技术架构结合大模型产品设计可落地的大模型应用解决方案，解决客户实际场景问题。 5. 收集客户需求，结合技术研判，向产研部门反馈产品优化需求，提升产品市场竞争力和市场占有率。