阿里巴巴深度学习AI编译和推理引擎研发工程师
任职要求
1.具有良好的算法基础及软件编程能力， 熟悉C或者C++； 2.学习能力强，对新事物保有好奇心，并能快速适应新环境； 3.良好的沟通能力和团队协同能力；能与他人合作，共同完成目标； 4.有AI编译或者推理引擎相关经验的优先，熟悉ML…
工作职责
1.参与设计和实现AI芯片上的推理引擎SDK，包括代码生成、图优化、算子实现/优化以及系统运行时的方面； 2.参与设计和实现AI芯片上的大语言模型推理框架。进行功能实现和性能优化。
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能推理服务。主导SOTA推理引擎的架构设计与核心模块开发，支撑搜广推业务在长序列建模、生成式推荐、Agent等前沿场景在GPU，XPU等异构计算部件上规模落地。 1. 参与推理引擎的架构设计与核心模块的开发，参与AI编译器前后端的设计与实现，优化IR Compile模式下DSL特征处理引擎和AI推理引擎的性能。 2. 分析I/O性能瓶颈、优化编译耗时和codegen性能，改进编译优化算法，不断优化编译器，解决编译部署问题。 3. 优化IR Compile模式下搜广推、长序列、多模态、MoE等深度学习模型的推理效率。 4. 针对GPU/NPU等异构计算芯片，探索基于IR编译优化的片内多部件并行流水线等前沿技术，构建业界影响力。
作为推理系统与引擎的研发和优化专家，将主导或参与面向Qwen等模型的真实业务工作负载的端到端推理性能分析与优化工作，具体职责包括但不限于： - 针对重点模型实际业务场景下的推理部署方案进行不同层级的性能验证，对典型负载特征进行深入分析建模，支撑模型演进、推理架构选型与资源规划； - 根据任务负载特点，对模型不同并行策略（如TP/DP/EP/PP/CP）进行深入分析，并结合分布式部署架构（PD/AF分离等），实现和验证不同层面技术的协同优化方案，提升端到端性能； - 分析和验证不同后端高性能Kernel在不同模型和负载下的性能表现，根据具体需求对关键算子运用各类优化手段进行定制化加速，提升硬件利用率； - 关注和探索前沿快速解码技术方法以及其它推理优化和加速技术，结合实际场景进行验证，并在推理系统与各类优化方案无缝集成，提供极致的用户体验； - 与周边工程、模型、系统、产品团队紧密协作，将优化成果落地到生产环境，并持续跟踪线上性能表现。
作为推理系统与引擎的研发和优化专家，将主导或参与面向Qwen等模型的真实业务工作负载的端到端推理性能分析与优化工作，具体职责包括但不限于： - 针对重点模型实际业务场景下的推理部署方案进行不同层级的性能验证，对典型负载特征进行深入分析建模，支撑模型演进、推理架构选型与资源规划； - 根据任务负载特点，对模型不同并行策略（如TP/DP/EP/PP/CP）进行深入分析，并结合分布式部署架构（PD/AF分离等），实现和验证不同层面技术的协同优化方案，提升端到端性能； - 分析和验证不同后端高性能Kernel在不同模型和负载下的性能表现，根据具体需求对关键算子运用各类优化手段进行定制化加速，提升硬件利用率； - 关注和探索前沿快速解码技术方法以及其它推理优化和加速技术，结合实际场景进行验证，并在推理系统与各类优化方案无缝集成，提供极致的用户体验； - 与周边工程、模型、系统、产品团队紧密协作，将优化成果落地到生产环境，并持续跟踪线上性能表现。
1）深度学习布料仿真算法开发与工程落地 2）参与基于神经网络的布料 / 物理仿真算法的研究、实现与优化，并将算法稳定、高效地集成至引擎与实时管线中，服务于真实的项目需求。