阿里云阿里云智能-异构计算软硬件结合技术高级研发工程师-深圳/杭州
任职要求
1. 具备扎实的工程能力，精通C++和Python等编程语言，熟悉 sglang/vLLM等主流LLM推理框架优化的技术。 2. 熟悉主流AI加速芯片(如NVIDIA、AMD、寒武纪/DCU等)的系统结构、指令集和计算特性，具备异构计算硬件下的开发和性能优化经验。 3. 熟悉…
工作职责
1. 负责研发针对AI 硬件的性能画像模型，跟踪业界模型的发展和框架的发展，结合阿里云AI服务器提供场景化的性能预估和优化策略推荐。 2. 负责提供场景化的定制分析能力，分析大模型在不同服务器下的性能差异，快速的给出满足业务的性能优化配置策略，加速业务的部署。 3. 负责调优和Profiling工具的分析和应用，跟踪和分析硬件性能优化技术，快速的使能新AI服务器。 4. 与硬件设计和规划人员协同，结合历史性能数据，提炼性能影响的关键硬件特征和需求，为下一代AI基础设施的服务器设计提供输入。
1. 基于对主流AI芯片和服务器架构的深刻理解，分析硬件加速特征与内部拓扑结构，提供硬件优化实践和调优指南，确保充分发挥硬件潜能。 2. 结合主流LLM推理框架 (如sglang/vLLM) 和大模型结构及其计算特性，通过软硬件协同优化和技术创新 (包括但不限于硬件算子优化、显存以及并行化等)，负责新服务器上的端到端性能分析和优化。 3. 提供场景化的定制优化能力，识别并解决大模型在不同业务场景下的性能瓶颈，快速的给出满足需求的性能优化方案。 4. 熟悉系统调优和Profiling工具 (如 nsys/ncu系列、通用工具如Perf、火焰图等)，负责系统级性能分析与瓶颈定位能力，并能基于硬件特性进行软件适配与优化。 5. 洞悉大模型的发展趋势和技术演进，结合硬件Profling和Trace 数据，为下一代AI基础设施的服务器设计与研发提供量化数据分析支持。
1. 基于对目前主流AI芯片的深刻理解，分析硬件系统结构，提供软硬件优化实践和调优指南； 2. 了解市场上主流AI，大数据，HPC应用对异构计算系统设计的挑战，应用AI加速芯片，设计打造高效异构计算产品； 3. 聚焦异构资源在线性能分析，负责系统级性能分析和业务瓶颈定位，助力异构集群的极致稳定； 4. 实现异构计算基础设施serverless化，驱动异构云原生架构演进； 5. 洞悉人工智能及深度学习的应用发展趋势，参与下一代机器学习算力产品设计。
1.负责分析硬件加速特征与拓扑结构，研发面向云端AI 硬件服务器的优化算子库，释放硬件潜能，确保性能符合硬件设计预期。 2.结合主流大模型推理框架，研发硬件相关的算子/异步等优化插件，确保优化库快速的被业务集成应用。 3.提供场景化的定制优化能力，识别并解决大模型在不同业务场景下的性能瓶颈，研发满足需求的性能优化组件，并推动业务的应用。
1、参与视觉生成/多模态模型（包括文本、图像、视频生成等）在 GPU、ASIC、FPGA 等异构硬件上的推理/后训练加速开发与软硬件结合的性能优化工作，包括但不限于模型量化、attention优化、显存优化、编译优化、计算与通信优化、内存管理以及多卡或多设备的并行推理方案等； 2、在主流深度学习框架（如 PyTorch）基础上，基于GPU/xPU硬件特点，对关键算子进行软硬件结合优化，提升模型运行效率； 3、与硬件以及算法工程师紧密配合，共同优化整体推理速度与资源占用； 4、跟踪学术界与工业界前沿技术（如扩散模型优化、VAE并行优化、AI编解码、面向机器的编解码等），推动软硬件协同创新。