阿里巴巴面向电商场景的大模型AI Serving加速技术研究
任职要求
1. 本科及以上学历、计算机/自动化/电子信息/通信 相关专业； 2. 熟悉Linux开发环境，熟练掌握C/C++、Python，熟悉PyTorch/Tensorflow等主流深度学习框架及相关优化优先； 3. 熟悉CUDA，有GPU开发及优化相关经验，熟悉XLA/TVM/MLC-LLM等编译优化相关技术者优先； 4. 熟悉主流LLMs、Diffusion模型相关算法及原理，有相关应用研发经验者优先； 5. 具备良好的学习能力与沟通能力，有责任心肯钻研，有团队协作精神。
工作职责
1. 负责AI Serving的研发与优化，包括但不限于大模型的高效推理算法、框架与系统； 2. 将业界开源/自研大模型应用于广告业务场景，实现创新应用； 3. 研究业界前沿的大语言模型，及相关的服务与优化框架。
面向电商场景的广告/搜索/推荐业务，针对 召回/排序/机制策略 和 多模态AI模型、以及超大规模稀疏特征与Embedding，打造高性能的AI Serving系统。开展： 1. CPU/GPU/ASIC软硬件协同优化，发挥数十万CPU核和近万加速卡的计算潜力； 2. 稠密大模型 结合 稀疏-稠密模型的广告深度学习系统优化、编译优化和算法优化； 3. 面向广告/搜索/推荐AI Serving的新迭代范式探索。
我们是淘天集团阿里妈妈工程平台团队，致力于打造面向搜推广场景及AIGX应用的业界最强AI在线服务平台。团队服务于淘天电商核心业务，承担 广告模型超大规模特征工程和AI推理、LLM/Diffusion等大模型服务 的研发和优化等关键职责，在高性能在线服务（推荐系统/多模态大模型/大语言模型）、分布式系统（计算/存储/网络）、异构计算和AI编译优化（CPU/GPU/XPU）等课题上都具有业界最前沿的挑战。 1）负责超大规模生成式模型在线服务系统架构设计并推进落地； 2）负责大规模异构硬件系统inference在离线计算资源优化； 3）负责模型交付pipeline整体优化。
Bytelntern：面向2026届毕业生(2025年9月-2026年8月期间毕业)，为符合岗位要求的同学提供转正机会。 团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队协作，对字节旗下的电商产品进行全方位的质量和生态的治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，在最大程度的优化平台治理的效果的同时提升治理的工作效率，降低成本。另外一方面，平台治理算法团队致力于攻坚前沿的AI技术，以技术驱动推动业务的变革和发展，领域涉及广泛，包括但不限于NLP/CV/多模态/大模型/图算法/序列算法等。 1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
Bytelntern：面向2026届毕业生(2025年9月-2026年8月期间毕业)，为符合岗位要求的同学提供转正机会。 团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队协作，对字节旗下的电商产品进行全方位的质量和生态的治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，在最大程度的优化平台治理的效果的同时提升治理的工作效率，降低成本。另外一方面，平台治理算法团队致力于攻坚前沿的AI技术，以技术驱动推动业务的变革和发展，领域涉及广泛，包括但不限于NLP/CV/多模态/大模型/图算法/序列算法等。 1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。