蚂蚁金服研究型实习生-大模型推理关健技术研究 System For Foundation Models
任职要求
-目前正在攻读计算机科学或相关STEM领域的博士或者特别优秀的硕士； -具有一种或多种通用编程语言和深度学习工具链的经验,包括但不限于: Python、Pytorch、TensorFlow、DeepSpeed、Megatron等； -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文，比如机器学习顶会ICLR、ICML、NIPS、ACL、EMNLP、CVPR、ICCV或系统类顶会OSDI、ASPLOS、ATC、EuroSys等； -至少4个月的全职onsite工作
工作职责
研究领域： 人工智能 项目简介： 项目背景描述 System For Foundation Models：大模型推理需要不同于传统云计算微服务不同的基础设施，包括但不限于推理引擎、异构计算框架、向量数据库、缓存系统、高可用架构等等，本课题旨在探索基础设施新技术、新优化、新算法，已取得最佳大模型推理性能和稳定性。 项目价值描述 本项目旨在通过优化大模型推理服务基础设施性能和稳定性，提升大模型推理性能，提升SLA，减少大模型部署成本，降低业务侧感知的服务延迟。
职位描述： 1.设计和实现面向大模型推理的多层级存储系统，综合利用多种硬件进行数据的存储和迁移管理，优化大模型缓存利用率，提升推理性能； 2.设计负载感知的推理框架自调优能力，设计高效的指标采集模块，能够根据对不同负载自动调优推理框架的参数； 3.优化模型量化以及模型卸载技术，进一步提升单机场景下支持的模型规模； 4.设计高效微调框架，集成并优化微调算法，实现动态策略调度模块，基于任务特征挑选最合适的微调方案。
研究领域： 人工智能 项目简介： 本课题面向大模型推理特别是长序列（包括prompt和CoT reasoning）进行软硬协同、深入优化探索。 1. 大模型推理需求：大模型推理的模型规模和序列长度增长迅速，模型规模面向千亿至万亿参数，序列长度面向64K或更长。 2.软硬协同深入优化空间：包括从算法到算力、访存、通信等到分布式，以应对大规模、长序列在线推理的挑战。
Qwen 团队致力于探索 AGI，目前我们正在全力朝着“多模态多任务的AI模型 / 系统” 以及“实现大模型智力飞升”两大目标展开研发，希望实现对用户及社会有益的 AI。Qwen 团队正在快速成长和发展中，希望招募顶尖的研究人员及工程师等来和我们一起实现梦想。 推理优化的工作目前主要关注高并发serving（Qwen WEB以及API服务）下的算法侧以及系统框架侧的探索与研发，主要针对Qwen系列模型， chat模型、vl模型以及audio模型。 算法侧的的优化主要包括两部分，一部分是训练推理协同优化；另一部分是post-training部分。 系统侧的优化主要职责是针对Qwen系列模型，优化系统推理性能达到最优。
研究领域： 机器学习 项目简介： 企业的生产活动高度依赖系统工具（如代码开发平台、日志分析系统、业务流程引擎），而这些系统产生的结构化数据（如代码版本、配置信息）与非结构化数据（如日志、操作记录）本质上是业务活动的数字化映射。直接通过系统数据理解业务行为仍面临三大挑战：首先，数据碎片化导致多源异构信息难以整合为统一的认知模型；其次，业务环境的快速变化使得静态分析模型难以持续有效；最后，传统工具（如统计分析、规则引擎）难以应对复杂场景的跨领域推理与泛化任务。因此，希望通过自动化认知建模与大模型推理，实现对业务活动的持续洞察、风险预测与智能决策支持。