阿里云研究型实习生-多模态大模型软硬协同优化

研究领域： 人工智能 项目简介： 本课题面向典型大模型（dense、MoE）进行软硬协同、算子级深入优化，算子包括计算、通信、访存等。 背景： 1. 大模型和搜推模型推理需求: 大模型长序列和Tab3推荐模型增长迅速，前者迈向MoE千~万亿参数，推荐模型增长到数百GB。 - 需求背后存在计算密集、访存密集和多卡推理的通信瓶颈。例如在LLM prefill阶段和多模态模型通常计算密集；LLM decode阶段和搜推模型通常访存密集。 2. 算力阉割:主流NV卡算力大幅阉割，应对以上需求存在较大技术挑战。业界针对模型也不断有算子的深入优化例如FlashAttn系列，FlashMLA，SageAttn等，包括量化、稀疏的算子。

ByteIntern：面向2027届毕业生（2026年9月-2027届8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动基础设施数据库团队，是支撑集团业务的核心技术底座之一。我们管理着业界超大规模的数据库集群，承载了抖音、豆包大模型、今日头条、电商、飞书等核心业务的万亿级流量。从海量并发的事务处理到极致复杂的实时分析，我们直面全球最严苛的技术挑战，同时通过火山引擎为众多企业客户提供具备企业级稳定性的全栈数据库服务。团队基于自研技术栈，打造了涵盖关系型数据库、NoSQL 数据库、多模数据库、大规模图计算平台、多模态检索、云原生中间件的完整数据库产品矩阵。我们践行 “务实浪漫” 的极客文化，不仅在 VLDB、SIGMOD、ICDE 等顶级会议持续输出突破性成果，更将极致的性能优化与软硬协同技术落地于实际生产环境，引领数据库技术迈向云原生新纪元。AI 时代，我们践行 “勇攀高峰”，正致力于构建 Agent-First 的新一代数据架构，打破模型与数据的边界，赋予数据库在智能体生态中主动感知、推理辅助与复杂记忆管理的核心能力。我们的研发团队分布于国内/海外多地，汇聚了行业顶尖的数据库专家，与全球顶尖高校、研究机构深度合作，潜心打磨数据库技术。现诚邀具备数据库内核研发经验、分布式系统架构能力及 AI 创新视野的顶尖极客，携手探索技术无人区，定义 AI 时代的数据基座，赋能全球企业实现 AI 驱动的业务变革。 1、参与火山云数据库产品（关系型/NoSQL/NewSQL/数据库生态工具等）的全生命周期管理，包括市场调研、需求分析、产品规划与产品路径图制定； 2、参与数据库核心功能设计，打造业界领先的云原生数据库和AI数据库产品； 3、联动销售、售前团队，提供产品培训与支持，收集市场反馈与产品动态，优化产品策略，提升产品市场竞争力； 4、协同研发团队明确技术方案，跟进开发进度，参与测试验收，确保产品功能符合设计预期，推动版本迭代与问题优化； 5、关注数据库领域技术趋势（如AI in DB、云原生等），结合业务需求规划产品创新方向。

ByteIntern：面向2027届毕业生（2026年9月-2027届8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动基础设施数据库团队，是支撑集团业务的核心技术底座之一。我们管理着业界超大规模的数据库集群，承载了抖音、豆包大模型、今日头条、电商、飞书等核心业务的万亿级流量。从海量并发的事务处理到极致复杂的实时分析，我们直面全球最严苛的技术挑战，同时通过火山引擎为众多企业客户提供具备企业级稳定性的全栈数据库服务。团队基于自研技术栈，打造了涵盖关系型数据库、NoSQL 数据库、多模数据库、大规模图计算平台、多模态检索、云原生中间件的完整数据库产品矩阵。我们践行 “务实浪漫” 的极客文化，不仅在 VLDB、SIGMOD、ICDE 等顶级会议持续输出突破性成果，更将极致的性能优化与软硬协同技术落地于实际生产环境，引领数据库技术迈向云原生新纪元。AI 时代，我们践行 “勇攀高峰”，正致力于构建 Agent-First 的新一代数据架构，打破模型与数据的边界，赋予数据库在智能体生态中主动感知、推理辅助与复杂记忆管理的核心能力。我们的研发团队分布于国内/海外多地，汇聚了行业顶尖的数据库专家，与全球顶尖高校、研究机构深度合作，潜心打磨数据库技术。现诚邀具备数据库内核研发经验、分布式系统架构能力及 AI 创新视野的顶尖极客，携手探索技术无人区，定义 AI 时代的数据基座，赋能全球企业实现 AI 驱动的业务变革。 1、参与火山云数据库产品（关系型/NoSQL/NewSQL/数据库生态工具等）的全生命周期管理，包括市场调研、需求分析、产品规划与产品路径图制定； 2、参与数据库核心功能设计，打造业界领先的云原生数据库和AI数据库产品； 3、联动销售、售前团队，提供产品培训与支持，收集市场反馈与产品动态，优化产品策略，提升产品市场竞争力； 4、协同研发团队明确技术方案，跟进开发进度，参与测试验收，确保产品功能符合设计预期，推动版本迭代与问题优化； 5、关注数据库领域技术趋势（如AI in DB、云原生等），结合业务需求规划产品创新方向。

团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 课题背景： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模LLM for Infra 服务；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向 AI 场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。