蚂蚁金服研究型实习生-原生多模态大模型
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的…
工作职责
研究领域： 人工智能 项目简介： 原生多模态模型在设计时原生支持多模态，通过在音频、视频、图片、文本等多模态序列上进行预训练，可以理解、生成 或 操作 不同模态组合 ，原生多模态也被认为是继NLP大模型后实现AGI的必经之路。本课题主要研究原生多模态的核心问题, 包括但不限于: 1. 研究多个模态进行混合训练并实现各模态各任务均衡的方法 2. 研究理解和生成任务的统一框架，实现理解和生成任务的相互促进 3. 提升多模态in-context能力机制及提升多模态in-context learning能力
研究领域： 人工智能 项目简介： 原生多模态大模型中的实时语音交互相对传统的端到端交付在对话延迟、模态融合等带来能力提升，但是语音多模态对话中的情感的识别和表达还没有形成完善方案，同时工具调用等能力也需要单独进行加训、提升。
1. 探索多模态大模型的高效训练，包括预训练、SFT、及RLHF等技术； 2. 探索高效的视觉编码器结构、对齐范式、训练策略、数据清洗、质量分级、数据合成等； 3. 探索原生多模态大模型的架构与训练范式； 4. 探索图像、视频、音频的全模态大模型； 5. 结合淘天业务，推动多模态大模型在搜索、推荐、广告等业务中的应用。
项目关注多模态大模型的前沿技术问题，特别是领域应用中的泛化能力不足，模型信息融合效率低，推理能力弱等关键问题，探索具备推理能力的、多模态高效融合的领域多模态大模型，沉淀可复制的技术方法，推动其在行业和领域的落地应用。 项目包含但不限于如下关键课题： 1、多模态推理技术研究：探索多模态推理数据构建与强化学习算法，关注多模态领域模型的协同推理机制，提升领域泛化能力； 2、模型原生架构探索：探索多模态数据协同处理的通用模型结构，实现跨模态数据的高效表征学习，探索理解与生成一体化的多模态大模型技术框架，进一步提升模型对领域泛化能力。
ByteIntern：面向2027届毕业生（2026年9月-2027届8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动基础设施数据库团队，是支撑集团业务的核心技术底座之一。我们管理着业界超大规模的数据库集群，承载了抖音、豆包大模型、今日头条、电商、飞书等核心业务的万亿级流量。从海量并发的事务处理到极致复杂的实时分析，我们直面全球最严苛的技术挑战，同时通过火山引擎为众多企业客户提供具备企业级稳定性的全栈数据库服务。团队基于自研技术栈，打造了涵盖关系型数据库、NoSQL 数据库、多模数据库、大规模图计算平台、多模态检索、云原生中间件的完整数据库产品矩阵。我们践行 “务实浪漫” 的极客文化，不仅在 VLDB、SIGMOD、ICDE 等顶级会议持续输出突破性成果，更将极致的性能优化与软硬协同技术落地于实际生产环境，引领数据库技术迈向云原生新纪元。AI 时代，我们践行 “勇攀高峰”，正致力于构建 Agent-First 的新一代数据架构，打破模型与数据的边界，赋予数据库在智能体生态中主动感知、推理辅助与复杂记忆管理的核心能力。我们的研发团队分布于国内/海外多地，汇聚了行业顶尖的数据库专家，与全球顶尖高校、研究机构深度合作，潜心打磨数据库技术。现诚邀具备数据库内核研发经验、分布式系统架构能力及 AI 创新视野的顶尖极客，携手探索技术无人区，定义 AI 时代的数据基座，赋能全球企业实现 AI 驱动的业务变革。 1、参与火山云数据库产品（关系型/NoSQL/NewSQL/数据库生态工具等）的全生命周期管理，包括市场调研、需求分析、产品规划与产品路径图制定； 2、参与数据库核心功能设计，打造业界领先的云原生数据库和AI数据库产品； 3、联动销售、售前团队，提供产品培训与支持，收集市场反馈与产品动态，优化产品策略，提升产品市场竞争力； 4、协同研发团队明确技术方案，跟进开发进度，参与测试验收，确保产品功能符合设计预期，推动版本迭代与问题优化； 5、关注数据库领域技术趋势（如AI in DB、云原生等），结合业务需求规划产品创新方向。