阿里巴巴研究型实习生-多模态算法-未来生活实验室

1.探索多模态大模型的高效训练，包括预训练、SFT、及RLHF等技术； 2.探索高效的视觉编码器结构、对齐范式、训练策略、数据清洗、质量分级、数据合成等； 3.探索多模态大模型的逻辑推理、planing、完成复杂任务的能力； 4.探索原生多模态大模型的架构与训练范式； 5.探索图像、视频、音频的全模态大模型； 6.结合淘天业务，推动多模态大模型在搜索、推荐、广告等业务中的应用。

1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。

部门简介 大数据和智能实验室聚焦于基于后训练技术的领域模型，积极推动AI大模型时代各行业的智能化升级。目前团队主要负责各行业和领域的语言大模型、多模态大模型、以及大模型基础研究，主要技术成果已成功应用到科学研究、安全审核、主权模型、生物医疗、大型国际赛事（奥运会、NBA）等多个领域大模型中。 工作内容 1.多模态大模型后训练研发：根据行业要求，探索适配领域特性的SFT/RL算法研发，构建高效、稳定、可扩展的垂域模型后训练范式，优化模型结构和推理效率，持续提升模型在业务场景下的效果、性能和用户体验，提升产品竞争力和市场规模。 2.垂域高质量数据闭环研发：持续建设高质量数据筛选流程，提升自动化预标注精度，推进垂域场景多模态数据 scale up，根据业务需求和评测结果提升定向数据挖掘能力，不断提升数据质量、多样性和生产效率。 3. 紧跟多模态大模型前沿技术趋势，从Visual RL到Token Compression，提升模型处理复杂、多变场景以及对模糊指令的遵循能力，优化模型响应速度，拓展模型在重点领域的智力边界，并以开源、技术报告等方式沉淀研究成果。引入新的算法技术和理念，为团队技术迭代提供前瞻性建议。

1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。