阿里巴巴研究型实习生-多模态算法-Accio Work
任职要求
1、2027年11月及之后毕业，硕士及以上学历，计算机、人工智能、信息科学、数学、软件工程等相关专业优先； 2、背景： 计算机、数学或相关专业在读（硕士/博士优先），熟悉大模型训练流程； 3、技术栈： 熟悉 PyTorc…
工作职责
团队介绍： Accio 是一个追求极致的 AI Native Agent 产品/团队。我们不只是在做工具，而是在重塑人机交互的未来。在这里，我们为你提供充足的计算资源（H100/B200 集群支持）、深厚的研究氛围，以及由师兄（AI PhD & 顶会常客）亲自带队的指导。 项目介绍： 本项目旨在通过 RL 与其它后训练方法，优化 VLM 的多模态理解能力，解决包括但不限于 VLM tool use，Multi-image 理解等问题。 岗位职责： 1、大规模后训练实践： 参与构建多模态训练数据及benchmark，利用分布式训练框架（如 Megatron-LM, verl）进行大规模模型调优； 2、算法研究与优化： 探索VLM的前沿算法，产出 Novelty 和实用性兼具的工作； 3、前沿追踪：跟进最新的学术工作，逐步养成比较好的技术品味。
1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。
1. 探索多模态大模型的高效训练，包括预训练、SFT、及RLHF等技术； 2. 探索高效的视觉编码器结构、对齐范式、训练策略、数据清洗、质量分级、数据合成等； 3. 探索原生多模态大模型的架构与训练范式； 4. 探索图像、视频、音频的全模态大模型； 5. 结合淘天业务，推动多模态大模型在搜索、推荐、广告等业务中的应用。
阿里巴巴达摩院医疗AI团队，面向多模态医疗大模型的前沿研究与应用落地，旨在构建能够理解和推理不同医疗模态信息（影像、文本、临床结构化数据等）的通用智能系统。 研究方向包括但不限于： ● 多模态医疗大模型的架构设计、训练与优化 ● 医学影像（CT/MRI/超声、病理切片等）与医学文本（病历、检验报告等）的跨模态表示学习，多模态对齐，知识图谱增强 ● 医疗领域的视觉‑语言模型（VLM）、医学版GPT及多模态融合方法 ● 面向诊断与治疗决策的推理型模型和知识增强大模型 ● 少样本/零样本医疗任务泛化、可解释性与可信AI 我们拥有： ● 海量高质量、多模态临床数据（影像+文本+结构化信息） ● 充足算力资源（GPU不限，集群规模支持超大模型训练） ● 与国内外顶级医院、知名医学专家的长期科研合作 ● 在顶级会议与期刊（Nature子刊、TMI、MICCAI、CVPR、NeurIPS等）的高影响力成果 这是一个将AI大模型与医疗健康结合、面向未来的研究机会。
研究医疗图像分析领域技术攻关及技术创新，包括基于医学影像的计算机视觉基础算法研究，多模态大模型、病灶检测/追踪，医学影像生成，预后等前沿技术探究。负责算法原型实现、算法优化及测试等内容，同时发表相应的高质量技术或临床论文。