阿里巴巴日常实习生-多模态及视觉生成大模型安全评测与原生安全机制研究
任职要求
1、硕士及以上学历在读，计算机、人工智能、网络安全、数学等相关专业优先。 2、具备扎实的深度学习基础，熟悉主流多模态大模型（如Qwen-VL, LLaVA, InternVL等）及视觉生成模型（如Stable Diffusion, Flux, Wan等）的架构原理及训练/推理机制。 3、熟悉深度学习框架（PyTorch）及相关多模态/生成式AI开发库（HuggingFace Transformers, Diffusers, vLLM等），具备较强的算法实现与实验调优能力。 4、了解模型…
工作职责
1、参与多模态大模型与视觉生成大模型端到端安全评测体系建设，围绕内容安全、对抗鲁棒性、越狱攻击、防御有效性等方向设计并执行系统化评测方案，推动模型安全能力量化与评估标准完善。 2、参与多模态大模型与视觉生成大模型隐层表征风险感知能力研究，构建面向风险识别/安全判别的内部表征分析框架，探索模型在不同语义空间下的风险感知与决策机制。 3、参与多模态大模型与视觉生成大模型可解释性与模型探针（Model Probing）研究与落地，基于探针技术分析模型内部知识编码、风险表征分布及安全行为形成机制，提升模型安全决策透明度与可解释能力。 4、参与面向多模态理解与视觉生成场景的低侵入式插件化原生安全围栏算法研发，探索轻量、高效、可插拔的安全防护机制，提升大模型原生安全能力与部署灵活性。 5、参与多模态大模型与视觉生成大模型原生安全增强技术的探索与落地，研究以低侵入、最小打扰方式提升目标模型解码阶段安全性的关键技术路径，在保障模型安全性的同时平衡生成质量与用户体验。 6、跟踪国内外大模型安全、模型可解释性及 Runtime Safety Alignment等前沿研究进展，复现相关论文与开源方案，推动研究成果在实际业务场景中的落地应用。
1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。
1.探索多模态大模型的高效训练，包括预训练、SFT、及RLHF等技术； 2.探索高效的视觉编码器结构、对齐范式、训练策略、数据清洗、质量分级、数据合成等； 3.探索多模态大模型的逻辑推理、planing、完成复杂任务的能力； 4.探索原生多模态大模型的架构与训练范式； 5.探索图像、视频、音频的全模态大模型； 6.结合淘天业务，推动多模态大模型在搜索、推荐、广告等业务中的应用。
我们是国内使用量最大的电商AIGC平台之一。 你将参与到：构建以评测驱动的多模态数据高效处理与迭代机制，融合多模态理解、合成增强等关键技术，打造适用于AI电商场景的高质量融合数据，最终实现“数据-模型-场景”的高效协同闭环，推动新一代AI数据体系的建设。
团队介绍： 我们是阿里巴巴国际数字商业集团-智能技术-商品基础数据算法团队，基于研发电商多模态预训练模型基座，通过多模态商品理解、商品同款匹配、商品属性&标签生产、知识图谱构建、图像搜索等核心技术的持续迭代，为平台沉淀高质量、结构化的商品数据资产和多模态大模型基座。主攻前沿方向：Continual Pre-Training/Post-Training 模型持续优化、SFT 监督微调与用户偏好对齐、RL 强化学习提升推理和决策能力、多模态（文本 + 图像）语义匹配。 职位描述： 1.负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限。 2.基于多模态预训练大模型，设计和迭代 SFT+RL 训练方案，优化模型语义理解精度，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，负责关键场景的端到端全链路优化，实现业务指标提升。 3.学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。