阿里巴巴研究型实习生-原生多模态视频生成技术研究
任职要求
1. 具备扎实的多模态或者机器学习算法基础，有成果发表在CVPR，NeurIPS，ICML，ICLR，TPAMI，IJCV等顶级会议期刊者优先。 2. 熟练掌握C/C+…
工作职责
本项目旨在深入探索原生多模态视频生成的前沿技术，构建从内容生成到智能应用的完整技术闭环。具体研究课题包括但不限于： 1. 长视频生成： 重点研究能够生成分钟级长视频的算法，攻克生成过程中的稳定性与时序一致性难题，实现流畅、高质量的视频流输出。 2. 可控视频编辑与下游应用 : 开发基于自然语言、图像示例等指令的精细化视频编辑技术，实现对视频中对象、场景、风格的精准、一致性操控。 3. 人类反馈与强化学习: 包括但不限于基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF 视频生成质量提升。
1. 参与多模态大模型（MLLM）及其应用场景的安全风险研究，探索文本、图像、视频、音频等跨模态交互中的新型攻击面（如跨模态语义鸿沟利用、隐写攻击），进行威胁建模与风险定级。 2. 协助开展多模态安全攻防实验，包括视觉/语音越狱（Visual/Audio Jailbreak）、对抗样本生成（Adversarial Perturbation）、跨模态提示注入等，评测主流多模态模型在复杂输入下的鲁棒性与防御边界。 3. 研究多模态大模型的原生安全增强技术，探索基于潜在空间防御（Latent Space Defense）的改进算法，从模型底层提升安全性。 4. 跟踪前沿研究进展，调研多模态学习、对抗机器学习、模型对齐与可信AI领域的顶级会议论文（如CVPR, NeurIPS, ICLR等）及技术方案，为团队提供前沿技术洞察。 5. 协助构建多模态安全评测基准与自动化工具链，沉淀高质量的跨模态攻击数据集，形成可复现的评测流程，支持团队在多维感知场景下的风险分析与能力验证。
Tair是基于云原生基础设施的KV数据库产品。在技术上期望通过云的规模化效应，基于云基础设施，面向海量的各种规模的客户提供更低的成本和更好的弹性。从工程实践和业务分析上看到对比当前主流的单租户架构模式，多租户的架构聚合度提升带来的成本优化能极大的提升云数据库的竞争力，但同时在租户影响上面对的挑战也比较大。 基于以上背景，本项目期望聚焦如下技术问题的研究： 1.优化KV存储引擎在复杂流量场景和多租户场景的延迟表现； 2.KV存储引擎在多租户场景下的资源隔离、限流相关技术研究； 3.研发多租的分布式KV集群如何在提升弹性的同时能更高效的利用资源。
随着互联技术的快速发展，CXL（Compute Express Link）为云原生数据库架构设计与优化带来了全新机遇。CXL通过与本地内存一致的load/store语义，实现硬件支持的内存池化和共享，并支持多种形式的内存扩展。本项目聚焦于探索CXL在云原生数据库中的应用，主要研究内容包括但不限于以下几点： 1. CXL分离式内存场景下的索引设计与优化：研究如何在分离式内存模型中构建高效索引，提升数据访问性能。 2. 基于CXL共享内存的分布式事务协议优化：设计适配CXL共享内存特性的分布式事务协议，提高事务处理效率。 3. 基于CXL共享内存的新分布式锁协议：开发高效的分布式锁机制，以更好支持并发控制。 通过本项目，将充分挖掘CXL在云原生数据库中的潜力，推动架构的灵活性和性能进一步提升。
1.研发新一代向量数据压缩存储格式； 2.设计基于JIT的索引快速预热机制； 3.优化磁盘-内存-GPU数据传输流水线； 4.开发分布式一致性内存管理组件。