阿里巴巴研究型实习生-融合多模态的Agent+RL研究
任职要求
1. 计算机、人工智能或相关领域的扎实学术背景，熟悉大模型和强化学习的核心原理； 2. 具备良好的编程能力，熟练使用深度学习框架（如 PyTorch），并能进行算法实现与优化； 3. 对多模态大模型（文本、图像、视频等）及其在智能…
工作职责
专注于多模态智能体（Agent）及强化学习（RL）的研究与开发，如 browser use 等，推动下一代智能决策系统的创新。主要职责包括： 1. 设计和构建基于 Qwen 系列模型的多模态 Agent，使其能够高效处理文本、图像、视频等多种信息，执行复杂任务； 2. 实现和训练强化学习算法，探索如何在多模态环境下优化智能体的决策策略； 3. 开发数据采集和环境建模工具，构建逼真的多模态交互环境； 4. 参与系统评估与优化，设计高效的验证机制，确保智能体的稳定性与泛化能力； 5. 撰写研究论文、技术文档，与团队共同推动技术突破，并提升行业影响力。
1. 参与图像生成、图像编辑和文档理解其中一个方向的工作，围绕效果和速度，通过算法创新持续提升业务天花板； 2. 围绕扩散模型、生成加速、融合模型等方向，不断探索前沿算法，保持方案领先性，助力业务取得效果突破； 3. 围绕数据构建、vae、dit、moe、训练策略等环节，挖掘突破口，持续改进提升。
当前互联网入向调度（如8806、8809调度）通常采用多 Region（多中心）同时宣告相同或关联 Prefix 的策略。在这种架构中，入向流量的调度逻辑由"公网 BGP 选路"与"内网骨干回传"两段组成。 1. 入向选路的不确定性（核心背景）： 当全球流量面对多个入口（Region-ISP）时，流量进入哪一个入口取决于上游 ISP 复杂的 BGP 决策（受 Local Preference、AS-Path、地理位置等因素交叉影响）。由于缺乏对公网选路结果的预判能力，流量往往会非预期地涌入某个 Region，造成入口带宽压力不均。 2. 调度决策的现状： 目前的调度主要通过在特定中心实施 AS-Path Prepending 或 Anycast 权重调整。由于无法事前准确预知这些动作会导致多少流量、从哪些路径、漂移到哪个 Region，调度过程往往依赖经验尝试。 3. 必要性： 内网回传模式是业务连续性的保障，但"入口选择"决定了端到端路径的质量基准。如果能精准预测入向切流行为，我们就能在公网侧主动引导流量进入最合理的入口，从而使"公网边缘路径"与"内网骨干路径"达成最优匹配，提升整体调度效率与业务稳定性。
以语言大模型为代表的AI如火如荼，但在NL2SQL这个数据库垂直技术领域， 纯粹依赖大模型存在推理速度慢，生成准确度不稳定等不足。 该研发项目围绕在大模型结合小模型，用小模型在专域上加强大模型的不足作为突破点，将大模型的能力延展到以SQL语法为引导下开发的小模型工具。目标是让NL2SQL能力成为大模型在数据库查询领域的一个专用工具， 做到快速， 准确，高效。
1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。