商汤算法实习研究员（多模态空间智能实习研究员）

【课题说明】 致力于探索多模态大模型与强化学习的前沿技术。研究方向包括多模态表征与理解、强化学习增强的生成与对齐、智能体（Agent）决策与规划等，业务影响覆盖美团外卖每天数千万的订单，核心工作是为用户及商家实现地理空间的智能规划，包括商家配送范围（决策用户是否能在该商家下单）、Area of Interest边框挖掘（AOI，即用户所处地理社区边界，保证用户下单体验的一致性）、用户拼单范围、骑手取件区域的建模与优化。目标是构建能够理解复杂业务需求、驱动范围智能调整的Agent系统，实现“技术驱动业务范式”的升级转变，最终促进平台供给繁荣与用户的供需匹配优化。 【建议研究方向】 1.多模态感知与表征建模：集成地理信息（GIS）、用户热力、图像、自然语言等多模态数据，进行联合表征学习与建模，攻克跨模态语义对齐难题，为空间智能理解与决策提供统一的感知基础。 2.强化学习增强的多模态生成与优化：探索强化学习在多模态大模型中的应用，研究基于RL的多模态内容（如图像、GIS、文本描述）生成、跨模态偏好对齐及模型自适应优化，以持续提升系统对复杂业务场景的理解与推理能力。 3.基于后训练的多模态内容理解与审核：探索多模态大模型后训练技术，实现图像质量审核、OCR识别、图文一致性校验、图像合成等能力，提升一线运营采集数据等场景的自动化水平与准确性。 4.面向履约空间规划的智能体（Agent）构建：设计并开发能意图识别、归因分析、并自主决策执行商家范围/AOI边界调整的智能体。重点研究Agent的任务规划、工具调用与动态策略优化能力。 5.业务仿真与决策推演：基于空间智能Agent，对不同的策略进行模拟推演，评估其对供给、平台规模、履约体验的影响，为科学决策提供支持。 我们将提供海量的真实业务场景与数据、充足的GPU计算资源以及极高的技术探索自由度，目标是产出兼具技术前沿性与业务影响力的成果，共同定义下一代智能履约空间位置规划的技术范式，同时能在顶级学术会议（如ICML, NeurIPS, KDD）发表paper。

1. 算法研发：聚焦自动驾驶、车载或机器人领域的算法和模型研发，不限于世界模型、视频生成模型、多模态大模型和VLA模型。 2. 业务落地：负责车载和自动驾驶业务的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究领域的前沿技术和趋势，为项目提供技术支持。

1.负责AIGC多模态大模型相关的算法模块的研发、架构设计、模型后训练、数据构建和效果评估等工作，包括各模态tokenizer设计，数据合成策略，以及跨模态融合后训练策略等，参与实现游戏领域定制化的文生图像/视频、图像/视频理解和编辑等多模态大模型的技术落地； 2.参与文本、代码、图像、视频等多模态内容的生成与理解相关算法研发与优化，熟悉包括RAG技术栈和Code理解/生成技术栈等，并支撑相应算法高效落地到游戏的各管线及工作流中； 3.进行大模型reasoning能力的相关算法探索，研究SFT/GRPO/self-play等技术，提高模型在游戏引擎代码库等场景涉及的推理任务上的表现，参与落地游戏领域具有业务问题解決能力的agent； 4.跟进大模型、多模态、强化学习、智能体的前沿算法技术研究，支持强化学习在游戏 bot 中的算法落地应用，把握AIGC生成技术的最新前沿技术发展趋势。

与团队紧密合作，追踪前沿算法，探索物理模拟与数据驱动结合方案，基于具体应用场景和数据，实现更优的动画表现效果。主要职责： 1.探索和开发物理模拟与深度学习结合的创新解决方案； 2.锚定特定物理动画效果，分析和定义问题，探索可行的实现路径； 3.与团队成员紧密合作，设计和实现相关方案，优化动画效果表现； 4.跟踪和研究业界与学界的物理模拟和深度学习前沿技术；