蚂蚁金服研究型实习生-具身智能操作系统的安全性研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作
工作职责
研究领域： IoT 项目简介： 具身智能作为人工智能发展的新范式，通过物理实体（如机器人、无人系统等）直接与现实世界交互，其核心挑战在于融合AI与物理实体的安全可控性。当前系统涉及硬件设施、算法模型、数据系统等多维度复杂性，潜在攻击面包括传感器漏洞、多模块协同干扰、算法对抗攻击等。恶意攻击很可能引发具身智能体执行危险动作。传统安全防护难以应对物理域与信息域的双重威胁，目前不少厂家都在使用的开源项目Robot Operation System（机器人操作系统，简称ROS）最初以科研为目标场景，缺乏系统整体性安全设计。随着ROS的广泛应用，很多安全问题随之暴露，本项目希望对具身智能操作系统的安全性展开研究，提供系统性解决安全问题的方案。
研究领域： 人工智能 项目简介： 这个项目结合了embodied AI和大型语言模型（LLM agent）的优势，旨在实现一个具身智能的测评流程。包含多模态理解能力的开发，知识图谱的建立、测试数据和报告的自动生成、利用大模型的规划能力自动规划测评的步骤和决策一小步的动作。
专注于多模态大模型与人机交互技术的创新研究及实践，具体职责包括： 1、探索多模态大模型（文本/图像/语音/视频等）的交互式应用场景，研发新型人机交互范式； 2、针对多模态交互复杂任务推理进行探索及研究，提升多模态、多跳推理场景下的复杂任务完成率； 3、优化多模态数据的融合算法，提升模型对复杂交互场景的理解与响应能力； 4、构建高效的多模态交互系统模型架构，研究低延迟、高并发的实时交互技术方案。
随着大模型（VLM/LLM）的持续迭代与广泛落地，模型正快速渗透至智能汽车、具身智能、智能手机、AI 眼镜等物理终端。新的使用场景与部署环境对模型的多模交互、空间感知推理、工具使用能力、时延与能效提出了更高要求。 我们希望你加入，推动“物理AI”的技术范式升级，打造高效率、低时延、可规模化的多模态智能终端。项目包括但不限于如下待探索的细分关键研究方向： 1、面向多模态 Agent 的强化学习，支撑从“指令模型”向“可感知、可规划、可执行”的 Agent 升级； 2、智能终端大模型能力，涉及终端多模态模型后训练、模型能力attention优化，MoE推理优化、模型稀疏化、低比特量化等，提供低内存、高吞吐率的模型范式； 3、提升模型在空间感知理解、工具调用、推理等场景上的能力，探索新的具身范式。
我们正在寻找对世界模型与端到端自动驾驶技术充满热情的算法实习生，加入我们的前沿技术研发团队。您将专注于端到端自动驾驶算法的研发，推动其在智能驾驶中的落地应用，为用户提供更安全、更高效的出行体验。 主要职责 1、世界模型与建图研发：开发基于多传感器融合的世界模型，实现高精度地图构建与动态场景理解。 2研究基于NeRF、3DGS等技术的三维场景表示方法，提升地图生成的效率与精度。探索语义地图构建技术，结合深度学习实现道路、车道线、交通标志等元素的自动标注与更新。 3、端到端自动驾驶算法研发：研究端到端自动驾驶算法，结合强化学习、模仿学习等技术，实现从感知到决策的全流程优化。开发基于Transformer架构的多模态融合模型，提升自动驾驶系统的鲁棒性。 4、优化端到端模型的推理速度与计算效率，支持实时决策与控制。模型优化与性能提升：针对自动驾驶场景，优化模型的推理速度和资源占用，确保高性能与低延迟。 5、探索适合大模型的压缩与加速技术（如量化、剪枝、知识蒸馏），适配车载硬件平台。 6、前沿技术探索：持续跟踪世界模型、端到端自动驾驶、具身智能等领域的最新技术趋势。提出创新性解决方案，结合业务需求推动技术突破。