安克创新多模态世界模型高级算法工程师-具身智能方向 (博士)
任职要求
1. 计算机、电子、数学、机器人等相关专业; 2. 在计算机视觉、多模态大模型、AIGC等一个或多个领域有较深入的研究者; 3. 具有出色的分析、解决问题的能力,能深入解决大模型训练、应用存在的问题,有自主探索解决方案的能力者; 4. 具有良好的沟通协作能力,工作积极主动,能够与团队融洽合作,一起探索新技术,推进技术进步。 加分项: 1. 具有优秀的基础算法、扎实的机器学习基础,熟悉CV…
工作职责
1. 探索研究具身智能领域的多模态大模型、世界模型、生成式模型、AIGC等人工智能前沿技术; 2.探索大规模多模态理解与生成交织的基础模型,并进行极致系统优化;数据建设、指令微调、偏好对齐、RLHF、模型优化;提升数据合成、模型推理、规划能力,构建全面客观准确的评测体系,探索提升大模型能力; 3. 探索突破包括而不限于多模态大模型、端到端VLA模型、视觉COT与Agent在内的多模态模型、世界模型; 4. 通过预训练或SFT,使用生成式模型技术能力对现实世界的各类环境进行建模,提供多模态交互探索的基本能力,推动应用落地,研发以人工智能技术为核心的新技术、新产品。
1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型(Embodied Foundation Models)与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制(VLM / VLA / VLA-Agent)。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据,进行大规模对齐与强化学习(Sim2Real, RLHF, Imitation Learning)。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作,推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利,推动业界与学界前沿研究。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
1. 负责自动驾驶世界模型、场景重建相关技术的研究、算法开发、性能调优;相关技术包括3DGS/NeRF、Diffusion Model、多模态、生成式模型等; 2. 负责世界模型在自动驾驶闭环仿真场景生成领域的量产落地,解决落地过程中的关键技术问题; 3. 跟进相关领域世界模型的前沿技术,保持技术行业领先;