安克创新具身数据算法工程师 (VLM/VLA、3D感知算法 )
任职要求
1. 学历背景:计算机、人工智能、自动化、机械电子等专业硕士及以上学历 2. 技术能力:有机械臂/机械狗的感知、决策、规划、控制等若干领域的算法实践和优化经验;熟悉Transformer、BERT、GPT等模型,熟悉预训练和微调流程,具有相关的工作经验;有ACT、Diffusion Policy、OpenVLA、RDT、Pi0等相关算法研究背景经验者优先;熟悉掌握C/C++,python等编程语言,熟悉ros/ros2系统,熟悉pytorch、tensorflow等深度学习框架; 加分项: 具备扎实的工程能力,有较强的创新意识和自驱意识。 熟悉常见开源VLA算法的实现,有微调部署、实机调试经验,对VLA技术路线有个人见解。 在机器人/智能驾驶/计算机视觉领域有顶会论文或竞赛获奖经历(Kaggle、阿里云天池等)。
工作职责
1. 推进机器人多模态大模型(VLM/VLA)的工程化落地:涵盖预训练、微调、训练加速和效果调优; 2. 基于issac sim搭建仿真环境验证操作模型,设计real2sim2real迁移框架,加速算法验证与落地; 3. 具身智能算法研发,包括不同数据配比/网络结构/本体构型,在toC场景完成长序列任务和技能泛化; 4. 研发自动化标注算法(2D/3D/VLA等),降低标注成本和提升标注质量; 5. 设计多模态数据(图像、视频和点云等)生成算法,增强数据多样性。
1.推进机器人多模态大模型(VLM/VLA)、3D感知算法的工程化落地:涵盖预训练、微调、训练加速和效果调优。 2.基于issac sim搭建仿真环境验证操作模型,设计real2sim2real迁移框架,加速算法验证与落地。 3.具身智能算法研发,包括不同数据配比/网络结构/本体构型,在toC场景完成长序列任务和技能泛化。 4.研发自动化标注算法(2D/3D/VLA等),降低标注成本和提升标注质量。 5.设计多模态数据(图像、视频和点云等)生成算法,增强数据多样性。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。