大疆高级计算机视觉算法工程师（多模态大模型）
任职要求
1. 硕士及以上学历，具备计算机科学、信息工程、电子工程、机器人学等相关专业背景； 2. 具备对深度学习、机器人学、计算机图形学、计算机视觉几何等领域的深入认识，并了解各个算法的条件和瓶颈； 3. 具备C++/Python/Pytorch/ROS开发经验； 4. 具有3年以上VLM，强化学习等科研或开发经验，且熟悉目标分割、目标检测、姿态估计者优先； 5. 全面负责过一项或多项SOTA算法方案设计、模型优化、自动标注，模型评估且在硬件产品有落地经验者优先；主导过多NN模块智能系统硬件产品开发与交付者优先； 6. 在相关领域主流会议或期刊发表过论文 (CVPR/ICCV/ECCV/NIPS/ICML/ICLR/IROS/ICRA)者优先； 7. 对算法落地产品有强烈的热情，善于用技术解决产品问题。
工作职责
1. 负责多模态融合算法研发，针对无人机、手持影像开展环境理解与交互控制相关算法系统的设计与研发； 2. 负责设计和构建VLM/VLA体系能力关键环节，例如数据质量、数据挖掘、数据生成、自动标注、自动迭代等任一或多个模块的设计和算法实现； 3. 开展跨模块沟通，主导相关智能功能系统方案的设计、研发与交付。
1. 负责与产品经理对接需求，开展跨模块沟通，调研前沿技术（如多模态大模型）并主导相关智能拍摄功能系统方案的设计、研发与交付（如智能跟随、大师镜头、手势语音等自然交互）； 2. 依托平台组件能力，结合产品需求，高效组合创新，完成相关算法系统的设计与研发，并与嵌入式工程师协作完成功能落地。
1. 负责研发面向无人机场景的大模型算法，实现感知、路径规划、动态避障与飞行控制的深度融合； 2. 负责开发多模态大模型（视觉/激光雷达/MU/地理信息等)，优化无人机在复杂环境(城市、野外、低空）下的自主决策能力； 3. 参与构建无人机大规模数据集，设计数据标注策略及仿真训练系统，优化提升无人机系统的性能； 4. 持续关注跟踪泛机器人以及大模型领域的前沿技术进展，进行技术对标以及原型验证工作。
应用计算机视觉、自然语言处理、多模态理解、数据挖掘与机器学习等技术处理阿里国际数字商业集团海量数据，构建多模态预训练大模型底座，落地前沿研究成果，实现技术理论与业务创新，为电商业务场景的商品理解与结构化、图搜与同款、搜索与推荐、数据分析与决策等各类国际化场景应用构建算法基础能力。 1、负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限。 2、基于多模态预训练大模型，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，实现业务指标提升。 3、学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。
1. 负责多模态大模型的基础能力提升，如长窗口拓展，逻辑推理提升，指令遵循提升、自动化生成prompt等基础能力构建。 2. 负责图文多模态模型的下游算法研究，例如：SFT微调（包括full和lora），强化学习，图搜增强，知识蒸馏等技术方向； 3. 负责图文多模态技术在AI搜索、图片结构化提取、图片内容理解等应用领域云侧和端侧的研究和落地工作； 4. 跟进业界前沿技术，持续提升团队在图文多模态算法方面的技术积累。