TCLVLM视觉大模型算法工程师
任职要求
1. 学历背景：计算机科学、人工智能、电子工程、自动化等相关专业的硕士或博士学历。 2. 编程能力：精通Python编程，具备扎实的数据结构和算法基础；熟练掌握PyTorch,Transformers,VLLM等常见深度学习库。 3. 熟悉多模态领域的核心算法，对VLM的主流模型架构（如CLIP, BLIP, LLaVA等）有深入理解和实践经验。 4. 具备扎实的CV（计算机视觉）领域知识，熟悉ViT, SAM, Diffusion等模型。 5. 具备扎实的NLP（自然语言处理）领域知识，熟悉Transformer, GPT, Llama等模型。 6. 项目经验：有实际的大模型…
工作职责
1. 前沿算法研发：负责探索和研发最前沿的视觉语言大模型（VLM）算法，跟进并掌握领域内的最新技术动态（如InternVL Qwen-VL等）。 2. 模型训练与优化：参与或主导公司VLM模型的训练，包括但不限于数据处理、CPT、指令微调（SFT）、以及基于人类反馈的强化学习（RLHF）等全流程算法的研发与优化。 3. 多模态能力融合：致力于提升模型在图像、视频等多种视觉模态上的理解、推理和生成能力，实现视觉信息与语言能力的深度融合。 4. 应用场景落地：推动VLM技术在公司具体业务场的应用落地，解决实际业务中的挑战。 性能优化与部署：负责模型的性能优化，包括模型剪枝、量化、蒸馏等，并配合工程团队将模型高效部署到云端或嵌入式设备，实现低延迟、高吞吐的推理服务。
【关于机器人中心】小鹏机器人中心专注于构建面向未来的人形机器人系统，融合先进的人工智能（AI）、控制、机械与系统工程，打造能感知、理解、操作并能和现实世界进行交互的下一代机器人。 【关于团队】该部门承担前沿智能方法的预研工作，专注于实现机器人三大核心智能能力：自主移动（导航）、灵巧操作和人机交互。我们深入布局大语言模型（LLM）、多模态视觉语言模型（VLM）和视觉语言行动模型（VLA），实现全流程自研，推动机器人从感知到决策的全面智能化落地。团队成员遍布深圳、上海和美国硅谷，聚集了世界一流的科研与工程人才，致力于将大模型技术真正落地到复杂、动态的物理环境中。在这里，你将：与来自 AI、机器人硬件、控制等领域的优秀工程师合作；参与推动 LLM/VLM/VLA 与机器人智能体的融合；构建能够自主学习与进化的“具身智能体”。 - 负责多模态大模型（VLM: Vision-Language Model / VLA: Vision-Language-Action Model）在人形机器人中的算法设计与开发，将VLM/VLA 应用于人形机器人的智能操作与人机交互任务； - 参与大模型的预训练、后训练（SFT + RL）及部署工作，支持机器人在复杂环境下的感知与行为能力； - 与机器人平台团队、硬件团队紧密协作，实现模型在实际机器人系统中的高效运行； - 跟踪前沿研究，推动新技术在产品中的落地应用。
参与视觉语言大模型的研发工作，主要负责： 1、VIT Pretrain：提升模型感知能力，包括但不限于 Vision Encoder Pretrain 算法架构 / 多种感知能力数据构建； 2、VLM Pretrain：提升 vlm pretrain 的通用能力，探索各种不同训练阶段设计 / 不同通用数据的组织形式； 3、VLM Post train：提升 vlm 通用能力，包括但不限于合成数据 / RL 等方法； 4、生成理解统一：探索生成理解统一架构，同时提升理解和生成能力。
1.研发业界一流物理AI系统，包括不限于模仿学习， 强化学习， vla， vlm等训练系统与算法架构； 2.参与自动驾驶系统中机器学习算法的研究、开发与优化，包括但不限于深度学习算法在端到端感知大模型、规控大模型、视觉语言大模型等方面的应用； 3.设计和实现机器学习模型的训练流程，包括选择合适的优化算法、调整超参数、评估模型性能等，确保模型在不同场景下的稳定性和可靠性。
1.参与多模态大模型(VLM/VLA)的研发与优化，探索图像、文本、语音等跨模态信息的融合方法，以及在自动驾驶领域的应用； 2.研究并实现前沿的视觉技术（如Diffusion Model、GAN、VAE等），推动技术落地； 3.配合团队完成算法设计、训练、调优及部署，提升模型性能与工程化能力； 4.跟踪领域前沿研究，撰写技术文档和实验报告，参与论文发表或专利申请。