腾讯多模态算法工程师
任职要求
1.计算机科学、机器学习、人工智能、应用数学等相关专业,硕士及以上学历; 2.在CV、多模态有相应的技术研发,了解LLM、多模态融合、人脸识别、目标检测等相关技术; 3.熟悉深度学习框架,如TensorFlow或Pytorch;了解分布式训练框架,如Deepspeed和Meatron-LM等,并有一定的多机多卡分布式训练经验; 4.较强的工程实现能力,熟练掌握C/C++, JAVA,Python等至少一种语言; 5.在顶级学术会议上发表论文者优先,包括而不限于NIPS/ICML/CVPR/ICCV/ECCV。
工作职责
1.负责垂直场景多模态大模型研发,包括图文、视频、音频等多个模态的预训练和SFT训练,探索合成数据在多模态训练上的应用; 2.负责大模型安全、内容治理、电商等多场景业务的内容理解,包括多模态表征、图文/视频意图理解、相同/相似判断、自动问答等; 3.负责跟踪和研究大模型前沿问题,并应用于解决实际的业务痛点。
1.利用计算机视觉和人工智能技术,改进点评笔记、评价等多个点评创作产品的创作体验。 2.参与研发以计算机视觉和人工智能技术为核心的创新型内容玩法。 3.探索MLLM,LLM,VLM等相关算法前沿,应用于业务并解决实际业务问题。 4.负责对业务场景下相关技术问题进行分析、算法设计和上线,全面参与并推动各环节的高效运行,以实现持续的业务价值提升。 5.研究并开发智能Agent系统,优化用户与AI系统的交互体验。
1. 构建基于计算机视觉 + VLM/MLLM 的容器与商品语义理解体系,融合图像、点云与文本信息,提高复杂 SKU 识别与定位鲁棒性。 2. 设计检测/分割 + 3D 点云融合网络,实现多品混放场景的实例分割与 6D 抓取点预测。 3. 对 LLaVA、Qwen2-VL、InternVL2.5 等多模态大模型进行指令微调,支持机器人自然语言任务下达与动态规划。 4. 负责相机、雷达联合标定,多传感器融合(RGB-D + 点云 + 力矩传感器)。 5. 搭建自动标注与主动学习流水线,建设数据飞轮。 6. 关注行业最新多模态技术,快速验证并落地仓储场景。
1.负责垂直场景多模态大模型研发,包括图文、视频、音频等多个模态的预训练和SFT训练,探索合成数据在多模态训练上的应用; 2.负责大模型安全、内容治理、电商等多场景业务的内容理解,包括多模态表征、图文/视频意图理解、相同/相似判断、自动问答等; 3.负责跟踪和研究大模型前沿问题,并应用于解决实际的业务痛点。
1. 协助完成多模态、视觉、NLP等算法相关领域的研究工作,包括但不限于:模型pretrain、多模态融合、多模态对齐、多模态内容理解及相关的大中小的模型等等。 2、依托海量真实业务数据,在CV/NLP/多模态等方向的单点技术上进行前沿技术研究和业务落地,核心解决真实的业务场景问题。 3、研发更高效利用多模态信息的方法,深入挖掘短视频各个模态中包含的有价值信息,对多模态语料进行各个维度上的充分理解。 4、负责计算机多模态理解方向前沿问题的研究,参与建设并持续保持部门在多模态业界的技术先进性,保持创新的同时将业界SOTA模型持续优化并落地至线上获得收益。