拼多多多模态算法工程师（cv/多模态大模型）
任职要求
1. 有扎实多模态，cv的算法背景，熟练掌握CNN、VIT架构的图像编码技术原理，熟悉pytorch等深度学习框架。 2. 在商品理解、内容理解和内容结构化等多模态领域有3-5年及以上工作经验，具备业务思维，能拆解业务问题到算法解决方案，有一定技术管理经验。 3. 有在复…
工作职责
1. 深入研究和探索多模态算法在跨境电商的使用场景和应用落地，设计并实现基于深度学习、多模态大模型的电商多模态模型，用于商品理解、属性识别、AIGC等关键任务和场景。 2. 与工程团队紧密合作，将算法模型进行工程化落地，优化业务流程和效果，为业务发展提供强有力的算法支持。
1.负责电商领域多模态大模型的方案设计与落地，包括视觉-语言、视频-语言等方向的预训练、指令微调与对齐，在商品理解、内容理解/生成、内容审核、自动打标等多个淘天营销内容场景落地 2.构建电商多模态数据管线与数据质量治理体系，覆盖采集、清洗、标注、合成与去重，确保规模化训练的数据可用性 3.设计与实现多模态融合架构（如图像/视频/音频编码器、Connector/Q-Former等、跨模态注意力），提升跨模态理解与生成建模能力 4.进行指令微调与人类反馈强化学习（SFT、DPO、RLHF 等），完善人类偏好对齐，构建高质量评测与数据闭环 5.负责设计构建vlm加速相关算法方案，包括但不限于：模型剪枝、蒸馏、推理加速等
我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。
1、负责计算机视觉和深度学习等相关算法的研发和实现； 2、负责图像分类识别、图像理解、图像搜索、多模态识别等算法的研究和开发工作； 3、参与和推动技术落地。
1. 负责将多模态大模型技术整合到小蜜智能问答系统中，不断提升系统的智能化水平和用户体验； 2. 研究并应用最新的多模态理解技术，如图像识别、自然语言处理和语音识别等，以实现系统对各种类型输入的处理能力，或将图像生成能力用于离线知识生产和实时问答； 3. 深入挖掘商品的图片、视频、文本介绍等各个模态中包含的有价值信息，理解并提炼商品问答知识； 4. 与数据科学团队合作，设计和实施模型训练策略，针对特定领域，进行多模态模型prompt设计和调优； 5. 深入跟踪调研多模态/NLP/CV等方向的前沿技术相关内容，包括文生图、图生文等。