拼多多多模态算法工程师（cv/多模态大模型）
任职要求
1. 有扎实多模态，cv的算法背景，熟练掌握CNN、VIT架构的图像编码技术原理，熟悉pytorch等深度学习框架。 2. 在商品理解、内容理解和内容结构化等多模态领域有3-5年及以上工作经验，具备业务思维，能拆解业务问题到算法解决方案，有一定技术管理经验。 3. 有在复…
工作职责
1. 深入研究和探索多模态算法在电商的使用场景和应用落地，设计并实现基于深度学习、多模态大模型的电商多模态模型，用于商品理解、属性识别、AIGC等关键任务和场景。 2. 与工程团队紧密合作，将算法模型进行工程化落地，优化业务流程和效果，为业务发展提供强有力的算法支持。
1.负责电商领域多模态大模型的方案设计与落地，包括视觉-语言、视频-语言等方向的预训练、指令微调与对齐，在商品理解、内容理解/生成、内容审核、自动打标等多个淘天营销内容场景落地 2.构建电商多模态数据管线与数据质量治理体系，覆盖采集、清洗、标注、合成与去重，确保规模化训练的数据可用性 3.设计与实现多模态融合架构（如图像/视频/音频编码器、Connector/Q-Former等、跨模态注意力），提升跨模态理解与生成建模能力 4.进行指令微调与人类反馈强化学习（SFT、DPO、RLHF 等），完善人类偏好对齐，构建高质量评测与数据闭环 5.负责设计构建vlm加速相关算法方案，包括但不限于：模型剪枝、蒸馏、推理加速等
我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。
1、负责计算机视觉和深度学习等相关算法的研发和实现； 2、负责图像分类识别、图像理解、图像搜索、多模态识别等算法的研究和开发工作； 3、参与和推动技术落地。
工作职责： 1. 负责智慧城市大规模视频/图像内容分析场景的需求对接、方案设计和算法研发输出，帮助项目获得成功； 2. 参与最新技术成果（包括但不限于多模态大模型、开集检测/检索/识别、预训练基座模型等）的落地工作，转化为产品核心能力；