拼多多图像/多模态资深算法
任职要求
1、熟悉CV图像领域的基础算法，了解检测、分割、分类、理解、生成等领域的基础算法 2、熟悉多模态领域的基础算法，如CLIP、Qwen-VL等，对模型原理有深入的了解 3、有强烈的责任心，较好的学习能力，自驱能力和沟通能力 4、图像/多模态经验3年以上经验 加分项 1、有电商相关背景 2、…
工作职责
1、负责图像&多模态相关基础算法研发，保持相关领域算法的领先性 2、推动图像&多模态算法在同款识别环节的应用并提升召回率和准确率 3、配合协同团队，在不显著牺牲模型效果的情况下优化qps和资源成本
岗位描述 1. 负责多模态大模型（包括但不限于视觉、语言等领域）的后训练算法设计与实现，主要涉及SFT（Supervised Fine-Tuning）、RL（Reinforcement Learning）等优化技术。 2. 在模型训练后期进行性能优化和算法调优，提升模型的泛化能力、精度和效能。 3. 参与多模态大模型的蒸馏、压缩等加速算法的研究与落地工作。 4. 支持与跨团队合作，推动多模态大模型在业务场景中的应用与迭代。
1.生成模型研发： 负责高质量图像与视频生成模型的选型、训练与调优（如Stable Diffusion、DiT、Video Generation Models），针对业务需求开发可控生成方案（ControlNet、LoRA、Adapter），实现广告素材自动化生成、商品图智能设计等。 2.多模态理解与检索： 构建高性能的多模态理解与表征模型（CLIP、BLIP、MLLM），优化跨模态检索（Text-to-Image/Video Retrieval）和内容打标能力，赋能搜索相关性提升及推荐系统的多模态召回与排序。 3.业务场景落地： 深入理解搜推广业务，设计AIGC在广告创意优化、搜索结果增强（Generative Search）、短视频内容重组等场景的应用链路；建立A/B实验体系，对AIGC生成内容的点击率（CTR）、转化率（CVR）及用户留存负责。 4.数据与系统优化： 构建大规模高质量的图文/视频训练数据集与美学评分体系；与Infra团队配合，优化生成模型的推理延迟与吞吐（如Distillation、Quantization），确保在线服务的高并发稳定性。
1、生成模型研发： 负责高质量图像与视频生成模型、图像可控编辑模型的选型、训练与调优（如Stable Diffusion、DiT、Video Generation Models），针对业务需求开发可控生成方案（ControlNet、LoRA、Adapter），实现素材自动化生成、商品图智能设计等； 2、多模态理解与检索： 构建高性能的多模态理解与表征模型（CLIP、BLIP、MLLM），优化跨模态检索（Text-to-Image/Video Retrieval）和内容打标能力，赋能搜索相关性提升及推荐系统的多模态召回与排序； 3、业务场景落地： 深入理解搜广推业务，设计AIGC在广告创意优化、搜索结果增强（Generative Search）、短视频内容重组等场景的应用链路；建立A/B实验体系，对AIGC生成内容的点击率（CTR）、转化率（CVR）及用户留存负责； 4、在线Reward：通过创意在线投放的实时反馈作为reward，优化生成模型； 5、数据与系统优化： 构建大规模高质量的图文/视频训练数据集与美学评分体系；与Infra团队配合，优化生成模型的推理延迟与吞吐（如Distillation、Quantization），确保在线服务的高并发稳定性。