拼多多AIGC算法专家/工程师(图像/视频/多模态方向)
任职要求
1. 计算机、人工智能、数学等相关专业,硕士及以上学历; 2. 2年以上CV或AIGC相关算法经验,深入理解生成式模型原理,熟悉Diffusion Models (DDPM/LDM)、GAN、VAE以及Transformer (ViT) 架构; 3. 熟练掌握PyTorch,熟悉Diffusers、Accelerate、DeepSpeed等主流训练与推理框架; 4. 熟悉Sora、Emu Video、SVD等视频生成架构,有时空注意力机制(Space-Time Attention)、DiT(Diffusion Transformer)训练调优经验者优先; 5. 对业务数据敏感,有搜推广(搜…
工作职责
1.生成模型研发: 负责高质量图像与视频生成模型的选型、训练与调优(如Stable Diffusion、DiT、Video Generation Models),针对业务需求开发可控生成方案(ControlNet、LoRA、Adapter),实现广告素材自动化生成、商品图智能设计等。 2.多模态理解与检索: 构建高性能的多模态理解与表征模型(CLIP、BLIP、MLLM),优化跨模态检索(Text-to-Image/Video Retrieval)和内容打标能力,赋能搜索相关性提升及推荐系统的多模态召回与排序。 3.业务场景落地: 深入理解搜推广业务,设计AIGC在广告创意优化、搜索结果增强(Generative Search)、短视频内容重组等场景的应用链路;建立A/B实验体系,对AIGC生成内容的点击率(CTR)、转化率(CVR)及用户留存负责。 4.数据与系统优化: 构建大规模高质量的图文/视频训练数据集与美学评分体系;与Infra团队配合,优化生成模型的推理延迟与吞吐(如Distillation、Quantization),确保在线服务的高并发稳定性。
1、生成模型研发: 负责高质量图像与视频生成模型、图像可控编辑模型的选型、训练与调优(如Stable Diffusion、DiT、Video Generation Models),针对业务需求开发可控生成方案(ControlNet、LoRA、Adapter),实现素材自动化生成、商品图智能设计等; 2、多模态理解与检索: 构建高性能的多模态理解与表征模型(CLIP、BLIP、MLLM),优化跨模态检索(Text-to-Image/Video Retrieval)和内容打标能力,赋能搜索相关性提升及推荐系统的多模态召回与排序; 3、业务场景落地: 深入理解搜广推业务,设计AIGC在广告创意优化、搜索结果增强(Generative Search)、短视频内容重组等场景的应用链路;建立A/B实验体系,对AIGC生成内容的点击率(CTR)、转化率(CVR)及用户留存负责; 4、在线Reward:通过创意在线投放的实时反馈作为reward,优化生成模型; 5、数据与系统优化: 构建大规模高质量的图文/视频训练数据集与美学评分体系;与Infra团队配合,优化生成模型的推理延迟与吞吐(如Distillation、Quantization),确保在线服务的高并发稳定性。
ꔷ 模型选型与评测:负责跟踪和深度评测业界前沿的Text/Image-to-3D模型(如混元、VAST、Meshy等),建立“文玩”品类的评测基准(Benchmark),从质量、速度、成本、可塑性等多维度输出评估报告,并参与制定技术共建方案。 ꔷ 训练框架搭建:主导或参与自建3D AIGC训练框架,实现SFT(监督微调)、PO(偏好优化)、RLHF以及模型蒸馏等全套“后训练”链路。 ꔷ 模型SFT与强化:深入“文玩”业务场景,构建高质量SFT数据集(如品类黑话、风格化),对底座模型进行微调,使其更懂品类。 ꔷ 可打印性优化:探索使用PO/RLHF技术,构建“高可打印性”偏好数据集,训练AIGC模型使其倾向于生成结构稳定、易于修复、符合制造标准的3D模型,构建核心数据与模型壁垒。 ꔷ 模型优化与部署: 负责3D生成模型的轻量化、蒸馏和加速,优化推理速度和成本,满足平台规模化应用需求。
介绍:团队致力于利用 AIGC 3D、柔性制造等颠覆性技术,重构设计与生产链路。在这里,你将直接参与攻克 3D 打印领域“纹理一致性”与“光照干扰”等行业难题,研究成果将直接转化为生产力,赋能千万级用户的创意实现。如果你热爱用 AI 重塑物理世界,渴望在 3D 打印与 AIGC 的交叉点创造奇迹,欢迎加入! 岗位职责: 1、全链路纹理生成: 负责构建从“单视图输入”到“高质量全彩纹理输出”的完整技术闭环,重点攻克复杂遮挡结构下的纹理驳杂与细节缺失难题,确保产出满足 3D 彩色打印及定制化手办生产的高标准一致性要求。 核心技术攻关: 主导基于体素颜色场的原生连续纹理建模以实现“内里着色”,研发具备光照解耦能力的生成模型以剔除阴影干扰,并设计针对百万级面片的高效 UV 展开算法,在秒级响应中实现效率与精度的最优平衡。 2、渲染与实物一致性: 深度融合 3D 打印工艺特性,通过算法消除数字模型与物理成品间的视觉落差,解决因光照残留导致的上色不均问题,确保定制产品在多视角下呈现高度一致的色彩还原度与工业级均匀度。 工程化与落地: 与产品及 3D 打印工程师紧密合作,将算法模型转化为高鲁棒性的工程模块,降低对多视角输入的依赖,持续优化推理性能以适配生产环境算力,推动 3D 纹理生成技术在高端个性化定制领域的规模化应用。