拼多多多模态大模型算法工程师
社招全职技术类地点：上海状态：招聘
任职要求
1、熟悉NLP领域的基础算法，了解Attention、Transformer、Bert、ChatGPT等基础NLP、LLM模型； 2、熟悉CV图像领域的基础算法，了解检测、分割、分类、理解、生成等领域的基础算法。如FastRCNN、YOLO、ResNet、Inception、VIT、SAM、VAE、GAN等； 3、熟悉多模态领域的基础算法，如CLIP、BLIP、Qwen-VL等，对模型原理有深入的了解； 4、熟悉常见的预训练、微调、后训练算法，上述技能能够深入其一即可； 5、熟悉python和数据结构，熟练使用Tensorflow或Pytorch等框架； 6、具有独立的分析问题、解决问题的能力，良好的团队合作精神； 7、有强烈的责任心，较好的学习能力，自驱能力和沟通能力。 加分项 1、有相关领域的顶会/期刊（如CVPR/ICCV/ECCV/NIPS/AAAI/KDD等）文章者优先； 2、有相关领域的比赛（如Kaggle等）获奖者优先，有较强的coding能力者优先（如ACM获奖者等）； 3、有大模型/多模态大模型部署推理优化经验者优先（如TensorRT加速、量化压缩等）。
工作职责
1、负责多模态大模型基础模型研发，构建电商领域图像、文本多模态大模型基座，持续保持领域大模型的领先性； 2、推进多模态大模型的业务应用：持续建设和优化领域预训练、微调、后训练、模型评估等算法迭代，提升业务天花板； 3、推进图像、NLP、多模态大模型在搜索、推荐、广告领域全链路算法的落地：改进召回、粗排、精排、重排、相关性等漏斗效率；以及相关技术在生成式推荐领域的尝试和落地； 4、推进图像、多模态大模型在图像搜索、同款识别、比价技术等领域的落地，改善图像搜索的用户体验，通过技术创新为用户创造更大的价值； 5、推进大模型/多模态大模型在电商 AI搜索场景的落地。
包括英文材料
NLP+
https://www.youtube.com/watch?v=fNxaJsNG3-s&list=PLQY2H8rRoyvzDbLUZkbudP-MFQZwNmU4S
Welcome to Zero to Hero for Natural Language Processing using TensorFlow!
https://www.youtube.com/watch?v=R-AG4-qZs1A&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX
Natural Language Processing tutorial for beginners series in Python.
https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
The foundations of the effective modern methods for deep learning applied to NLP.
算法+
https://roadmap.sh/datastructures-and-algorithms
Step by step guide to learn Data Structures and Algorithms in 2025
https://www.hellointerview.com/learn/code
A visual guide to the most important patterns and approaches for the coding interview.
https://www.w3schools.com/dsa/
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
BERT+
https://www.youtube.com/watch?v=xI0HHN5XKDo
Understand the BERT Transformer in and out.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
数据结构+
https://www.youtube.com/watch?v=8hly31xKli0
In this course you will learn about algorithms and data structures, two of the fundamental topics in computer science.
https://www.youtube.com/watch?v=B31LgI4Y4DQ
Learn about data structures in this comprehensive course. We will be implementing these data structures in C or C++.
https://www.youtube.com/watch?v=CBYHwZcbD-s
Data Structures and Algorithms full course tutorial java
TensorFlow+
https://www.youtube.com/watch?v=tpCFfeUEGs8
Ready to learn the fundamentals of TensorFlow and deep learning with Python? Well, you’ve come to the right place.
https://www.youtube.com/watch?v=ZUKz4125WNI
This part continues right where part one left off so get that Google Colab window open and get ready to write plenty more TensorFlow code.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
CVPR+
https://cvpr.thecvf.com/
ICCV+
https://iccv.thecvf.com/
ICCV is the premier international computer vision event comprising the main conference and several co-located workshops and tutorials.
ECCV+
https://eccv.ecva.net/
ECCV is the official event under the European Computer Vision Association and is biannual on even numbered years.
NeurIPS+
https://neurips.cc/
Kaggle+
[英文] Kaggle Learn
https://www.kaggle.com/learn
Gain the skills you need to do independent data science projects.
TensorRT+
https://docs.nvidia.com/deeplearning/tensorrt/latest/getting-started/quick-start-guide.html
This TensorRT Quick Start Guide is a starting point for developers who want to try out the TensorRT SDK; specifically, it demonstrates how to quickly construct an application to run inference on a TensorRT engine.
相关职位
社招5年以上A231501
1. 负责生态链产品大模型算法研发，主要是基于基座模型的finetune和应用 2. 负责大模型算法落地应用，包括IPC、智能门锁、智能音箱等场景，与产品和工程紧密配合，将大模型算法在能产生用户价值的场景中进行落地 3. 大模型算法部署和小型化研究，适配低成本和低算力设备 4. 可能会参与传统深度学习模型的研发和落地
更新于 2024-10-28
校招J1007
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
更新于 2025-08-15
社招
1. 负责多模态大模型数据构建、模型训练、模型自动化评测构建等工作。 2. 全方面提升多模态大模型通用、车端、具身性能。 3. 跟进大模型前沿工作
更新于 2025-07-04
社招
1. 探索研究多模态理解、生成式AI、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2. 探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable Oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 3. 探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建GUI/游戏等虚拟世界的通用多模态Agent； 4. 利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。
更新于 2025-03-04