商汤26届AI领航员-研究院-多模态理解基础模型
校招全职算法研究类地点：北京 | 上海 | 深圳状态：招聘
任职要求
背景扎实： 计算机科学、人工智能、电子工程、自动化等相关专业硕士或博士，学术基础优异（特别优秀的本科生亦可考虑）。 编程高手： 具备扎实的编程能力，精通 Python，并熟练掌握至少一种主流深度学习框架（PyTorch 优先）。 理论深厚： 熟悉机器学习、深度学习基础理论，对 Transformer、CNN、RNN 等模型有深刻理解。 领域经验： 对以下至少一个领域有深入研究或项目经验： 自然语言处理（NLP）：特别是大语言模型（LLMs）的预训练、微调等。 计算机视觉（CV）：熟悉图像识别、目标检测、分割等任务。 多模态学习（Multimodal Learning）：了解或…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
前沿探索： 跟踪和研究多模态学习、大语言模型（LLMs）、视觉基础模型等领域的最新进展（如 Transformer、Diffusion Models、VLP等）。 模型构建： 参与多模态基础模型的核心架构设计与实现，探索如何高效融合文本、图像、音频等多源信息。 能力攻坚： 重点攻克并提升模型在特定维度的基础能力，包括但不限于： 视觉文本理解： 提升复杂场景下的文字识别（Scene Text Recognition）与光学字符识别（OCR）的精度和鲁棒性。 布局与结构感知： 让模型理解文档、网页、UI界面的布局结构，实现精准的信息提取与问答。 空间关系推理： 训练模型理解图像/视频中物体之间的方位、遮挡、从属等空间关系。 实验与优化： 设计和执行大规模的深度学习实验，对模型进行训练、评估和迭代优化，并分析实验结果，沉淀技术方案。 协作共创： 与团队中的顶尖科学家和资深工程师紧密合作，共同解决研究与工程中的挑战。
包括英文材料
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
机器学习+
https://www.youtube.com/watch?v=0oyDqO8PjIg
Learn about machine learning and AI with this comprehensive 11-hour course from @LunarTech_ai.
https://www.youtube.com/watch?v=i_LwzRVP7bg
Learn Machine Learning in a way that is accessible to absolute beginners.
https://www.youtube.com/watch?v=NWONeJKn6kc
Learn the theory and practical application of machine learning concepts in this comprehensive course for beginners.
https://www.youtube.com/watch?v=PcbuKRNtCUc
Learn about all the most important concepts and terms related to machine learning and AI.
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
CNN+
https://learnopencv.com/understanding-convolutional-neural-networks-cnn/
Convolutional Neural Network (CNN) forms the basis of computer vision and image processing.
[英文] CNN Explainer
https://poloclub.github.io/cnn-explainer/
Learn Convolutional Neural Network (CNN) in your browser!
https://www.deeplearningbook.org/contents/convnets.html
Convolutional networks(LeCun, 1989), also known as convolutional neuralnetworks, or CNNs, are a specialized kind of neural network for processing data.
https://www.youtube.com/watch?v=2xqkSUhmmXU
MIT Introduction to Deep Learning 6.S191: Lecture 3 Convolutional Neural Networks for Computer Vision
RNN+
https://d2l.ai/chapter_recurrent-neural-networks/rnn.html
A neural network that uses recurrent computation for hidden states is called a recurrent neural network (RNN).
https://www.deeplearningbook.org/contents/rnn.html
Recurrent neural networks, or RNNs (Rumelhart et al., 1986a), are a family of neural networks for processing sequential data.
https://www.ibm.com/think/topics/recurrent-neural-networks
A recurrent neural network or RNN is a deep neural network trained on sequential or time series data to create a machine learning (ML) model that can make sequential predictions or conclusions based on sequential inputs.
NLP+
https://www.youtube.com/watch?v=fNxaJsNG3-s&list=PLQY2H8rRoyvzDbLUZkbudP-MFQZwNmU4S
Welcome to Zero to Hero for Natural Language Processing using TensorFlow!
https://www.youtube.com/watch?v=R-AG4-qZs1A&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX
Natural Language Processing tutorial for beginners series in Python.
https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
The foundations of the effective modern methods for deep learning applied to NLP.
还有更多 •••
相关职位
校招算法研究类
我们相信潜力比经验更重要，但坚实的基础是潜力的基石。 扎实的理论基础： 计算机科学、人工智能、电子工程等相关专业在读硕士或博士生，对机器学习、深度学习有深入理解，熟悉Transformer等核心模型。 出色的编程能力： 精通Python，并熟练掌握至少一种主流深度学习框架（PyTorch优先）。具备良好的代码风格和工程素养。 强烈的探索精神： 对AI前沿技术有浓厚兴趣和热情，具备优秀的分析与解决问题的能力，能够独立思考并开展研究工作。 优秀的自驱与沟通： 具备强大的自驱力，能够快速学习新知识；同时拥有良好的沟通能力和团队协作精神。
更新于 2025-08-20北京|上海|深圳
校招算法研究类
1. 多模态理解与生成算法研究： 紧跟领域前沿，深入研究多模态（图像、文本、视频）的理解与生成统一的核心算法； 2. 模型设计与优化： 负责多模态理解与生成模型的设计、训练、评估和优化，不断提升模型性能和泛化能力； 3. 创新技术探索： 探索新的预训练和后训练范式，发现和解决大模型靠单一模态难以解决的问题。
更新于 2025-08-21北京|上海|深圳
校招算法研究类
工作职责【岗位职责】 你将有机会参与以下一个或多个前沿方向的研究与开发： 多模态统一模型： 参与多模态大模型（文本、语音、图像等）的前沿研究，探索生成与理解任务的统一框架，以及高效的多模态联合学习方法。 个性化对话系统： 设计并实现更具“人性”的对话系统，重点攻克长期记忆、持续学习和情境感知等关键技术，让AI能够记住与你的每一次互动。 强化学习与交互策略： 将强化学习（RL）算法创新性地应用于语音/音频相关的多模态任务中，通过与环境或用户的交互，自主优化AI的决策与沟通策略。 语音智能体（Voice Agent）： 参与构建具备主动交互与复杂任务规划能力的语音Agent，使其不仅能“听懂”，更能“思考”和“行动”，完成多轮、跨领域的复杂指令。 前沿技术探索： 跟踪NeurIPS, ICML, ICLR, ACL等顶会的前沿进展，快速复现、验证并改进相关算法，推动技术落地
更新于 2025-08-21上海
校招算法研究类
作为项目的核心成员，你将不仅仅是执行任务，更是与我们一同探索未知。 具体职责包括： 前沿探索： 追踪并复现NeurIPS, ICML, ICLR, CVPR等顶会中关于多模态、Agentic AI、强化学习等方向的最新研究成果。 算法实现： 参与设计与实现创新的多模态融合、任务规划、工具学习、记忆与反思等核心算法模型。 实验与分析： 设计并执行大规模的AI实验，通过严谨的数据分析来验证假设、评估模型性能，并提出富有洞见的改进方向。 系统构建： 参与构建和优化项目的数据集、评测基准（Benchmark）以及Agent的执行环境。 思想碰撞： 与团队成员紧密合作，积极参与每周的技术讨论会和头脑风暴，贡献你的奇思妙想。
更新于 2025-08-20北京|上海|深圳