
商汤26届AI领航员-IAG智能座舱-多模态大模型研究员
校招全职算法研究类地点:北京 | 上海状态:招聘
任职要求
1. 计算机、人工智能等相关专业硕士或者博士,需有扎实数学基础; 2. 精通一种深度学习框架,熟悉主流多模态大模型,包括不限于熟悉大语言模型(如GPT、Llama等)或多模态模型(GPT4V、Gemini等)的基本原理和训练测试方法、熟悉大模型的优化、方案架构与prompt工程等; 3. 具备科研、创新思维,能解决复杂技术难题,有良好团队协作、沟通及学习能力,对该领域充满热情并关注行业动态。
工作职责
1. 业务研发:负责智能车舱多模态大型模型的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究大模型领域的前沿技术和趋势,为项目提供技术支持; 2. 模型优化:协同算法、数据团队,把研究成果转化为实用模型,负责架构设计、参数配置及训练流程搭建。运用深度学习框架(如PyTorch、huggingface库、deepspeed)训练、优化模型,依实验结果调整参数与策略,利用评估工具分析模型表现,提出改进措施; 3. 数据管线:收集、整理、标注多模态数据,构建高质量数据集,为模型训练打基础。对数据清洗、归一化、提取特征,提升数据质量与训练效率。参与制定数据存储、备份及安全策略,保障数据安全与可访问; 4. 算法研究:密切追踪多模态大模型前沿技术,定期撰写分析报告,为团队决策提供战略依据。开展创新研究,探索新架构、算法,钻研多模态数据融合等难题,实验验证以推动技术突破,提升模型对多模态数据处理的性能与泛化力。
包括英文材料
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
GPT+
https://www.youtube.com/watch?v=kCc8FmEb1nY
We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3.
Llama+
https://github.com/LlamaFamily/Llama-Chinese
Llama中文社区,实时汇总最新Llama学习资料,构建最好的中文Llama大模型开源生态,完全开源可商用。
https://www.llama.com/docs/overview/
This guide provides information and resources to help you set up Llama including how to access the model, hosting, how-to and integration guides.
Prompt+
https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/introduction-prompt-design
A prompt is a natural language request submitted to a language model to receive a response back.
https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/prompt-engineering
These techniques aren't recommended for reasoning models like gpt-5 and o-series models.
https://www.youtube.com/watch?v=LWiMwhDZ9as
Learn and master the fundamentals of Prompt Engineering and LLMs with this 5-HOUR Prompt Engineering Crash Course!
相关职位

校招算法研究类
1. 聚焦智能驾驶世界模型全链路研发,构建支撑端到端强化学习的核心能力: 2. 模型全生命周期开发:主导自动驾驶世界模型的架构设计、训练策略制定及多维度评估体系搭建,确保模型输出满足端到端 RL 训练的时序一致性与状态表征精度要求。
更新于 2025-08-11

校招算法研究类
1、参与智能驾驶端到端模型的开发工作,包括但不限于数据处理、模型设计、训练和优化等环节,提升模型在复杂交通场景下的感知、决策和控制能力; 2、结合实际业务需求,对端到端模型进行针对性的优化和调整,确保模型能够准确、高效地处理智能驾驶中的各种任务,如目标检测、车道线识别、行为预测等; 3、参与两段式端到端业务和一端式端到端业务的探索和实践,深入了解不同业务模式的特点和需求,为团队在业务模式选择和优化方面提供有价值的见解和建议;
更新于 2025-08-13

校招算法研究
1、参与端到端自动驾驶规控算法开发; 2、调研前沿的端到端自动驾驶规控算法; 3、对算法模块性能进行调优,提高运行效率; 4、优化代码鲁棒性,确保算法在各种环境下的安全运行。
更新于 2025-08-13