小鹏汽车【26届校招】大语言模型数据算法工程师
任职要求
1. 计算机、人工智能、自动化等相关专业硕士及以上学历。 2. 具备处理和构建LLM数据集的实际经验，熟悉LLM领域常用数据集（如DCLM、Fineweb等），掌握常用的数据处理与清洗方法。 3. 熟悉Transformer、GPT系列、LLaMA、GLM等主流模型架构，深入理解训练数据在模型训练中的作用与影响。 4. 熟练掌握Python编程语言，熟练使用PyTorch深度学习框架，具备扎实的工程能力与良好的代码习惯。 5. 思维开放，善于沟通，能够与算法、硬件及系统团队高效协作，最大化数据的业务价值。 加分项 1. 参与或主导过LLM预训练或后训练阶段的实际项目，熟悉从数据处理到模型迭代的完整链路。 2. 具备大规模数据处理框架（如datatrove）的实际经验，处理过Trillion级别以上的数据集。 3. 具备使用大模型进行大规模数据合成的相关经验。
工作职责
我们正在寻找对大语言模型(Large Language Model,LLM)充满热情的数据算法工程师,加入我们的核心AI团队。你将主要负责LLM高质量与大规模数据的采集与处理，并参与从LLM预训练、微调、推理优化到多场景应用落地的全流程工作，推动LLM技术在对话系统、内容生成、知识推理、具身智能等领域的创新 1. 主导LLM数据的采集和处理，搭建高效的数据处理 Pipeline，实现从海量原始数据到可直接驱动模型训练的高质量数据的转化。 2. 打造并优化数据平台的核心模块（包括处理、标注、对齐、存储与可视化），确保数据的可追溯性与可验证性。 3. 参与大模型从预训练到后训练的全链路流程，深入分析模型对数据的敏感点，通过数据迭代持续提升模型能力。 4. 紧跟全球前沿技术动态，研究并引入最新的数据集与标准，将优秀的开源经验转化为团队的核心优势，持续扩展数据版图。
1、参与自动驾驶系统中多模态大模型算法的研究、开发与优化，包括但不限于世界模型、端到端感知大模型、VLA大模型、多模态视觉语言大模型、离线数据算法大模型等方面的应用； 2、负责设计实现不同领域应用的多模态大模型架构，对模型进行迭代优化，以车端模型/数据产线模型量产为主要目标； 3、设计和实现多模态大模型的训练流程，包括选择合适的优化算法、调整超参数、评估模型性能等，确保模型在不同场景下的稳定性和可靠性； 4、针对多模态大模型模型进行车端/云端部署，能够让模型在大规模量产场景下高效运行，产生业务价值； 5、针对多模态大模型进行训练效率优化，实现训练提效。
我们正在寻找对大语言模型（LLM）的底层原理、性能优化和高效预训练充满热情的顶级算法工程师。您将加入我们的核心研发团队，主要负责LLM预训练阶段的算法设计、优化与实现，包括模型架构的探索、训练稳定性的提升、大规模分布式训练的优化等。我们的目标是基于业务需求，设计并训练对硬件计算友好的语言模型，从根本上突破模型的性能和训练效率极限，加速LLM在人形机器人、自动驾驶、多模态等前沿领域的落地。 工作职责： 1. LLM预训练算法研发与实现： 主导1~7B参数级别的Dense以及MoE Transformer模型以及其他前沿架构在预训练阶段的设计、实验与优化，以提升模型的基础能力和效率。 2. 基准测试与性能优化： 负责模型训练过程中的关键性能指标监测与优化，特别是MMLU, GSM8K, MATH等常见标准化测试的表现。通过算法迭代，持续提高模型在理解、推理和泛化能力方面的分数。 3. 训练稳定性与效率提升： 负责分析和解决超大规模训练过程中的数值不稳定、梯度爆炸/消失等问题，引入和实现如混合精度训练、梯度裁剪、学习率调度等优化策略。 4. 前沿技术追踪与转化： 紧密追踪全球LLM预训练、Scaling Law、新型优化器（如AdamW、Lion）等最新研究进展，评估并将业界顶尖的算法创新快速转化为我们的核心竞争力。 5. 跨团队协作： 与数据工程师紧密合作，分析数据对预训练效果的影响，并与系统/硬件工程师协作，共同调优底层计算资源以实现最高训练吞吐。
1.参与自动驾驶系统中机器学习算法的研究、开发与优化，包括但不限于深度学习算法在端到端感知大模型、规控大模型、视觉语言大模型等方面的应用； 2.负责收集、整理和分析自动驾驶相关的数据集，进行数据预处理和标注，以提高模型的准确性和泛化能力； 3.设计和实现机器学习模型的训练流程，包括选择合适的优化算法、调整超参数、评估模型性能等，确保模型在不同场景下的稳定性和可靠性。
1. 算法开发与优化： 负责自动驾驶模型算法的研发设计，包括但不限于行为决策、轨迹生成、运动规划等模块的深度学习/强化学习模型设计 探索基于Transformer、模仿学习（Imitation Learning）、强化学习（RL）等前沿技术的模型算法设计、应用方案 优化自动驾驶算法的实时性、安全性和舒适性，解决复杂场景（如拥堵、交互博弈、长尾问题）下的规划挑战 2.数据驱动迭代： 构建和利用大规模驾驶数据集（仿真+真实数据），设计数据闭环 pipeline 提升规划性能 参与数据标注、场景挖掘、仿真测试等环节，推动算法迭代 3.系统集成与部署： 与感知、控制等模块团队协作，实现模型算法在车载计算平台的部署 支持实车测试，分析问题并提出改进方案 4.前沿技术跟踪： 跟进学术界（如CVPR、ICRA、CoRL、IROS等）和工业界最新进展，将创新技术落地到量产或研发项目中