小米自动驾驶 - 大模型训练框架优化专家
任职要求
1. 本科及以上学历,扎实的编程基础(Python/C++)与良好的工程习惯 2. 精通深度学习框架底层原理(PyTorch 核心机制如Torch.Compile, Autograd、TorchScript, XLA), 3. 熟悉分布式训练框架(Horovod、Megatron-LM、DeepSpe…
工作职责
1. 负责分析和优化大模型的分布式训练链路,提升训练性能和效率; 2. 对大模型训练优化技术展开研究,并落地到自动驾驶; 3. 负责推进训练框架和AI平台的结合,建立先进的训练调度机制、集群算力利用率评估机制等。
你将加入PAI平台团队,负责面向各类AI应用场景的模型训练与推理性能优化工作。该岗位聚焦于AI计算性能与系统效率的极致提升,以多层次优化手段,持续提升模型训练与推理的速度、稳定性与资源利用率,具体工作内容包含但不限于: ● 分析客户模型在不同硬件(GPU、NPU、CPU 等)和集群环境中的性能瓶颈,制定优化方案; ● 对主流深度学习框架(如 PyTorch、TensorFlow、JAX 等)进行算子、内核或图优化; ● 深入理解分布式训练架构(如数据并行、模型并行、流水并行等),优化通信与调度性能; ● 在推理端负责模型性能瓶颈分析,并进行量化、剪枝、融合、TensorRT/ONNX Runtime 等优化; ● 与平台团队协作,优化训练任务调度、算力利用、容器化运行效率以及多租户资源隔离; ● 支持重点客户模型性能调优,提供端到端性能优化方案与技术支持。
研发面向自动驾驶场景的大规模预训练模型架构,探索多模态数据(视觉、文本等)的融合预训练方法 构建自动驾驶领域专属的预训练模型,提升感知、预测、决策等模块的泛化能力和长尾场景处理能力 设计和优化千亿参数级模型的分布式训练框架,解决自动驾驶数据异构性、时序关联性等场景特有问题 研发高效的预训练数据清洗、标注增强及自动化评估体系 探索模型压缩、知识蒸馏等技术在车载计算平台的落地应用 跟踪大模型领域前沿技术,推动LLM/VLM与自动驾驶系统的创新性结合
1. 负责研发和实现自动驾驶系统中端到端大模型的算法,涵盖多模态、大规模数据等领域的算法优化; 2. 参与自动驾驶系统的全流程算法开发,提升模型在复杂场景下的泛化能力和实时性; 3. 推动大模型在云端与车端平台的无缝协同,确保高效的推理与部署; 4. 持续跟踪和研究大模型和人工智能领域的最新进展,探索新技术在自动驾驶中的创新应用; 5. 参与跨团队的技术交流与合作,确保研发成果的高效应用与落地。
