夸克算法工程师-VLM训练
任职要求
1. 编程实力：精通 Python / C++ 等，熟悉深度学习主流框架（如 PyTorch）、混合精度、分布式训练与部署。 2. 多模态功底：在计算机视觉、跨模态理解或通用 AI 领域具备扎实的研究与落地经验。 3. 大模型经验：主导或深度参与过 >10B 参数模型的训练 / 推理优化，并产生显著业务影响。 4. 科研视野：在 ACL、CVPR、NeurIPS、ICLR 等顶会发表论文者优先。 5. 快速迭代：对新技术保持敏锐，能在未知领域迅速学习、实验并产品化。 6. AGI 信仰：对多模态智能与 AGI 未来充满热情和好奇。
工作职责
1. 跨模态长程预训练：设计并实现文本、图像、视频等多模态对齐与融合的长程训练策略，操控万卡级 GPU 集群，协同 Pretrain / CPT / SFT / RLVR / RLHF 全链路，对超大参数基座模型进行高效分布式优化。 2. 前沿技术攻坚：深入探索 MoE 稀疏化、训练算法与对齐范式创新、可解释性与质量监控、多模态推理、mRAG、百万 Token 级长文处理、Agent&工具链机制等底层原理与技术。 3. 高性能训练框架持续升级：与系统团队共建张量并行、流水并行、混合精度等高性能训练框架，持续提升训练吞吐与稳定性。 4. 学术与行业影响力打造：快速跟踪 NeurIPS / CVPR / ACL 等顶会成果及开源项目，输出专利与论文，树立行业技术标杆 5. 高速驱动夸克AI相关业务：赋能夸克 AI 相机、AI 搜索·深度思考、DeepResearch、创意写作、AI 助手等核心产品，实现多模态能力的快速迭代与落地。 加入我们，你将获得 1. 顶尖资源：与行业专家并肩作战，万卡算力与海量数据随手可用，持续挑战技术天花板。 2. 高速成长：极具竞争力的薪酬福利与纯粹的工程师文化，为你的职业加速。 3. 时代机遇：亲历 AGI 关键技术的诞生与规模化应用，在智能时代留下你的名字。 如果你渴望驰骋于大模型与 AGI 的蓝海，这里就是你的最佳舞台。立即加入我们，共创智能新时代！
VLM模型方向： -负责基于VLM开源大模型与自动驾驶领域结合的专用自动驾驶VLM模型设计与实现,实现对复杂场景语义理解，给出决策语义或者行为语义； -负责对应模型调研、设计、研发与落地等工作，包含服务端大模型与车端小模型。 VLM数据闭环方向： -负责VLM模型训练与评价需要的数据爬取、挖掘、自动标注等核心算法工作； -使用业界大模型进行数据生成、标注等的训练、评价数据获取相关核心算法工作。
VLM模型方向： -负责基于VLM开源大模型与自动驾驶领域结合的专用自动驾驶VLM模型设计与实现,实现对复杂场景语义理解，给出决策语义或者行为语义； -负责对应模型调研、设计、研发与落地等工作，包含服务端大模型与车端小模型。 VLM数据闭环方向： -负责VLM模型训练与评价需要的数据爬取、挖掘、自动标注等核心算法工作； -使用业界大模型进行数据生成、标注等的训练、评价数据获取相关核心算法工作。
* 基于 Vision-Language Models (VLM) 和 Large Language Models (LLM)，设计与实现自动驾驶中行为预测与运动规划的基座模型（Foundation Model） * 利用多模态预训练大模型进行轨迹生成与融合，提升基座模型对其他交通参与者意图的理解与预测能力 * 针对车端／云端部署，开展模型算法层面性能优化工作，例如压缩、剪枝、蒸馏、训练和推理加速等，确保模型可用性、系统实时性与资源利用率 * 与算法、软件和系统团队紧密协作，推动模型集成及在仿真与真实车载平台的落地
我们致力于构建支持通用人工智能发展的高质量、多模态大规模训练数据集，服务于图像、视频、文本等复杂模态融合下的大模型研发。该岗位将主导多模态数据基础设施的设计、处理流程的智能化优化，并深度参与高价值数据（如推理类任务数据、领域权威知识数据）的构建与增强，为模型的理解力、泛化能力与推理能力提供坚实数据支撑。 你将与算法工程师、数据产品经理紧密合作，共同推动数据与模型的正反馈闭环，包括数据构建策略共创、实验验证、产品化数据标准制定等，在万卡集群的充足算力支持下，实现“数据即能力”的宏大目标。 主要职责： 1.设计与维护高扩展性、多模态数据基础设施 支持图像、视频、文本等模态数据的高效采集、存储、调度与版本化管理，满足大模型多轮训练与快速迭代需求。 2.构建推理能力导向的数据集 主导构建具备复杂因果关系、长链思维、多跳推理、模态融合推理、多语言对齐推理等能力评估或训练所需的数据集，服务大模型“理解-生成-决策”闭环。 3.高性能并行数据处理优化 在CPU/GPU集群或分布式环境中优化大规模图像/视频/文本混合数据的处理性能，提升数据准备效率与稳定性。 4.构建可视化与分析工具，辅助数据理解与反馈闭环 实现多模态数据分布可视化、异常聚类检测与质量诊断，服务于模型训练前/中/后的数据决策优化。 5.与算法工程师深度协同，提升模型性能与数据对齐度 基于模型效果与损失分析，共同制定数据增强策略、采样分布设计、多轮训练数据构造方法，实现数据与模型迭代的高效协同。 6.与数据产品团队合作，推进数据标准化与平台化建设 参与数据标签体系、任务定义、多模态对齐协议等的标准制定，推动数据处理工具、标注平台、数据质量评估体系的产品化落地。