腾讯大模型管线数据工程师(深圳/北京)
任职要求
1.本科/硕士及以上学历,有大模型管线架构、优化、存储等全链路万亿级数据计算存储经验; 2.精通 Python/C++/Java 中至少一种,有良好工程化编码能力与测试习惯; 3.熟悉端到端数据管线、数据版本控制、数据血缘与可观测性(例如 DVC、ML…
工作职责
1.面向大模型预训练、后训练数据管线,设计并实现高效的数据处理平台。单管线上,通过算子编排形成数据计算、存储、一体化符合大模型训练的管线平台,平台级别上,通过存储、计算优化实现平台产能提升; 2.计算方向,提升平台级别计算效率,通过海量数据、任务、资源、合理化系统设计,抽象,对各个可编排算子的合并、拆分,达成易用性和计算性能平衡。对热点的算子,考虑单点优化以及公共服务的方式达到平台级性能提升; 3.存储方向,构建服务于整个预训练和后训练的dataset,优化海量存储管理与访问方案(对象存储分层、冷热分层、缓存策略、数据压缩与列式格式优化、读写并发控制、成本与生命周期管理); 4.编写技术文档、最佳实践与性能评估报告,推动能力沉淀与工具链升级。
1.多模态数据管线建设:设计并实现面向大模型训练与推理的多模态数据处理与构建管线,覆盖图像、视频、音频、文本、3D 及多模态理解等数据类型,支撑预训练、后训练(SFT / RLHF / Preference)及评测数据构建; 2.大规模数据工程与系统建设:构建高可靠、可扩展的数据处理系统,支持 TB / PB 级数据规模,负责批处理与流式处理任务的工程实现,参与或主导分布式并行计算(CPU / GPU 混合)的工程落地; 3.数据质量与稳定性保障:建立数据校验与质量评估机制,覆盖数据完整性、一致性、分布异常与质量回归等场景,设计并推动数据处理链路的监控与异常治理; 4.数据资产化与标准化建设:推动多模态数据结构的标准化设计,建设数据元信息、版本管理与可追溯机制,提升数据的可复用性与长期资产价值; 5.跨团队协作与需求落地:与算法、模型、平台等团队深度协作,将模型需求与业务目标转化为可落地的数据工程方案,参与复杂数据问题的拆解、方案设计与推进落地。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
【关于机器人中心】小鹏机器人中心专注于构建面向未来的人形机器人系统,融合先进的人工智能(AI)、控制、机械与系统工程,打造能感知、理解、操作并能和现实世界进行交互的下一代机器人。 【关于团队】该部门承担前沿智能方法的预研工作,专注于实现机器人三大核心智能能力:自主移动(导航)、灵巧操作和人机交互。我们深入布局大语言模型(LLM)、多模态视觉语言模型(VLM)和视觉语言行动模型(VLA),实现全流程自研,推动机器人从感知到决策的全面智能化落地。团队成员遍布深圳、上海和美国硅谷,聚集了世界一流的科研与工程人才,致力于将大模型技术真正落地到复杂、动态的物理环境中。在这里,你将:与来自 AI、机器人硬件、控制等领域的优秀工程师合作;参与推动 LLM/VLM/VLA 与机器人智能体的融合;构建能够自主学习与进化的“具身智能体”。 - 负责视频-文本预训练:时空Transformer、Tubelet/patch 合并、时间位置编码、MRoPE/旋转位置等。 - 设计与实现视频采样与多尺度时空建模策略(clip/window、stride、动态帧采样)。 - 构建高效数据流水线:海量视频去重、切分、对齐、字幕/ASR/视觉caption融合与噪声治理。 - 联合训练与蒸馏:多任务(检索/QA/字幕/动作),长上下文与低延迟解码优化。 - 与平台团队协作,优化分布式训练(FSDP/DP+TP/PP、混精度、异构存储与缓存)。