腾讯机器学习平台调度工程师(北京/深圳)
任职要求
1.熟练掌握Go/Python/C++至少一门编程语言,精通数据结构和算法,具备扎实的编程基础和问题解决能力; 2.熟悉Kubernetes核心组件(调度器/网络/存储)、容器运行时及CRD开发,具备丰富的大规模集群调优经验,能够有效应对复杂环境下的调度需求; 3.具备OpenMP/MPI/RDMA高性能计算开发经验,熟悉并行计算原理及优化技巧,能够提升大规模训练任务的执行效率; 4.熟悉主流AI框架(Pytorch/TensorFlow等)及训练加速技术(算子优化/显存管理),能够针对AI任务进行深度优化。
工作职责
1.主导万卡级GPU集群的全局资源调度,通过精细化管理和优化策略,显著提升资源利用率,确保离线和在线任务的高效稳定运行; 2.深入优化RDMA高速网络、分布式存储与计算资源的协同调度,有效解决大规模训练任务中的性能瓶颈,提升整体计算效率; 3.基于Kubernetes、Docker等云原生技术,构建高可用调度框架,全面支持分布式训练框架,实现任务编排、容灾与混部能力,并深入K8s调度器、CSI插件及CRD的开发,推动大规模训推技术的实际落地; 4.积极探索混合云、虚拟化、ARM异构计算等前沿方向,不断推动技术与平台能力的升级和创新。
1.负责机器人导航定位算法研发,包括卫星导航、视觉或激光SLAM、组合导航; 2.负责机器人视觉建图与渲染、全局视觉定位算法研发,包括视觉特征检测与匹配、相机姿态估计、多视几何重建、稠密点云重建、神经场渲染; 3.负责机器人控制、规划与调度算法研发; 4.负责机器人算法在嵌入式平台加速与优化; 5.负责机器人无线通信算法研发;6.负责机器人电机驱动算法研发; 7.负责低空物流无人配送领域机器学习、数据挖掘、仿真建模算法研发。
1. 构建AI云推理架构: 探索PD分离、KV池化、通信优化等技术,设计并实现适用于AI原生的分布式推理服务架构,应对高并发、低延迟挑战; 2. 开发核心推理平台能力: 打造AI原生网关及高可用系统,核心技术点包括但不限于:异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等; 3. 参与推理全栈应用实践: 积极涉足推理服务上下游应用开发,如构建RAG(检索增强生成)系统、探索提示词工程优化实践、参与AI模型市场(MCP)建设或AIGC应用落地等。
1. 自动驾驶数据建模 - 设计多源异构数据的数仓分层模型(ODS/DWD/DWS/ADS),支撑感知、预测等算法训练; - 设计支持相似性检索的数仓分层(ADS层集成VectorDB特性); - 构建数据血缘与元数据管理体系,保障数据可追溯性; - 构建多模态数据的统一向量化标准(图像/点云/文本的Embedding规范)。 2. 大规模数据处理开发 - 开发高可靠ETL流程,处理车载传感器原始数据(摄像头/LiDAR/GPS等); - 基于Spark/Flink优化数据清洗、转换、聚合任务,提升云端处理效能; - 开发多模态Embedding流水线(CV/NLP模型的分布式特征提取); - 基于VLM(视觉语言模型)自动生成数据标签(替代人工标注); - 构建驾驶场景语义索引系统(支持“极端天气”“危险变道”等语义检索)。 3. 分析平台建设 - 搭建数据湖仓一体架构(Paimon/Iceberg + Doris/StarRocks); - 搭建海量特征向量数据库(Milvus/Pinecone/自研引擎); - 开发BI可视化看板,监控数据质量及自动驾驶关键指标(生产折损率,感知准确率、干预率等); - 开发多模态检索接口(如根据文本描述搜索关联驾驶场景视频)。 4. 效率优化 - 持续优化数据存储成本与计算性能(分区策略/压缩算法/计算资源调度); - 探索弹性伸缩,流批一体,存算分离等架构在实时数据处理场景的应用。