logo of dji

大疆高级大数据开发工程师(飞行系统)

社招全职5年以上软件地点:深圳 | 上海状态:招聘

任职要求


1. 基础要求:
- 5年以上后端开发经验,精通 Go/Python/Java,熟悉分布式系统设计模式
- 熟练掌握 云计算基础设施(AWS/Azure/GCP),容器化技术(Docker/K8s),消息队列Kafka/Pulsar)
- 精通至少一种分布式存储方案(如MinIO, HDFS, S3)及数据库(PostgreSQL, Cassandra)
2. 领域能力:
- 有数据管道开发经验:使用Airflow/Luigi/Kubeflow等构建E…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1. 数据闭环系统开发
-设计并实现设备端→云端数据自动化上传管道,支持TB级无人机数据(传感器日志、RGB/红外影像、LiDAR点云)的稳定传输与断点续传
-开发云上数据存储与治理模块,构建冷热分级存储策略(如对象存储+分布式数据库),实现数据版本化管理与元数据索引
2. 自动化处理流水线
-搭建数据解析与预处理框架,自动解析飞控日志、传感器数据,提取关键字段(GPS轨迹、电池状态、异常事件)开发自动化标注计算流:集成CV模型(如检测/分害)生成预标注结果,设计人工质检协同工具,提升标注效率
3. SLA监测与运维
-建立全链路SLA监控系统,跟踪数据上传延迟、处理吞吐量、标注准确率等核心指标,实现异常实时告警与根因定位
-优化系统性能,保障服务可用性,数据处理延迟
4. 工具链与协作
-开发数据闭环开发者工具链(CLI/SDK),支持算法团队按需触发数据处理、标注任务
-与前端/算法团队协作,定义数据接口规范与状态同步机制。
包括英文材料
后端开发+
Go+
Python+
Java+
分布式系统+
设计模式+
AWS+
Azure+
Docker+
Kubernetes+
消息队列+
Kafka+
Pulsar+
还有更多 •••
相关职位

logo of mi
社招8年以上A140743

1、负责国际BI、零售通、米网相关数据相关数据应用、数仓底层开发和维护; 2、理解和拆解数据产品需求,完成数据分析、数据建模以及编码工作; 3、跨团队与服务端、前端、测试等完成需求沟通和协作,完成项目;

更新于 2026-06-15北京
logo of jd
社招3年以上软件开发岗

职位描述: 1. 负责设计与开发公司级高性能、高可用的实时计算平台,基于Apache Flink构建和优化核心实时数据管道,支撑关键业务场景。 2. 深入钻研Flink内核机制(如内存管理、任务调度、容错恢复),具备源码级调试、性能优化与定制开发能力,攻克生产环境中复杂技术挑战。 3. 主导实时任务的深度优化,包括但不限于反压调控、数据倾斜处理、状态管理及Checkpoint机制调优,保障实时服务的高吞吐、低延迟与稳定运行。 4. 结合业务需求,负责重大实时数据项目的技术方案选型、架构设计及评审,并输出清晰、规范的技术文档。 5. 跟踪流计算领域前沿技术(如Flink CDC、Apache Paimon、流批一体等),推动创新技术在公司落地,赋能团队成员,提升整体技术水平。

更新于 2025-10-20北京
logo of transsion
社招

1、负责AI大数据平台的构建与优化,确保数据处理的高效性和稳定性。 2、参与数据模型的研发,提升数据分析和业务决策的能力。 3、与团队合作,针对特定业务需求进行数据解决方案的设计与实施。

更新于 2025-03-05重庆
logo of fliggy
社招3年以上

1.负责飞猪大模型项目,训练数据、评测数据、大模型全链路日志数据建设及管理工作; 2.负责训练数据生产链路设计、建设、管理,包括预训练、SFT、后训练等; 3.负责评测数据生产、评测报告数据开发,参与评测标准定制、评测流程设计;

更新于 2026-04-07杭州