大疆高级大数据开发工程师(飞行系统)
社招全职5年以上软件地点:深圳 | 上海状态:招聘
任职要求
1. 基础要求: - 5年以上后端开发经验,精通 Go/Python/Java,熟悉分布式系统设计模式 - 熟练掌握 云计算基础设施(AWS/Azure/GCP),容器化技术(Docker/K8s),消息队列(Kafka/Pulsar) - 精通至少一种分布式存储方案(如MinIO, HDFS, S3)及数据库(PostgreSQL, Cassandra) 2. 领域能力: - 有数据管道开发经验:使用Airflow/Luigi/Kubeflow等构建E…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 数据闭环系统开发 -设计并实现设备端→云端数据自动化上传管道,支持TB级无人机数据(传感器日志、RGB/红外影像、LiDAR点云)的稳定传输与断点续传 -开发云上数据存储与治理模块,构建冷热分级存储策略(如对象存储+分布式数据库),实现数据版本化管理与元数据索引 2. 自动化处理流水线 -搭建数据解析与预处理框架,自动解析飞控日志、传感器数据,提取关键字段(GPS轨迹、电池状态、异常事件)开发自动化标注计算流:集成CV模型(如检测/分害)生成预标注结果,设计人工质检协同工具,提升标注效率 3. SLA监测与运维 -建立全链路SLA监控系统,跟踪数据上传延迟、处理吞吐量、标注准确率等核心指标,实现异常实时告警与根因定位 -优化系统性能,保障服务可用性,数据处理延迟 4. 工具链与协作 -开发数据闭环开发者工具链(CLI/SDK),支持算法团队按需触发数据处理、标注任务 -与前端/算法团队协作,定义数据接口规范与状态同步机制。
包括英文材料
后端开发+
https://www.youtube.com/watch?v=tN6oJu2DqCM&list=PLWKjhJtqVAbn21gs5UnLhCQ82f923WCgM
Learn what technologies you should learn first to become a back end web developer.
Go+
https://www.youtube.com/watch?v=8uiZC0l4Ajw
学习Golang的完整教程!从开始到结束不到一个小时,包括如何在Go中构建API的完整演示。没有多余的内容,只有你需要知道的知识。
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
设计模式+
https://liaoxuefeng.com/books/java/design-patterns/index.html
设计模式,即Design Patterns,是指在软件设计中,被反复使用的一种代码设计经验。使用设计模式的目的是为了可重用代码,提高代码的可扩展性和可维护性。
[英文] Design Patterns
https://refactoring.guru/design-patterns
Design patterns are typical solutions to common problems in software design. Each pattern is like a blueprint that you can customize to solve a particular design problem in your code.
https://www.youtube.com/watch?v=NU_1StN5Tkk
Design Patterns tutorial explained in simple words using real-world examples.
AWS+
https://aws.amazon.com/
Amazon Web Services offers reliable, scalable, and inexpensive cloud computing services. Free to join, pay only for what you use.
Azure+
https://azure.microsoft.com/
Invent with purpose, realize cost savings, and make your organization more efficient with Microsoft Azure’s open and flexible cloud computing platform.
Docker+
https://www.youtube.com/watch?v=GFgJkfScVNU
Master Docker in one course; learn about images and containers on Docker Hub, running multiple containers with Docker Compose, automating workflows with Docker Compose Watch, and much more. 🐳
https://www.youtube.com/watch?v=kTp5xUtcalw
Learn how to use Docker and Kubernetes in this complete hand-on course for beginners.
Kubernetes+
https://kubernetes.io/docs/tutorials/kubernetes-basics/
This tutorial provides a walkthrough of the basics of the Kubernetes cluster orchestration system.
https://kubernetes.io/zh-cn/docs/tutorials/kubernetes-basics/
本教程介绍 Kubernetes 集群编排系统的基础知识。每个模块包含关于 Kubernetes 主要特性和概念的一些背景信息,还包括一个在线教程供你学习。
https://www.youtube.com/watch?v=s_o8dwzRlu4
Hands-On Kubernetes Tutorial | Learn Kubernetes in 1 Hour - Kubernetes Course for Beginners
https://www.youtube.com/watch?v=X48VuDVv0do
Full Kubernetes Tutorial | Kubernetes Course | Hands-on course with a lot of demos
消息队列+
https://www.youtube.com/watch?v=xErwDaOc-Gs
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Pulsar+
https://pulsar.apache.org/docs/next/functions-develop-tutorial/
Write a function for word count.
https://www.baeldung.com/apache-pulsar
Apache Pulsar is a distributed open source Publication/Subscription based messaging system developed at Yahoo.
https://www.youtube.com/watch?v=TKs5T6N78Tc
Discover the seven key features of Apache Pulsar that make it perfect for providing a centralized messaging & data streaming service for an Enterprise.
还有更多 •••
相关职位
社招8年以上A140743
1、负责国际BI、零售通、米网相关数据相关数据应用、数仓底层开发和维护; 2、理解和拆解数据产品需求,完成数据分析、数据建模以及编码工作; 3、跨团队与服务端、前端、测试等完成需求沟通和协作,完成项目;
更新于 2026-06-15北京
社招3年以上软件开发岗
职位描述: 1. 负责设计与开发公司级高性能、高可用的实时计算平台,基于Apache Flink构建和优化核心实时数据管道,支撑关键业务场景。 2. 深入钻研Flink内核机制(如内存管理、任务调度、容错恢复),具备源码级调试、性能优化与定制开发能力,攻克生产环境中复杂技术挑战。 3. 主导实时任务的深度优化,包括但不限于反压调控、数据倾斜处理、状态管理及Checkpoint机制调优,保障实时服务的高吞吐、低延迟与稳定运行。 4. 结合业务需求,负责重大实时数据项目的技术方案选型、架构设计及评审,并输出清晰、规范的技术文档。 5. 跟踪流计算领域前沿技术(如Flink CDC、Apache Paimon、流批一体等),推动创新技术在公司落地,赋能团队成员,提升整体技术水平。
更新于 2025-10-20北京
社招
1、负责AI大数据平台的构建与优化,确保数据处理的高效性和稳定性。 2、参与数据模型的研发,提升数据分析和业务决策的能力。 3、与团队合作,针对特定业务需求进行数据解决方案的设计与实施。
更新于 2025-03-05重庆