logo of moonton

沐瞳【中台】资深大数据开发工程师

社招全职3年以上技术岗位地点:上海状态:招聘

任职要求


- 本科及以上学历,计算机、数学、物理等相关专业。
- 3年以上大数据平台开发经验,包括但不限于掌握HadoopSparkHive、Flink、Clickhouse等大数据技术和框架。
- 熟练使用Java 编程语言,有良好的编程能力和代码质量意识。
- 了解数据仓库、数据…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


- 设计和开发大数据平台,包括数据仓库、数据湖、ETL流程、数据可视化和分析工具等。
- 针对不同的业务需求,制定数据处理和存储策略,确保数据的高效和可靠。
- 编写高质量的代码,实现数据的清洗、转换、加载和处理,保证数据的准确性和完整性。
- 与数据分析、业务人员和其他技术团队紧密合作,为他们提供数据支持和指导。
- 不断优化数据平台的性能和可靠性,处理大规模数据时能够有效地调优和优化。
- 掌握最新的大数据技术和发展趋势,不断学习和提高自己的技术水平。
包括英文材料
学历+
大数据+
Hadoop+
Spark+
Hive+
还有更多 •••
相关职位

logo of aliyun
社招诚云科技

1、数据资产管理平台开发与治理 构建企业级数据资产管理平台,构建数据清晰的血缘,支持高效溯源。 建立元数据管理、数据血缘追踪、质量监控与安全合规体系。 2、知识图谱构建与优化 从结构化/非结构化数据中提取实体与关系,构建行业知识图谱(如客户关系图谱)。 通过规则引擎、NLP模型持续优化图谱质量。 3、AI助理系统开发 集成大语言模型(LLM)与垂直知识库,开发智能问答、自然语言查询及自动化报表功能。 设计API/Web接口,支持业务用户通过自然语言调用数据服务(如“查询某产品的销售趋势”)。 搭建模型训练与部署框架,实现AI能力快速迭代。 4、数据安全合规与质量管理 建立数据质量指标(完整性、一致性、准确性),开发自动化检测与修复工具。 实现异常数据实时告警(如延迟、权限越权),并通过邮件/SMS/企业微信通知责任人。 5、平台性能与稳定性保障 优化Spark/Flink任务性能,提升高并发场景下的平台稳定性。 监控系统运行状态,设计容灾机制与自动化运维工具,降低故障率。

更新于 2025-05-28杭州
logo of shein
社招8年以上信息技术类

资深Java/架构师 - 平台治理策略 【】 负责构建和优化支撑全球电商业务健康、安全、合规的核心治理平台。技术决策将直接影响平台商品质量、商家合规水平、消费者信任和整体营商环境。 【核心职责】 1、平台治理中台架构设计:负责平台治理领域(不限于商品质检、资质合规、风险处置、商家体验等)的业务中台与数据中台架构设计,实现高内聚、低耦合的系统解耦。规划和设计可扩展、高可用的治理核心系统,包括但不限于规则引擎、工作流引擎、任务调度平台、实时/离线风控系统。 2、核心系统研发与攻坚:主导不限于商品信息治理系统、实物质检履约系统、商家合规证书管理平台、处置与处罚系统的架构设计与技术难点攻关,构建一体化的商家体验平台,包括申诉、咨询、任务中心,提升商家满意度和运营效率。 3、技术与创新驱动:引入大数据、机器学习等技术,提升平台在图片/文本识别、风险商家挖掘、智能质检等方面的自动化能力和准确率。优化海量数据(商品、订单、行为日志)下的实时计算与批量处理性能,保障系统在亿级流量下的稳定与低延迟。 4、团队与标准建设:制定团队技术规范、代码规范,主导核心代码的编写与评审。培养和指导高级工程师,提升整个团队的技术设计和架构能力。

更新于 2026-03-27深圳|南京|上海
logo of didi
社招5年以上技术

1.负责风控三方数据中心OR决策中台系统建设工作,包括需求把控、系统设计、功能开发等; 2.参与金融风控体系的构建工作,包括不限于三方数据中心、决策引擎、模型平台等方面的研发和维护工作; 3.良好的沟通能力,有产品sense,能够胜任产品需求拆解、细化并落地实施; 4.以快速解决业务需求为第一要义,用技术提高生产力,持续优化系统架构;

更新于 2025-07-20北京
logo of didi
社招4年以上技术

工作地点 北京市昌平区 滴滴核心的国际化交易市场工程架构方向,负责国际化出行多条业务线、每日海量的订单交易撮合,司乘定价补贴,重点解决高并发计算,海量数据处理,高可用架构等难点问题。 1. 参与国际化出行交易市场智能运营中台系统的设计开发,打通定价,分单,补贴等核心业务系统; 2. 参与国际化出行核心业务 分单,定价,调度、补贴等复杂策略的架构设计和开发; 3. 参与国际化出行日常业务需求开发; 4. 确保负责的核心服务高可用及稳定性。

更新于 2025-06-12上海