美团数据工程师(数据安全方向)
社招全职核心本地商业-基础研发平台地点:上海 | 北京状态:招聘
任职要求
1. 熟悉Spark、Flink、MapReduce等大数据处理技术,具备相关项目经验。 2. 熟练掌握Python和Java编程语言,具备良好的代码开发能力。 3. 具备良好的团队合作精神和沟通能力,能够在多任务环境中工作。 4. 对数据安全有基本的认识和兴趣,能够…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 参与公司数据安全相关项目的数据开发和运营工作,包括实时和离线的数据处理和分析,策略开发,会适当参与运营闭环,用于模块调优,提升业务认知,反哺开发工作。 2. 使用Spark、Flink、MapReduce等大数据技术进行数据开发,确保数据处理的高效性和可靠性。 3. 设计和实现数据处理流程,确保数据的准确性和完整性。 4. 如果具备AI模型的训练和部署经验,参与相关的AI项目,提升数据分析和处理能力。 5. 和其他技术和运营团队合作,优化数据处理流程、算法和策略。
包括英文材料
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
还有更多 •••
相关职位
社招3年以上A236901
1、推动支付安全能力的设计与落地(包括数据分级治理、数据资产地图、数据血缘跟踪应用、数据加解密、数据共享、权限管控、安全审计、支付应用安全等); 2、推动支付业务线数据安全风险治理(包括风险识别与发现、解决方案制定与推动治理、持续改进优化及事后跟踪等); 3、对现有数据安全控制措施有效性进行持续验证,跟进数据安全事件识别、响应、处置、调查、取证。
更新于 2024-06-12深圳
社招J8UXV
1、负责字节跳动大数据平台的权限、审计等安全产品规划与建设,包括态势感知、权限管理、隐私保护和访问控制等,满足安全监管需求; 2、深入理解业务场景,与业务部门深度合作,设计架构并落地产品; 3、追求极致,探索数据安全治理的前沿方向,打造业内一流的数据治理产品体系; 4、探索设计基于大数据、机器学习、AI的智能数据安全系统与保护能力。
更新于 2022-01-06上海
社招A239489
1、负责字节跳动相关产品线(抖音、今日头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。
更新于 2024-03-25北京