美团数据工程师(数据安全方向)
社招全职核心本地商业-基础研发平台地点:上海 | 北京状态:招聘
任职要求
1. 熟悉Spark、Flink、MapReduce等大数据处理技术,具备相关项目经验。 2. 熟练掌握Python和Java编程语言,具备良好的代码开发能力。 3. 具备良好的团队合作精神和沟通能力,能够在多任务环境中工作。 4. 对数据安全有基本的认识和兴趣,能够理解数据安全在数据处理中的重要性。 5. 认真细致,主动性高,具备数据安全保密意识。 具备以下条件优先 1. 具备数据安全相关项目经验者优先。 2. 熟悉数据加密、数据脱敏等数据安全技术。 3. 具备AI模型训练和部署经验者优先。 4. 具备大规模数据处理和优化经验。
工作职责
1. 参与公司数据安全相关项目的数据开发和运营工作,包括实时和离线的数据处理和分析,策略开发,会适当参与运营闭环,用于模块调优,提升业务认知,反哺开发工作。 2. 使用Spark、Flink、MapReduce等大数据技术进行数据开发,确保数据处理的高效性和可靠性。 3. 设计和实现数据处理流程,确保数据的准确性和完整性。 4. 如果具备AI模型的训练和部署经验,参与相关的AI项目,提升数据分析和处理能力。 5. 和其他技术和运营团队合作,优化数据处理流程、算法和策略。
包括英文材料
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
MapReduce+
https://www.youtube.com/watch?v=bcjSe0xCHbE
https://www.youtube.com/watch?v=cHGaQz0E7AU
In this video I explain the basics of Map Reduce model, an important concept for any software engineer to be aware of.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
相关职位
社招3年以上A236901
1、推动支付安全能力的设计与落地(包括数据分级治理、数据资产地图、数据血缘跟踪应用、数据加解密、数据共享、权限管控、安全审计、支付应用安全等); 2、推动支付业务线数据安全风险治理(包括风险识别与发现、解决方案制定与推动治理、持续改进优化及事后跟踪等); 3、对现有数据安全控制措施有效性进行持续验证,跟进数据安全事件识别、响应、处置、调查、取证。
更新于 2024-06-12
社招J8UXV
1、负责字节跳动大数据平台的权限、审计等安全产品规划与建设,包括态势感知、权限管理、隐私保护和访问控制等,满足安全监管需求; 2、深入理解业务场景,与业务部门深度合作,设计架构并落地产品; 3、追求极致,探索数据安全治理的前沿方向,打造业内一流的数据治理产品体系; 4、探索设计基于大数据、机器学习、AI的智能数据安全系统与保护能力。
更新于 2022-01-06
社招A239489
1、负责字节跳动相关产品线(抖音、今日头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。
更新于 2024-03-25