阿里巴巴数据技术及产品部-数据采集合规与治理工程师-爬虫方向

工作描述

任职要求
1. 5 年以上后端、爬虫平台、搜索引擎、数据平台、数据治理、安全合规或 AI 数据工程经验，有复杂系统设计和跨团队项目推进经验。
2. 熟悉大规模网页采集系统，理解 URL 调度、网页解析、内容抽取、去重、分布式任务调度、访问控制、日志留存和数据入湖链路。
3. 熟悉数据血缘、元数据管理、审计日志、数据版本、权限控制、数据生命周期管理等工程体系。
4. 具备合规工程能力，能够把法律、政策、安全或监管要求拆解成系统规则、数据字段、控制点、审批流程和监控指标。
5. 理解基础模型训练数据流程，包括采集、清洗、过滤、去重、采样、版本管理、训练集构建和模型版本关联。
6. 熟悉数据安全、隐私保护、版权治理、公开网络数据治理或监管审计中的至少一个方向。
7. 具备强跨职能协作能力，能够与法务、安全、隐私、政策、研究、数据工程和业务团队共同推进复杂项目。
8. 有较强的风险判断能力，既能理解合规边界，也能设计工程上可落地、可规模化…