阿里云瓴羊-全栈开发专家-数据采集方向-杭州/北京
任职要求
1、计算机相关专业本科及以上学历,5年以上Android,ios、web、小程序数据采集经验; 2、精通Python,熟悉HTTP/HTTPS协议、HTML/XML解析(如BeautifulSoup、XPath、lxml); 3、熟悉主流爬虫框架(如Scrapy、Playwright、Selenium、puppeteer); 4、熟悉数据库操作(MySQL、MongoDB等),具备数据存储与处理能力; 5、了解基本的反爬机制及应对方案(如验证码识别、IP池管理); 6、熟悉常见 Android Java层和native层的hook攻防方案; 7、熟悉 Android ,ios app 常用加壳、混淆、异常环境监测机制; 8、熟悉 网络通讯、代理机制,抓包、https、ssl pinning 、proxy机制; 9、熟练使用 Fiddler,Charl…
工作职责
1、研究并实现高并发、分布式的网络爬虫系统,支持大规模数据采集需求 2、逆向Android/ios app、sdk、web和小程序,脱壳、反编译、抓包、拦截、加解密破解和数据传输分析等 3、开发数据清洗、存储及自动化处理流程,对接数据库或大数据平台(如MySQL、MongoDB、Hadoop、OSS、ODPS、Redis等) 4、优化爬虫性能,提升数据抓取效率与成功率,降低资源消耗 5、与数据、产品各方协作,支持智能营销业务场景(如营销日历、营销策略、营销内容生成等)落地
1.技术与系统架构:负责具身智能与机器人系统的整体架构设计,并主导机器人平台化(硬件模块、控制栈、感知栈)与大模型平台化(数据、训练、推理)的统一设计。 2.具身智能大模型工程:建设数据体系,协同科研模型算法团队推进具身大模型训练,协同、调用云平台搭建面向具身场景的大规模训练与分布式基础设施。 3.端侧模型推理部署:负责将具身智能模型在机器人端侧部署,并结合机器人计算资源进行软硬件协同优化。 4.机器人系统落地与工程交付:主导机器人在各类场景的落地与项目交付;负责从需求拆解、系统集成、工程实现、测试验证到交付运营的全流程工程管理;协调与供应链、ODM/OEM、硬件厂商的技术对接,以及机器人产业上下游的合作。 5.团队管理与跨部门协作:管理多学科工程团队,建立工程和研发流程(CI/CD、QA、仿真体系、回归测试、可靠性验证),并与产品、科研、算法、行业解决方案和 BD 团队紧密协作推进关键项目落地。
1、负责自研安全系统的开发维护,包括网络准入控制(NAC)、零信任(Zero Trust)、统一设备安全管控(UEM)的核心功能优化及管理界面迭代; 2、能够对通用安全场景建模,独立设计一个中等复杂度的闭环业务系统; 3、整合集成不同三方系统或平台,构建出健壮、低耦合、易扩展的业务系统; 4、利用数据采集、处理、分析,以可视化的方法呈现系统的业务价值; 5、持续关注业内发展趋势和最佳实践,推动团队技术水平的提升,并分享技术经验和知识。
1. 参与饿了么风控相关PB级数据仓库的建设与运维工作,构建稳定、准确、快速的数据体系与数据服务; 2. 参与数据采集、清洗、存储、计算和分析全流程的技术方案制定与落地实施,保障数据质量和系统稳定性; 3. 深入理解业务需求,设计并优化数据仓库模型和ETL流程,支持实时与离线数据服务的高效运行; 4. 与算法、产品及前端团队紧密协作,提供高质量的数据接口和服务,推动数据驱动的决策与应用落地;