logo of ctrip

携程爬虫开发工程师(MJ027783)

社招全职2年以上住宿业务开发地点:上海状态:招聘

任职要求


1.计算机相关专业,本科及以上学历,有2年以上爬虫相关经验。
2.掌握至少一种开发语言Java/Python,具备良好的编码能力、扎实的数据结构知识 。
3.熟悉TCP/IPHTTP及相关网络协议。
4.了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等。
5.有反爬相关问题处理经验,熟悉常用的爬虫技术及架构设计。
6.对分布式、多线程缓存消息队列等常用互联网技术有一定了解。
7.热爱技术开发,善于学习,善于团队协作,能积极主动地参与公司产品研发等相关工作。
8.熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术,有相关经验者优先考虑。

工作职责


1.负责分布式网络爬虫系统的设计与开发工作。
2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析。
3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。
4.设计数据采集策略,提升数据采集效率及质量。
包括英文材料
学历+
Java+
Python+
数据结构+
TCP/IP+
HTTP+
Web+
XML+
CSS+
JavaScript+
AJAX+
系统设计+
多线程+
缓存+
消息队列+
相关职位

logo of kuaishou
社招3-5年D5201

1、参与海量数据的价值挖掘和工程体系攻防技术突破等能力建设,以强大技术驱动力让商家、消费者通过平台撮合交易; 2、负责快手直播电商促销活动海量商品建设,打造完备的数据运营支持体系,探索新场景下的新玩法,服务上亿用户; 3、研究直播电商场景下全新的用户消费习惯、全新的选品策略、全新的商业化思路,以及全新的大数据、人工智能、工程技术应用场景,探索新消费习惯场下隐含的全新技术挑战。

更新于 2025-08-07
logo of insta360
校招

1. 负责根据业务需求和规划开展爬虫开发工作,包括数据解析与清洗,数据链路优化等,同时对现有爬虫进行维护和完善; 2. 参与爬虫核心技术研究,维护和升级现有技术体系,快速定位并修复现有软件缺陷,对线上问题进行及时响应并解决 3. 参与爬虫监测体系建设,及时监控及解决运行过程中出现的问题,确保数据的稳定性和准确性; 4. 参与公司内部爬虫平台的架构设计与开发,并结合业务场景及NLP等技术,实现产品化。

更新于 2025-07-18
logo of tme
社招3年以上内容-技术类

1.参与分布式爬虫系统的设计与开发; 2.负责平台外部数据覆盖,并解决高并发爬取、海量存储等问题; 3.负责监控框架的迭代和改进,维护所需资源池,并探索最新的技术能力; 4.负责部分硬件SDK开发(安卓或C++方向)。

更新于 2025-09-02
logo of netease
社招5年以上网易职能

1. 设计、开发、维护、重构分布式网络爬虫,从各种网站、APP中抓取并清洗结构化数据。 2. 负责持续运营和更新爬虫程序,识别和解决数据源变化和其他问题。 3. 爬虫性能优化,包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。 4. 能够统计和分析爬虫数据,与其他团队合作,如数据工程师、数据分析师协作,以确保数据采集系统的有效性和可靠性。

更新于 2025-06-20