多益网络Python开发工程师

任职要求

【广州】
方向一：
1、计算机相关专业，有爬虫和反爬虫开发经验优先，有App爬取经验优先；
2、熟悉linux平台开发，精通Python，熟悉常用的爬虫框架和工具；
3、熟悉MongoDB、Redis、Mysql，掌握MQ，了解HBase、KAFKA等；
4、熟悉HTTP协议，熟悉正则表达式、XPath、CSS选择器等，了解常用验证码识别技术；
5、能独立解决实际开发过程碰到的各类问题。
方向二：
1、计算机相关专业毕业；
2、熟练掌握Python编程，有一定的web后台开发经验者尤佳；
3、热爱游戏，对参与游戏自动化测试开发领域有热忱。
【武汉】
1、计算机相关专业；
2、能熟练使用Python语言开发；有阅读和理解Python代码的能力；
3、能够独立分析大型网站页面结构，并完成所需数据的爬取、分析、筛选、储存功能；
4、熟悉Mysql等至少一种关系型数据库。熟悉Redis、MongoDB等数据库者优先；
5、熟悉Falsk/Tornado/Django等Web开发框架者优先；
6、熟悉数据挖掘、自然语言处理、信息检索、机器学习等技术者优先；
7、有良好的学习能力，能够根据需求学习新技术并应用于开发。
提示：公司实行全面禁烟制度。

工作职责

【广州】
方向一：
1、参与分布式爬虫和数据采集系统的架构设计和开发；
2、负责网络数据抓取规划、定期爬取指定网站的数据；
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
4、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；
5、实现数据提取、清洗、结构化、入库、统计分析等需求；
6、研究优化算法，提升爬虫系统的稳定性、可扩展性；
7、根据业务需要，完成上级安排的其他市场调研/数据分析/方案设计等工作。
方向二：
1、负责游戏自动化测试工具及平台的后台开发工作，dev-ops+测试自动化；
2、根据业务需要，完成上级安排的市场调研/数据分析/方案设计等其他工作。
【武汉】
1、参与Python分布式爬虫和数据采集系统的架构设计、开发和维护；
2、参与Python数据平台、Web服务、机器学习等相关开发工作；
3、根据业务需要，完成上级安排的市场调研/数据分析/方案设计等其他工作。