岗位描述：
1. 2年以上Python开发经验，熟悉网络爬虫或数据处理和分析相关的开发；
2. 负责web数据采集相关的开发，熟悉web数据的抓取、解析等开发工作，有一定数据清洗和分析基础；
3. 熟悉应对反爬策略的方式方法，并有成功绕过反爬策略的案例；
4. 具有很强的技术钻研能力；
岗位要求：
1. 精通python，scrapy，pyspider，Selenium 等框架，深入研究过scrapy，pyspider框架的源码，并能对scrapy，pyspider框架的源码进行修改和优化；
2. 熟悉网络抓包工具，熟悉使用正则表达式；熟悉HTTP传输协议，能模拟各类操作进行数据的爬取；
3. 了解数据清洗和分析相关的工具，了解大数据分析；
4. 具有较强的分析和解决问题能力，以解决技术难题为乐趣，有想法，敢于挑战；
5. 熟悉MySQL、mongodb、有数据库开发经验者优先，有 GitHub 地址或技术博客地址者优先；

职位类别： 软件工程师

举报