首页 > Python > 文章正文

Python3网络爬虫开发实践读书笔记---第九章代理的使用

更新时间:2020-04-07

这一系列文章是我在阅读“Python3网络爬虫开发实践”一书以及其他线上资料学习爬虫过程中的一些笔记和心得,希望能分享给大家。

章节概述:如何通过代理绕开服务器的反爬虫措施

章节结构

  • 代理的设置
  • 代理池维护
  • 付费代理
  • ADSL拨号代理

具体内容:

  • 代理的设置

首先在网上购买代理,安装以后代理软件会在某个端口P创建HTTP代理服务。
在我我们用urllib爬取数据的时候,创建ProxyHandler,设定http和https的代理地址(刚刚的端口),然后在创建opener的时候传入这个ProxyHandler对象。如果代理需要用户名密码,我们可以设置为username:[email protected]:P,如果是Socks5类型代理,可以用python的socks模块创建socks对象,并且通过set_default_proxy设置代理。
如果我们用request模块,直接传入字典类型的参数proxies即可。
如果是在模拟浏览器时加入代理,可以通过webdriver.ChromeOptions对象的add_argument方法添加--proxy-server参数。然后将chrome_options作为参数传入模拟浏览器对象中。

  • 代理池维护

代理池:通过提前选取筛选可用代理,存储成一个代理池以备后去爬取数据时随时有代理支持。
代理池基本模块:
存储模块:存储抓取的代理,保证不重复,均可用 ---- Redis,SortedSet
获取模块:在各大网站抓取代理,并将可用的代理保存到存储模块中
检测模块:定期检测代理可用性。
接口模块:对外接口,以便爬虫程序从代理池中随机获取代理。

  • 付费代理

讯代理:www.xdaili.cn
阿布云代理:www.abuyun.com

具体代码实现:https://github.com/Python3Web...

相关文章
相关标签