做网络抓取的时候，我们会遇到网站反爬虫的阻拦，要解决限制的情况，我们就要处理好网站的限制。

　　1、识别限制- 您的抓取软件+代理IP需要能够检测多种限制或者禁令，这样就可以排除故障并解决潜在的问题-例如，验证，阻止等等。

　　2、重复请求- 如果您的代理时效，超时等出现，就会造成抓取失败。这个时候就需要能够自动再次请求或者使用另外代理重试请求。

　　3、使用代理- 获取高效的代理IP对于正常进行爬网至关重要。

　　4、控制代理- 抓取项目与代理服务器时刻保持连通，因此需要配置对应的代理池便于控制。

　　5、代理区域- 有些目标网站上仅限使用特定地区的IP，这个时候您就需要配置特定区域的代理IP。

　　6、添加延迟-最好要有延迟，随机化并应用良好的节流功能，这样不仅可以节省代理IP，还可以隐藏不被目标网站发现。

　　一般我们可以按照上面的操作来处理应对，这样爬虫就能够恢复使用了。