您的位置:首页 > 新闻资讯 > 文章内容
爬虫遇到问题的解决方式
来源:互联网 作者:admin 时间:2020-05-22 13:51:37

  了解过爬虫的用户,知道爬虫要完成并不是那么简单,有些时候,我们会遇到阻碍,需要经过一些操作来解决。

爬虫遇到问题的解决方式

  1、构造合理的HTTP请求头,请求头可以通过requests模块进行自定义。

  2、正常的时间访问路径,很多有防护措施的网站可能会阻止你快速地提交表单,多快是快?用一个比普通人快很多的速度操作很可能会导致自己被网站封杀。建议尽量为每个页面访问增加一点儿间隔时间。

  3、优化cookie,在采集一些网站时,cookie是不可或缺的,建议你在采集目标网站前,检查这些网站生成的cookie,然后筛选出哪个cookie是爬虫需要处理的。

  4、注意隐含输入字段值,用隐含字段阻止python爬虫抓取信息的方式主要有两种,一是表单页面上的一个字段可以用服务器生成的随机变量表示;另一个是服务器的蜜罐圈套。因此检查表单所在的页面十分必要。

  5、使用代理IP,在网络中IP地址相当于你的上网身份证,人手一份。当网站识别python爬虫与人类访问的差异时,通常会采取封杀IP地址这种方法,阻止你抓取信息。这时候就需要使用代理IP。

  一旦你在爬虫中遇到问题,可以尝试上面的方式来解决问题。


相关文章内容简介
推荐阅读