网络爬虫通常会遇到什么限制与阻碍?理解这些方面，我们就能够明白为什么代理ip会对于数据爬虫是那么重要了。

　　1.User-Agent限制

　　会要求真实的设备，如果不加会用编程语言包里自有User-Agent，可以被辨别出来。

　　2.BasicAuth限制

　　一般会有用户授权的限制，会在headers的Autheration字段里要求加入。

　　3.IP限制

　　网站的防火墙会对某个固定ip在某段时间内请求的次数做限制，如果没有超过上线则正常返回数据，超过了，则拒绝请求，如qq邮箱。

　　主要的应对方案是使用代理，这样一来ip的数量就会多一些，但是建议选用安全高效的代理IP,保证数据安全。比如ip代理池，全国一百多城市的IP选路，一天几十万的IP资源，有助于爬虫突破限制。

　　4.Gzip限制

　　请求headers里面带了gzip，返回有时候会是gzip压缩，需要解压。

　　5.Referer限制

　　通常是在访问链接时，必须要带上Referer字段，服务器会进行验证，例如抓取京东的评论。

　　以上我们介绍了爬虫会遇到的阻碍，这些阻碍也是需要用到换ip软件的主要原因。