您的位置:首页 > 新闻资讯 > 文章内容
如何异步验证IP代理池?
来源:互联网 作者:admin 时间:2020-04-27 14:16:59

  想知道如何异步验证IP代理池?万变ip这里有一个教程可以提供给大家。

  Docker部署:

  1、Docker安装

  2、docker-compose 安装(建议采用pip安装方式)

  3、下载当前仓库代码到本地

  git clone https://github.com/Hogan-TR/ProxyPool.git

  4、修改 ./proxypool/config.py 中的配置

  REDIS_HOST = "127.0.0.1" # 将 REDIS_HOST 的内容替换为当前机器的内网ip

  # 其他配置可按需修改

  5、修改 docker-compose.yml 中的配置

  可修改main中ports的端口映射,从而更改 api 的本地调用接口,默认5000端

  6、执行 docker-compose up 命令,启动代理池

  基于本机环境部署(仅支持类Unix系统)

  1、准备:Python3 + Redis 环境

  2、下载当前仓库代码到本地

  git clone https://github.com/Hogan-TR/ProxyPool.git

  3、创建虚拟环境,安装依赖

  cd ProxyPool

  python3 -m venv venv

  source ./venv/bin/activate

  pip install -r requirements.txt

  4、根据系统 Redis 配置修改 ./proxypool/config.py 中 Redis 相关参数REDIS_HOST,REDIS_PORT,REDIS_PASSWORD

  5、执行 sudo python run.py 命令,启动代理池

  注:代理池首次启动后需十分钟左右,进行数据的抓取、清洗,才可开始提供高质代理

  功能实现图:

如何异步验证IP代理池

相关文章内容简介
推荐阅读
  • 22 2020-10
    千万级别ip的换ip软件可靠吗?

    网络中无论是做推广还是数据收集,都跟更改ip有很大的联系。

  • 06 2020-08
    代理ip的基本选择方向

    使用换ip软件修改ip地址可以很简单,只要大家找到一款合适的代理ip软件,根据使用情况就能够开始你的代理服务。不过在我们选择的时候,有些操作是需要关注的。

  • 20 2020-04
    网络营销为什么要修改ip地址?

    网络营销为什么要修改ip地址?看到很多代理ip官网都会将网络营销这一块作为主要的使用人群,那么是为什么呢?

  • 22 2020-06
    帮助到爬虫的技巧

    掌握网络爬虫能够用到的一些小技巧,对于大家爬取数据遇到困难的时候,都很有帮助。

  • 02 2020-07
    互联网代理ip的解决限制

    首先说到ip地址,大家都会知道ip是什么,通过ip我们能够访问网络。

  • 28 2020-08
    反向代理服务器有什么用?

    反向代理服务器的使用有什么效果?为什么需要反向代理服务器呢?