您的位置:首页 > 新闻资讯 > 文章内容
如何异步验证IP代理池?
来源:互联网 作者:admin 时间:2020-04-27 14:16:59

  想知道如何异步验证IP代理池?万变ip这里有一个教程可以提供给大家。

  Docker部署:

  1、Docker安装

  2、docker-compose 安装(建议采用pip安装方式)

  3、下载当前仓库代码到本地

  git clone https://github.com/Hogan-TR/ProxyPool.git

  4、修改 ./proxypool/config.py 中的配置

  REDIS_HOST = "127.0.0.1" # 将 REDIS_HOST 的内容替换为当前机器的内网ip

  # 其他配置可按需修改

  5、修改 docker-compose.yml 中的配置

  可修改main中ports的端口映射,从而更改 api 的本地调用接口,默认5000端

  6、执行 docker-compose up 命令,启动代理池

  基于本机环境部署(仅支持类Unix系统)

  1、准备:Python3 + Redis 环境

  2、下载当前仓库代码到本地

  git clone https://github.com/Hogan-TR/ProxyPool.git

  3、创建虚拟环境,安装依赖

  cd ProxyPool

  python3 -m venv venv

  source ./venv/bin/activate

  pip install -r requirements.txt

  4、根据系统 Redis 配置修改 ./proxypool/config.py 中 Redis 相关参数REDIS_HOST,REDIS_PORT,REDIS_PASSWORD

  5、执行 sudo python run.py 命令,启动代理池

  注:代理池首次启动后需十分钟左右,进行数据的抓取、清洗,才可开始提供高质代理

  功能实现图:

如何异步验证IP代理池

相关文章内容简介
推荐阅读
  • 07 2020-08
    换ip软件对网络的保护

    保护网络安全对于每一个个人用户来说都是很重要的一个操作,特别是我们现在很多时候都需要用到网络,网络占据了我们的大部分时间。

  • 23 2020-07
    网络ip地址可以怎么查?

    平时我们想要知道自己的网络ip的时候,可以通过什么方法来知道?

  • 10 2020-09
    代理服务器在网络的帮助

    遇到了网络ip问题,大家都是怎么解决的? 在网络工作中,会经常遇到ip限制的问题,无法完成任务和工作,比如大家都知道的网络爬虫,在进行信息采集时一个ip多次访问时就会很快被拉入黑

  • 29 2018-10
    安全使用付费代理ip

    可以说,现在网络上有很多时候或者是使用场景是需要大家换ip的,特别是一些特定的场景以及使用者,对于切换ip是非常的熟练。

  • 28 2020-09
    做爬虫必备的代理ip资源

    做网络爬虫的基本上都离不开代理ip,那么大家平时是从什么地方找代理ip资源的呢?

  • 25 2021-03
    应用http代理服务的时候

    http代理ip是网络中一个常见的ip更改工具类型,需要进行网络改ip的用户在寻找ip代理的时候,会看到这样的ip资源。