经常会有人问我在学习爬虫的时候仅仅停留在代码层面的优化 ，却忽略了代理，导致爬虫效果并没有想象中的那么好。

今天就跟大家普及一下IP代理是什么？怎么用好IP代理？
记得学爬虫的时候又这样一个比方，比如你是大灰狼，想去抓兔子。你看见那屋子有兔子（网站数据）是你想要的，想进去。进去以后给你抓了几次呢，屋子里的人就知道你是坏人，记住你长这个样子，以后就不让你进去了（禁IP）。代理IP就是让你换一副外貌去抓兔子（把你的IP换成代理IP），抓完以后又换一套外貌去抓（又换一个），这样他们还抓不到你（逍遥法外~）。　　在网络爬虫抓取信息的过程中，如果抓取频率高过了网站的设置阀值，将会被禁止访问。通常，网站的反爬虫机制都是依据IP来标识爬虫的。

于是在爬虫的开发者通常需要采取两种手段来解决这个问题：

1、放慢抓取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。　　2、第二种方法是通过设置代理IP等手段，突破反爬虫机制继续高频率抓取。

普通的基于拨号的解决办法。通常，在抓取过程中遇到禁止访问，可以重新进行ADSL拨号，获取新的IP，从而可以继续抓取。但是这样在多网站多线程抓取的时候，如果某一个网站的抓取被禁止了，同时也影响到了其他网站的抓取，整体来说也会降低抓取速度。一种可能的解决办法，同样也是基于ADSL拨号，不同的是，需要两台能够进行ADSL拨号的服务器，抓取过程中使用这两台服务器作为代理.假设有A、B两台可以进行ADSL拨号的服务器。爬虫程序在C服务器上运行，使用A作为代理访问外网，如果在抓取过程中遇到禁止访问的情况，立即将代理切换为B，然后将A进行重新拨号。如果再遇到禁止访问就切换为A做代理，B再拨号，如此反复。当然这样使用对于爬大数据的客户来说非常之麻烦。

各位就可以参考下面这一种使用代理IP,代理ip通俗讲就是改变你本机ip替换成另一个ip在你程序上使用，方便快捷而且还不用担心ip被网站封掉，因为一般的代理ip厂商都会针对爬虫做出策略.

代理服务器（Proxy Server）。是一种重要的安全功能。形象的讲，代理服务器是网络信息的中转站，它是介于浏览器和Web服务器之间的一台服务器，有了它之后，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。在日常生活中，我们使用IP代理，大多数是用来连接INTERNET（国际互联网）INTRANET（局域网）。

主要功能为：解决网络延时，提高运行速度。

可做防火墙，提高安全性。

隐藏IP地址，保护个人信息。

代理类型大致分为三类。透明代理、普匿代理、透明代理。

高匿代理能够隐藏用户的真实IP地址，同时不会被识别为代理。

普匿代理可以隐藏用户真实IP，但会改变请求信息，使对方服务器识别出我们用了动态ip代理。

透明代理时，传送的依然是真实IP地址，客户端根本不知道代理服务器的存在。

动态IP与静态IP，动态IP是和静态IP对应的。通俗的讲，动态IP是指网民上网的时候动态分配的IP。每次上网时候使用的IP是不同的。与之相对应的是静态IP，这是上网前就已经确定好的，每次上网的时候都使用这个IP。

使用动态IP是为了解决IP地址不够用的问题。随着网络普及，网民使用电脑的台数激增，IP地址就不够用了，动态IP技术应运而生。同一时刻不会所有人都在上网，将未联网的IP拿去给需要的人用，同理网民上网时会被分配无人使用的IP。

以上是关于代理IP的内容，在当代IP代理保护用户网络安全的功能逐渐被熟知，市面上的IP代理软件也越来越多，已满足用户的需求，但由于技术原因功效参差不齐。IPIDEA稳定的同时更注重用户隐私的保护，保障用户的信息安全。

现在IP代理软件不少，有一些价格非常贵，性价比比较合适的有智游代理、IP精灵、挂机精灵等等。这些都豪秒级切换，支持http/https/socks5，还可以扩展api接口。

这方面的软件主要注意以下问题：

1.ip可用率低，因为是从网上扫的量，IP时长和质量均无法保证。

2.ip池夸大，吹嘘自己有多少多少的量，实际上只有1000不到，因为重复使用的原因，造成ip可用率不高！（几年前用过某91V**的，实际上能用的只有100多 ）

3.还有一些IP及其不稳定，掉线等问题，实际上付出的时间成本远远高于金钱成本。

上一篇：有没有高质量代理IP

下一篇：今天，又是被中文惊艳的一天