关关采集器如何使用因特网动态防封禁代理ip设置方法【图文教程】

对于爬虫抓取封ip是非常讨厌的一件事件,下面截图介绍如果使用因特网动态防封禁ip的设置方法

首先打开要修改的规则:

打开流程:打开采集器 》》顶部导航选择【规则】 》》打开规则窗口后通过下拉选择你要使用代理的规则,然后载入即可完成规则的选择导入。

配置代理的方法:

第一步,更新地址修改,如图所示进行选择:

如果,选择左边导航的【NovelListUrl】,进行右边的地址修改,如果所示,

修改方法,如下图所示:

这里一般只需要前面加上动态参数即可,比如:http://proxy.inte.net:88/api.ashx?url=https://www.proxy.net/aaa/list.aspx

第二步,信息页修改,如图所示:

选择左边导航的【NovelUrl】选项,对右边红框内的参数进行修改

修改方法如下图:

这里修改和第一步几乎差不多,只需要源地址前面加上代理ip参数即可,比如:http://proxy.inte.net:88/api.ashx?url=https://www.proxy.net/{NovelKey}/

第三步,封面图片的修改,这里比较麻烦,如果源ip没有封禁这里可以不设置,一般只获取封面不会封ip的,如果已经封禁了请按照下面的方法进行修改,如图所示:

 

注意:这里一般获取到的是不含域名的地址,比如:/images/0/1.jpg 如果获取到这种的参数需要通过替换的方法来修改,就是通过替换开始字符串为代理地址和被抓去域名地址组合新的完整路径,比如:

/images/♂http://proxy.inte.net:88/api.ashx?url==https://www.proxy.net/images/这样设置,如果你获取的是本身就包含域名的一个完整路径封面(https://www.proxy.net/images/0/1.jpg)可以按照下面的思路来修改:

https://www.proxy.net/images/0/1.jpg

https://www.proxy.net/images/♂http://proxy.inte.net:88/api.ashx?url=https://www.proxy.net/images/或者https://www.proxy.net/♂http://proxy.inte.net:88/api.ashx?url=https://www.proxy.net/效果是一样的

具体如下图所示:

第四步,目录页修改,如图所示:

这一步也很简单,一般只需要前面加上代理地址接口即可,如果原来没有域名只有目录地址的前面加上域名,如图所示

第五步,内容地址的修改方法,如图所示:

注意,这里一般会出现三种情况:

1.获取的是相对路径,并发根目录和完整路径包含域名,

2.获取的是根目录,但不包含域名。

3.包含域名在内的完整路径,

如上图所示的三种情况,一般第一种情况比较多见,修改方法,如下图:

说明:第一种情况,一般只需要在源字符串前面加上列表页(第四步)获取地址即可【PubIndexUrl】导航里面的参数,如图 ①所示。

第二种情况,只需要在源字符串前面加上代理ip地址和目标站完整域名即可,如上图 ②所示。

第三种情况,本身已经包含一个完整的路径,只需要在前面加上代理ip地址即可,如图 ③所示。

经过上述设置基本已经完成代理ip的调用配置

代理地址获取传送门:点击进入

相关推荐

评论

展开