九四采集器(py/python)采集器设置动态代理IP图文教程

说明:为什么要使用动态代理进行采集,主要是因为针对封ip之类问题解决,使用了动态代理ip就无法进行ip封禁,不影响采集。

直入正题,首先要配置搭建采集器,这里不做赘述。

注:下载地址在底部。

采集器配置正确后开始代理配置,如图教程:

1、登录采集器后台

2、点击【规则列表】如图:


3、点击编辑规则,如图:


4、开始配置规则代理:

①、站点设置,这里要关闭过缓存,如图所示:


②、小说列表采集设置:

这里是通过替换的方式把采集器要获取的地址替换成通过api接口获取的方法,如图所示:


③、封面配置代理方法:

点击小说信息页采集下拉,找到封面替换规则,同样和上面一样,也是通过替换达到代理目的,如图所示:


4、内容地址配置方法:

找到【小说章节采集】,下拉在找到地址替换规则,然后进行替换,方法如图所示:


通过上面的配置基本就可以实现动态代理功能了

注意:必须关闭【站点设置】的过缓存,不然无法获取数据。

测试规则的时候内容获取如果失败,看下章节地址替换后的结果是否正常,如果错乱或者有多余字符串在【章节地址替换】重新开一行进行多余替换,这里支持正则替换,如不明白请联系技术客服进行协助配置。


九四采集器免费版下载地址:九四采集器

相关推荐

评论

展开