本软件是一款通用爬虫工具,取名叫小蜘蛛-通用爬虫,经过几个版本的迭代,软件基本稳定。
本软件访问页面做了异步处理,无延迟,速度快(原理:只抓取指定数据,无关数据不用等待加载完毕)。
本软件基本原理是驱动google浏览器访问指定页面获取数据,实现功能的通用和可定制。
本软件引入模板配置功能,将你要访问的数据模板化,实现一键自动抓取。
本软件数据保存多样化,支持CSV和JSON文件保存,另外支持接口回调,选择API选项,按照要求填写接口地址,程序将自动调用接口将数据保存到你的数据库。
本软件支持代理配置,配置代理之后默认将数据请求平均配置到每个代理服务器,避免长时间访问长点导致IP被封。
本软件支持请求间隔设置,对于敏感站点可自定义设置间隔时间,避免访问过快导致站点拒绝服务。