环讯网络数据采集器2.1 是一款多功能,可以自己定制正则规则的采集器.
支持ajax无刷新采集,实现无刷新分页的模拟点击.
实现js生成内容的抓取,采集QQ商业群的商户资料
1.强大的信息采集功能。可采集几乎任何类型的网站信息,包括静态htm,html类型和动态ASP,ASPX,JSP等。可N级页面关联采集,自动整合成一条完整记录。支持网页框架,链接和网页加密等。支持完整采集和增量采集(断点续采)。可自动下载二进制文件,比如图片,软件,mp3等。可采集本地磁盘信息。支持Post数据请求采集方式。
2.网站登录。需要登录才能看到的信息,先在任务的’登录设置’处进行登录,就可采集登录后才能看到的信息。
3.速度快,运行稳定。真正的多线程,多任务,运行时占用系统资源很少,可稳定地长时间运行。(明显区别于其他软件)
4.数据保存格式丰富。可把采集的数据,保存为Txt,Excel和多种数据库格式(Access sqlserver等)。
5.支持脚本。 可设置脚本类型的任务, 类似javascript:submit(’Page’,1)等格式的可轻松采集。
6.强大的新闻采集,自动化处理功能。可自动保留新闻的格式,包括图片等(可通过设置自动去除广告)。可通过设置,自动下载图片 ,自动把正文里图片的网络路径改为本地文件路径(也可保留原样);可把采集的新闻自动处理成自己设计的模板格式;可采集具有分页形式的新闻。 通过这些功能,简单设置后即可在本地建立一个强大的新闻系统,无需人工干预。
7.强大的信息自动再加工功能。对采集的信息,可进行二次批量再加工,使之更加符合您的实际要求。也可设置自动加工公式,在采集的过程中,按照公式自动加工处理,包括数据合并和数据替换等。
8.提供从采集,到自动加工,到数据导出(发布)一条龙自动化功能。通过任务调度实现,实时监测和发布。指定某些任务自动运行,把采集的数据自动去掉重复之后导入数据库(可指定组合唯一项)。可循环往复运行。可指定某任务在某个时间点运行。可设置采集一定数据量后,自动保存入库,自动清空内存。此功能可在占用系统资源很少的情况下,连续不间断地采集十万级和百万级数据。做到无人值守采集。
9.支持AJAX内容页面的采集,实现独立线程运行。QQ群号采集的好帮手。