网络矿工数据采集软件

序号	功能	说明
1	多任务、多线程，支持一个任务运行多个实例；	采集规则与运行实例分离的好处是修改任务信息后，并不影响已经运行的任务；
2	支持图片、Flash及文件下载；	下载并不支持多线程处理，所以，也不建议采用此软件建立专业的下载任务；
3	网址配置支持参数定制，及外部字典参数；	通过字典方式可扩展自定义的参数值；
4	支持Cookie、POST采集；	可记录Cookie，采集需要登录的网站数据，也可通过手工登录进行采集；
5	支持导航、自动翻页；	可进行网址导航，譬如：通过新闻列表采集新闻内容；支持多层导航；
6	可采集Ajax数据；	关于Ajax技术网站，需要通过HTTP嗅探器探测其真实地址；推荐使用Fiddler；
7	采集数据临时存储、断点续采；	临时存储数据格式为XML；
8	支持数据导出，文件、数据库；	数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导出支持手工和自动，手工导出仅支持文件形式；
9	在线数据发布；	支持在线数据发布，数据发布支持Cookie；
10	数据采集支持采集数据加工；	可对采集数据进行字符串替换、截取、附加等操作，可自动去除网页符号，支持正则；
11	支持任务计划；	可定时执行任务，最小间隔为：0.5小时；
12	支持任务触发器；	可触发Soukey采摘任务、数据库存储过程及可执行文件，支持采集完成及发布完成触发；
13	提供网址编/解码工具；	支持UTF-8、GB2312、GBK、Big5；
14	提供Mini浏览器；	可用于Cookie及POST数据的捕获；
15	软件界面支持多语言	网络矿工仅支持中文简体，后期会扩展英文版本；
以上功能集成Soukey采摘数据采集软件，以下功能为网络矿工数据采集软件独有，同时还在增加中，有关详细内容可参见博客；
16	直接入库；	可将采集的数据直接存入数据库，利用此种方式，系统可采集成百上千万条数据，而不影响系统性能。数据库支持Access、MS Sqlserver及MySql。
17	采集数据输出数据多种规则加工；	对采集数据可实现多种数据加工规则的应用，通过此方法，可以更加灵活的采集到需要的数据内容。譬如：采集到文章之后，可以通过去除网页标识，去除原有文章格式，再通过字符串替换，可以重点显示您需要显示的关键字或文章段落。此过程一次性完成，无需再进行后期数据加工。
18	提供数据加工模块；	可对采集数据灵活的进行数据修改，调整表结构，然后再进行数据发布操作。同时还可利用此功能实现外部数据的加工及发布操作。
19	支持导航层分页；	利用此功能可以按照简化采集任务的配置，甚至可以通过一个入口地址采集所有的信息内容。
20	支持采集数据网址的自动输出；	可作为内容引用、错误查找使用；
21	支持任务计划输出到同一个采集文件；	可应用为数据递增采集；
22	支持数据合并；	可应用于分页文章采集，并自动合并成一篇文章的采集形式；
23	提供采集规则分析器；	通过采集规则分析器，可方便的查看采集规则配置的正确性；
24	支持代理服务器；	当前仅支持HTTP代理；
25	增加导航提取范围；
26	增加自定义导航规则处理；	大部分导航都是由可识别的Url进行的，但也存在特殊情况，譬如：是由提交表单来完成，针对此种情况采用此功能可实现对导航规则的处理；
27	支持外部参数采集任务；	利用此种类型的采集任务可以再本地配置搜索引擎，用户网站信息的搜索；典型应用：企业黄页查询；
28	支持采集延时；	针对访问限制的网站，可采用采集延时控制单位时间内对网站的采集次数；
29	支持分层数据采集；	即通常所说的分页采集、级联采集，支持1对1及1对N的数据关系；
30	支持Url Base64编码	针对部分网站采用Base64编码Url进行了支持，可采集此类网站数据；
31	支持外部字典数据导入	可成批导入字典数据；
32	支持HTTP Headers自定义	支持HTTP Headers自定义；
33	提供网络监控雷达服务	可根据用户规则监控网络数据，并及时预警、处理；
34	提供正则分析工具	辅助分析采集规则配置的正确性；