最近一直有用户在咨询网络矿工的使用,我们建议是用户先通过在线帮助提供的帮助文档和视频进行掌握,因为软件操作并不复杂。但实际效果并不是很好。思来想去,感觉当前最大的问题是由于数据采集过程中涉及的一些技术内容阻碍了用户对软件操作的掌握。所以,我们准备对数据采集范畴内所涉及的一些技术点进行一次简单的讲解,并结合网络矿工数据采集软件,整理合成这个培训系列文章。
废话少说,先开始快速入门。
网页数据之所以可以采集,是由其技术及应用特点所决定的。我们都知道,上网是需要浏览器的,当前主流的浏览器有:IE(7、8)和Firefox还有Google的chrome,国内也有很多软件厂商都...
[更多...]
Posted in:
在线培训 ,
最新动态 Tags:
网络矿工个人版发布,当前仅提供30天试用版本,使用一段时间后,正式接受注册。
网络矿工个人版价格初步定为:158元,提供在线支持服务,并提供一次远程协助服务。
网络矿工个人版当前与Soukey采摘功能相差不多,后续会完善一些。一孑工作室主要还是侧重于服务的提供。
可到 http://www.yijie.net/download.html 进行下载。
网络矿工在数据采集方面,对结构化数据的支持是非常好的,但此时就会带来一个问题,当大量数据采集下来保存的时候,性能问题该如何解决。
最近遇到好多客户都在采集大量数据,数据量都在几百万的数据量,在这个过程中多多少少的都遇到了问题。在此给出一些建议以供参考:
1、网络矿工是一个数据采集软件,不是一个数据库管理软件,所以,数据性能的问题并非是网络矿工可以解决的,这是非常重要的,如果数据性能下降,意味着采集的性能就会受到影响。这是一个相互影响的问题,因为数据插入是在网络矿工中完成,insert的性嫩嫩个降低,无形就降低了采集性能;
2、如果您遇到的是一个大数据量的采集任...
[更多...]
Posted in:
技术文档 ,
在线培训 ,
最新动态 Tags: