一孑 posted on 九月 15, 2009 05:48

昨日又更新了一个版本,增加了一些便捷的操作,譬如:任务分类改名、任务改名、任务拷贝粘贴等,同时也修正了一些bug。增强了字典的管理功能。

最近收集到的一些问题,在此也做一个统一答复:

1、数据加工,当前系统提供了一些简单的数据加工操作,譬如:字符串替换、增加前缀后缀等等,但针对数据的复杂加工并不是Soukey采摘当前的主要内容,Soukey采摘当前主要还是以采集数据位目标,后期会提供更完善的数据加工操作(排序,条件输出、简单的语义分析等等),但肯定不如专业的数据加工工具便捷,在此希望网友可以理解。不过当前提供的数据加工操作,基本上可以满足大部分采集任务对数据输出的要求。

2、大数据量的采集,当前Soukey采摘对大数据量的采集支持的并不是很好,因为采集的时候所有的数据都是缓存在内容中的,同时还要读写网址的标志,所以在大数据量采集的时候,系统的性能会很慢,一是因为系统由于缓存大量采集到的数据占用了大量的内存资源,二是由于处理大数据量系统的附加校验影响了运行性能,在此希望各位用户如果在采集大量数据时,可将任务分解后再进行采集,否则有可能带来系统反映慢、或长时间无响应的问题。此项内容后期肯定会完善,提供对大数据量采集任务的支持。

3、任务采集的配置确实是一件比较痛苦的事情,所以,后期会提供一些任务配置教程,如果大家在配置采集任务中遇到问题,请及时发邮件告知,谢谢!


评论

不允许评论

Blog Roll

    最新评论

    一孑工作室声明
    本站文章均为原创,如果转载请注明出处。

    © Copyright 2010『一孑工作室』
    管理我的网站
    京ICP备10018014号