导航测试时,未进行url编码处理
如果是导航页,中间层及内容页无法进行自动翻页
针对屏蔽IP的防采集网站,暂没有提供应对策略。
如果网站cookie在访问过程中动态变化,则无法获取最新cookie
修正具备导航、下一页自动翻页时,到最终页自动翻页的错误,请下载最新版本。
今日发现一个重大bug,添加任务分类,分类名称不允许为空,但如果为空,系统还会默认增加,如果此时删除此为空的分类,则会删除所有分类的所有内容,包括采集任务信息。bug已改,请务必更新。非常重要!
更新版本,修正多层导航在处理相对网址时的bug,如果您的任务存在多层导航,请务必下载最新版本。
另外:导航层级越多,系统需要导航的探测的时间就越长,需要耐心等待,有可能您只是输入了一个网址,但进行了两层导航,最终就有可能解析出几千个网址,所以这个解析过程会花费一些时间,并不是系统死机。 同时,多层导航也需要慎用,当前系统并不支持大数量的采集,即所有数据都缓存在内存中,如果解...
[更多...]
请尽快下载最新版本,老版本Web发布数据存在bug导致部分网站无法进行发布,请更新最新版本,谢谢!
预计两周增加数据输出控制功能,具备此功能后,可更加精确的控制数据输出的格式及内容,可有效的提升数据采集质量。
最新更新,修正功能:增加了导航的支持,可支持子域名的导航,也可支持更复杂规则的导航配置。具体可参见系统关于“更复杂导航规则”的帮助。