日期:2011-07-26 浏览次数:20493 次
首先先介绍下侠客站群系统的流程。第一,我要写个采集游戏攻略的模块发布到我的网站,我的网站是织梦做的。第二当然是准备工作了,这次主要是说采集模块,发布模块有机会的吧,要不内容太多发布模块官方有很多,各种cms的发布模块侠客都为我们准备的很充分,功能也很完善。第三 最好学习下侠客为我们准备的学习视频。官方学习网址:http://www.xiake5.com/demo,规则测试工具下载地址可以侠客官方论坛下载。
我用的发布模块id=1173. 大家可以上在线获取。好吧,下面我就要开始了。
我们可以制作新模块,抓取和发布。单击即可。这个是建立模块的界面。当然要先修改模块信息,不要手懒哦,有利于自己的管理的。选择自己需要的抓取模式,四种采集,自由选择。模块参数,自定义和关键词抓取有三个流程,蜘蛛和同步追踪模式有两个流程。
先说明一下其它的地方:1 侠客可以保存自己的模块到本地,同时支持导入导出,推荐在本地保存。2 自定义抓取模式,顾名思义,当然是自己可以自由采集你需要的内容,推荐 学习下正则。 关键词抓取,根据定义好的关键词库进行抓取,可以获取相关的内容主题。 蜘蛛爬行,模仿蜘蛛,给出入口地址,则可以在全站无阻碍抓取。 同步追踪,及时跟踪目标站,根据目标站来进行及时抓取。 语料库自动重组,自动原创高质量文章。 这个部分,是用于第三方网站发布内容。
流程1 部分。选择自己的抓取编码,填写自己的抓取网站,即目标站。注意各个地方的编码格式要统一哦。
第一步:填写测试网址,用于测试规则。第二步:有两种方式提取,第一种,为可视化的,不会正则的朋友可以尝试,我们使用第二种。第三步:选择安装规则提取。第四步:为添加规则的面板。这里面根据第一步的选择不同,添加的规则会不同。
说明:提取分页的正则方式。找到分页的地方,使用regextest (上面有下载地址)进行测试。说明:\d 匹配数字。第二流程:内容链接的提取。
说明:我们找到内容代码部分。写出采集规则。我提供了两种,第二种让我贴到了规则描述 的地方。大家可以参考下。我这里选择的是正则方式提取,对应的是正则规则。第三流程:具体内容获得部分:
说明:填写基本信息。提取模式两种,规则和智能,我们为了说明问题,使用规则提取方式,让大家了解下正则。也可以提取分页,这里分页流程一的列表分页设置类似,这里不在赘语。
说明:提取标题,使用正则,同样,我们发现还有b标签,一会在提取后处理过滤掉即可。本来打算使用可视化引擎方式提取标题了,下次吧。
说明:正文内容的提取,找到正文的开始和结尾,写出正则,即可。方法一样。具体正则学习,在头部已经贴出侠客视频教程。
提取后处理,让我们过滤下正文内容。几个重要的标签过滤。说明:标签过滤。包括链接,脚本等影响网页布局和采集网站信息的内容,使用正则我们过滤掉。
流程四:现在我们保存我们的抓取规则,建立站点,添加任务。进行测试吧。
说明:一个站点可以设置多个任务,一个任务可以对应个采集模块,任务对应一个发布模块。
说明:采集开始了! 先获取列表,在获取内容。
说明:这个事文章库的信息,我们看下文章质量,如果有质量不好,我们可以选择替换库过滤或者重新修正采集规则,进行重新采集。站点设置:采集的质量,还行,我们这里不需要重新在来。下面是发布的具体设置:
说明:三个部分:第一部分为基本库。第二部分为模块设置。第三部分为测试发布。先登录在分类,在发布,如果发布成功,几乎差不多可以了。如果不成功,我们可以修改下发布模块或者重新获取下其它发布模块。
说明:测试登录
说明:测试获取分类
说明:测试发布文章,如果正常,即为侠客测试文章一篇。
说明:测试发布文章成功。
说明:侠客发布过程!
说明:发布成功网页。已经成功发布。
这个教程已经一步步带着大家进行了侠客的全流程采集过程。侠客还有其他强大的功能。我这个只是冰山一角,希望大家多多指导,提供宝贵意见,谢谢大家!