日期:2014-05-16  浏览次数:20458 次

使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)

以下资料整理自网络,觉的有必要合并在一起,这样方便查看。主要分为两部分,第一部分是对《db-data-config.xml》的配置内容的讲解(属于高级内容),第二部分是DataImportHandler(属于基础),第三部分是对db-data-config.xml的进阶(这个国内可能还没有人写过啊,我在google、baidu上都没有搜索到,最后可是拔代码,看solr的英文文档找的)

第一部分是对《db-data-config.xml》

query是获取全部数据的SQL
deltaImportQuery是获取增量数据时使用的SQL
deltaQuery是获取pk的SQL
parentDeltaQuery是获取父Entity的pk的SQL

?

Full Import工作原理
执行本Entity的Query,获取所有数据;
针对每个行数据Row,获取pk,组装子Entity的Query;
执行子Entity的Query,获取子Entity的数据。

?

Delta Import工作原理
查找子Entity,直到没有为止;
执行Entity的deltaQuery,获取变化数据的pk;
合并子Entity parentDeltaQuery得到的pk;
针对每一个pk Row,组装父Entity的parentDeltaQuery;
执行parentDeltaQuery,获取父Entity的pk;
执行deltaImportQuery,获取自身的数据;
如果没有deltaImportQuery,就组装Query

?

限制
子Entity的query必须引用父Entity的pk
子Entity的parentDeltaQuery必须引用自己的pk
子Entity的parentDeltaQuery必须返回父Entity的pk
deltaImportQuery引用的必须是自己的pk

第二部分是DataImportHandler

关于DataImportHandler的具体使用方法,详见下文,如果你英文超级好,那看这个链接吧:http://wiki.apache.org/solr/DataImportHandler

?

??大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入。

??????概览

???????? 目

  • ?????能够读取关系数据库中的数据。
  • ?????通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档??
  • ?????能够通过solr文档更新solr
  • ???? 提供 通过配置文件就能够导入所有数据的能力
  • ????? 能够发现并处理 由insert、update带来的变化(我们假定在表中有一个叫做“last-modified的列”)
  • ??????能够配置 “完全导入”和“增量导入”的时间
  • ????? 让读取xml文件,并建立索引成为可配置。
  • ????? 能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。

??????????设计思路

???????????这个Handler首先要在solrconfig.xml文件中配置下,如下所示。

??????????????????<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
??? <lst name="defaults">
????? <str name="config">/home/username/data-config.xml</str>??????
??? </lst>
? </requestHandler>

      从它的名字上,我们或许也可以猜到,
DataImportHandler正是requestHandler的实现。我们一共需要在两个地方配置文件中进行一些配置。
  • solrconfig.xml?。 data-config.xml必须在这个文件中配置,datasource也可以。不过,一般将datasource放在data-config.xml文件中。
  • data-config.xml
  1. ?
    1. ???怎样获取数据?(查询语句、url等等)
    2. ? 要读什么样的数据(关系数据库中的列、或者xml的域)
    3. ?? 做什么样的处理(修改/添加/删除)

??????跟关系数据库一起使用

?????????????下面几个步骤是必要的.

  • ?????定义一个data-config.xml 文件,并这个它的路径配置到solrconfig.xml 中关于DataImportHandler的配置中。
  • ????? 给出Connection的信息(假设你选择在solrconfig中配置datasource)
  • 打开DataImportHandler页面去验证,是否该配置的都配置好了。http://localhost:8983/solr/dataimport
  • 使用“完全导入”命令将数据从数据库中导出,并提交给solr建立索引
  • 使用“增量导入”命令对数据库发生的变化的数据导出,并提交给solr建立索引。