日期:2014-05-16  浏览次数:20436 次

创建通用的分组索引查询

        谷歌地图原理给人印象深刻,JadePool针对百万条、甚至千万条的大数据创建的分组索引查询,就是借鉴了这一做法。

        谷歌地图原理是把巨大的全球地图分割成一张张100px*100px的小图,查找地图时,给用户加载了(N+2)*(N+2)张小图,每次在屏幕上只显示中间N*N张相连的小图,当鼠标拖动时,如向左侧拖动时,屏幕外最左侧一列图片被挤出队列,屏幕外右侧一列图片进入屏幕右侧,新的相邻的一列小图被预加载到右侧屏幕外,如此生生不息,给用户带来了平滑地浏览全球的感觉。

        如果一个表,其中的记录只有几百条、几千条,我们没有必要去费什么心思;如果记录有上万条、甚至千万条,我们必须认真对待。对记录创建分组索引相当于把全球地图分割成一张张小图,在建立了分组索引后,可以按照指定位置准确查询某一组记录

        具体的做法是这样的
                首先,按照顺序或者倒序查询表的第一个主键,通过ResultSet结果,获取主键在查询结果中的位置信息,记录的位置是从1开始计算
                二是对主键索引的位置信息进行分组,默认的步长是1000,如果有1000万条记录将被划分成1万组,会生成1万个索引节点;
                三是通过指定节点查询一组记录,默认情况下通常是1000条记录,不足1000条的则是余下的全部记录。
        此外,JadePool根据分组索引的结果,实现了另外两个方法
                一是通过指定位置开始,查询一组指定长度的记录;
                二是通过指定位置查询一条记录。

        ProcessVO调用底层的核心方法private IndexNode[] _indexNodes(String tableName, boolean rebuildIndexNodes) throws SQLException创建表的分组索引,针对主键创建的分组索引信息保存在DbCenter有限多列模式的一个实例中。DbCenter的实例管理了一组Table对象。
        在Table类中,有一个IndexNode[] indexNodes数组,它保存着每一个表的主键分组索引信息。使用默认步长1000,每增加1000条记录创建一个节点,最后一个节点保存最后一条记录信息,每个节点记录表的第一个主键值以及按该键顺序查询结果的行数。默认的步长可以通过ProcessVO的public void setIndexNodesStepLength(int indexStepLength)方法修改。
        IndexNode类有两个属性,第一个主键值firstKeyValue和行数row。

        private IndexNode[] _indexNodes(String tableName, boolean rebuildIndexNodes) throws SQLException源代码

    /**
     * 创建表的索引节点数组<br/>
     * 使用默认步长1000,每增加1000条记录创建一个节点,最后一个节点保存最后一条记录信息,每个节点记录表的第一个主键值以及按该键顺序查询结果的行数<br/>
     *
     * @param tableName 表名
     * @param rebuildIndexNodes 是否无条件重建
     * @return 返回IndexNode数组
     * @throws SQLException
     */
    private IndexNode[] _indexNodes(String tableName, boolean rebuildIndexNodes) throws SQLException {
        Table table = db.getTable(tableName);
        String key = db.getFields(tableName)[0];
        if (db.getKeys(tableName).length > 0) {
            key = db.getKeys(tableName)[0];
        }
        int length = (int) this.queryCount(tableName);
        int nodeNums = (int) Math.ceil((double) length / (double) indexStepLength);
        IndexNode[] nodes = db.getTable(tableName).getIndexNodes();
        if (nodes == null) {
            nodes = new IndexNode[nodeNums];
        } else if (nodes.length == 0) {
            nodes = new IndexNode[nodeNums];
        }
        int countInNodes = 0;
        if (nodes[nodes.length - 1] != null) {//======= ====
            countInNodes = nodes[nodes.length - 1].getRow();//最后一个节点保存了记录总长度(总行数)信息
        }
        boolean b = false;
        if (table.getIndexStepLength() != indexStepLength) {
            b = true;
            table.setIndexStepLength(indexStepLength);
        } else if (rebuildIndexNodes) {
            b = true;
        } else if (countInNodes == 0) {//无条件重新建立索引
            b = true;
        } else if (length > countInNodes) {
            b = true;
        }
        if (b) {
            String querySql = "select " + key + " from " + tableName + " order by " + key;
            stmt = con.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_READ_ONLY