日期:2013-10-07  浏览次数:20527 次


数据抽取

理论上的关系型数据库,数据是以关系的方式存在。通常我们都可以把它们视为一种集合。这样,数据普通是以无序的方式存在的。这种做法的好处自不用多加讨论了,不过我们也得承认,有时这样也会带给我们一些麻烦。我最近就遇到这么一件。

我在网上遇上我的一个老同学,他提出了这样一个问题。有一个表(假设就叫myTable),表中有三个整型字段(假设就叫A11,A12,A13),其上有一个独一键约束。如今他想要在这个表的数据中取一些样品。他希望从中A13的各个取值中,各取一条记录。然后我问他,对A11和A12有什么要求吗?他说,没有,怎样取都可以,有没有规律都行。我想当然的说,简单,给我二十分钟。

有一个笑话不知你们听过没有。说很久以前,一个大数学家讲课,有先生问他能不能证明四色定理。他说,那容易,我如今就证给你们……然后他写啊写啊……想啊想啊……不断想到下课也没证出来,然后外面打了一个大大的响雷,他自嘲说,上帝也被我的狂妄激怒了……

什么,你问我刚才的问题怎样样了?我通知你,二十分种,不不,四十分钟,不不,好像是一个小时……后来到半夜了,外面开始打雷……我对我的同学说,老兄,我错了,让我把这问题拿回去想想先……

以下是一个示例,我随便录了些数据进去

A11 A12 A13

----------- ----------- -----------

0 0 0

0 0 1

0 1 1

1 1 1

1 1 2

1 2 2

2 2 2

2 2 1

2 2 3

2 1 3

2 3 3

3 3 1

3 3 2

3 2 3

3 2 1

3 2 2

3 1 1

3 1 2

3 1 3

一开始,我是想用一个SELECT MAX(A11), MAX(A12), A13 FROM myTable GROUP BY A13,后来用脚趾头想了想,发现不可能。由于 MAX(A11)和MAX(A12)都只依赖于分组子句 GROUP BY A13。显然这样MAX(A11)和MAX(A12) 不一定会是同一条记录中的数据。就像下面这样:

A13

----------- ----------- -----------

0 0 0

3 3 1

3 3 2

3 3 3

留意,其实3, 3, 3这一行是不存在的。

然后我想,SELECT MAX(A11), MAX(A12), A13 FROM myTable GROUP BY A13, A12行不行?用SQL Server 试了试,也不对。 由于这样的话,它会先按 A13, A12来分组所前往的结果集,所以会比我们要的数据多的多。就像下面这样

A13

----------- ----------- -----------

0 0 0

0 0 1

3 1 1

3 1 2

3 1 3

3 2 1

3 2 2

3 2 3

3 3 1

3 3 2

2 3 3

诸如此类的傻事我还干了很多,后来我终于想明白我要什么数据了:取A12,A13,使得在所有按A13的值分组后,取每组中最大的A12,然后取整记录,使得A11是A12和A13满足前述条件后的最大的一个值。这样,我写出了一个语句:

SELECT

(SELECT MAX(I.A11) FROM myTable I WHERE I.A13 = O.A13 AND I.A12 = MAX(O.A12)) A11

, MAX(O.A12) A12

, O.A13 A13

FROM myTable O

GROUP BY O.A13

这行语句前往值如下:

A11 A12 A13

----------- ----------- -----------

0 0 0

3 3 1

3 3 2

2 3 3

同样的,我们可以解释它为最两个结果集,一个是 SELECT MAX(A11), MAX(A12), A13 FROM myTable GROUP BY A13,一个是 SELECT MAX(A12), A13 FROM myTable GROUP BY A13, A12,然所按A12和A13进行等值联接,这就是:

SELECT MAX(L.A11) A11

, MAX(L.A12) A12

, L.A13 A13

FROM myTable L

JOIN myTable R

ON L.A13 = R.A13

GROUP BY L.A13, L.A12

HAVING L.A12 = MAX(R.A12)

我个觉得这样子比较清新,不知各位以为如何?

理想上,这一类的数据抽取,不可能用一个简单查询得到,由于其中有一个字段要同时参予分组和统计。只要(理想上是只需)把我们的问题用SQL言语的思考方式描述清楚,答案也就得到了,一切就这么简单。

对于一类完全按行随机抽取的问题,除了化为Top n问题处理外,还有一个好主意就是在支持物理行号的数据库系统中,用rowid 或标识列之类的技术来处理,这样比较简单,就不多说了。

补充一句,以前我说过InterBase不支持自动标识列,但实际上,它也可以间接的实现。在InterBase中,我们可以Create一种叫 generator的全局变量,然后用一个触发器,结合一个函数叫GEN_ID的,就可以做到。虽说有点麻烦,但并非不可能。详细情况,大家可以查询 InterBase有关技术文档。

欢迎来信和我讨论技术问题:lx1978@263.net。