几百万数据的数据库查询
大半夜的我这有一个很严重的问题一直困扰这我
一个数据库(SQL2008)里面有一张收支明细表:字段如下
Mark(1=收入,2=支出)
ID(自增) Messages Mark Money CreateTime
1 您xxxx收入xx元 1 10.00 2012-11-01 20:10:10
2 您xxxx支出xx元 2 10.00 2012-11-01 21:10:10
3 您xxxx收入xx元 1 10.00 2012-11-01 22:10:10
4 您xxxx收入xx元 1 10.00 2012-11-01 23:10:10
...
2000000 您xxxx支出xx元 2 10.00 2012-11-01 23:30:10
这张表每天插入的数据大概是 几十万条数据左右
每30分钟插入一些数据(这个每次插入也有几万),期间还有零零散散的一些插入
问题就出现在这里 每次在插入的时候
执行(简单的SQL)查询就没法查询了 一直显示请求超时直到插入完毕才恢复
数据量小的时候没发现这个问题 直到后面数据量越来越大已经到了200多万了 真的是查询也费尽插入更费劲
还有操作数据库用的普通的 ADO 希望这里有接触过百万数据的高手指点下 没接触的也可以帮帮忙
帮忙给出解决方案
------解决方案--------------------首先,说点技术外的问题:
一边在插入,一遍查询,这样的结果有意义吗?
也就是说,你们的业务需求应该稍微调整下,
至少保证查到有意义的结果。
下面解决技术问题:
1>优化插入算法,分小批次插入。
2>优化表索引
3>查询语句中,表名后面全部加上with(nolock)
4>几百万数据不算很严重,除非你那太机器太差,运行的东西又太多!!!
大数据的机器,致少要保证足够的内存!!
就说这么多吧,其他的自己再慢慢查吧