日期:2014-05-18  浏览次数:20451 次

求解决方案
公司正在做的一个项目
将来数据量可能非常大
客户端每请求一次,就会有一条记录,日数据估计几千万,甚至上亿,字段大约10来个,里面的数据会按各种条件进行汇总

自己想到下面3个方法

1.每天自动创建一个表存储当天的数据,时时汇总,半夜就把数据移到另一个服务器的历史数据库
2.按小时创建24张表,自动汇总前一个小时的数据,然后移动到历史数据库,然后清除数据。
3.使用SQL2008的分区功能,貌似要多个硬盘才能体现性能

24张表分散了数据,应该性能最好,单表2-3000W的数据,速度应该还行
求方案,谢谢!

------解决方案--------------------
原始记录做一个分区表.
汇总的数据每天计算到另一个结果的表.
查的时候直接查这个结果表就可以了
------解决方案--------------------
楼主已经考虑得很全面了,这么大的数据量,估计要用存储了吧?

普通服务器估计存不下来,而且备份恢复是个问题,如何确保高可用性需考虑喔.
------解决方案--------------------
这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
------解决方案--------------------
不懂,学习,其实楼主已经有倾向了,个人觉得第二种方案比第一个好。
------解决方案--------------------
日数据估计几千万,甚至上亿

---------------------------------

这么大的数据量,估计哪个数据库都不好使.

建议使用oracle.

祝楼主好运.
------解决方案--------------------
不查询只添加的时候只有表索引多了才会影响效率,24小时的做法没必要,增加了程序复杂度,定点转移数据就行,然后建议使用Oracle,如此多的并发对SQLServer是一种灾难。

按你1亿/天的估算,数据量将达到1157条/秒,就算是磁盘阵列,一台服务器估计也顶不住,建议多搞几个服务器,TCP连接数也是有限制的,最好应用服务器和数据库服务器分开。
------解决方案--------------------
建议oracle,最好大数据量处理用hadloop.
------解决方案--------------------
为什么数据量一大,就建议使用ORACLE呢,好像oracle成了万能的选择了。
------解决方案--------------------
你都想到方案了,性能调整没有最好,只有更好。先按自己想的去搞,出问题再想办法。大数据的情况下,很多解决方案都归纳为分库、分表了
------解决方案--------------------
云计算的存储体系