求解决方案
公司正在做的一个项目
将来数据量可能非常大
客户端每请求一次,就会有一条记录,日数据估计几千万,甚至上亿,字段大约10来个,里面的数据会按各种条件进行汇总
自己想到下面3个方法
1.每天自动创建一个表存储当天的数据,时时汇总,半夜就把数据移到另一个服务器的历史数据库
2.按小时创建24张表,自动汇总前一个小时的数据,然后移动到历史数据库,然后清除数据。
3.使用SQL2008的分区功能,貌似要多个硬盘才能体现性能
24张表分散了数据,应该性能最好,单表2-3000W的数据,速度应该还行
求方案,谢谢!
------解决方案--------------------原始记录做一个分区表.
汇总的数据每天计算到另一个结果的表.
查的时候直接查这个结果表就可以了
------解决方案--------------------楼主已经考虑得很全面了,这么大的数据量,估计要用存储了吧?
普通服务器估计存不下来,而且备份恢复是个问题,如何确保高可用性需考虑喔.
------解决方案--------------------这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
------解决方案--------------------不懂,学习,其实楼主已经有倾向了,个人觉得第二种方案比第一个好。
------解决方案--------------------日数据估计几千万,甚至上亿
---------------------------------
这么大的数据量,估计哪个数据库都不好使.
建议使用oracle.
祝楼主好运.
------解决方案--------------------
不查询只添加的时候只有表索引多了才会影响效率,24小时的做法没必要,增加了程序复杂度,定点转移数据就行,然后建议使用Oracle,如此多的并发对SQLServer是一种灾难。
按你1亿/天的估算,数据量将达到1157条/秒,就算是磁盘阵列,一台服务器估计也顶不住,建议多搞几个服务器,TCP连接数也是有限制的,最好应用服务器和数据库服务器分开。
------解决方案--------------------建议oracle,最好大数据量处理用hadloop.
------解决方案--------------------为什么数据量一大,就建议使用ORACLE呢,好像oracle成了万能的选择了。
------解决方案--------------------你都想到方案了,性能调整没有最好,只有更好。先按自己想的去搞,出问题再想办法。大数据的情况下,很多解决方案都归纳为分库、分表了
------解决方案--------------------云计算的存储体系