日期:2014-05-16  浏览次数:20654 次

超级大容量数据库设计问题,年存储4万亿条记录。
一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用MySQL,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。

说明:
  1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受;
  2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;

------解决方案--------------------
这个数据量,恐怕只有ORACLE胜任了
------解决方案--------------------
引用一秒钟有十几万条记录产生

------解决方案--------------------
你的用户是百度谷歌吧?
------解决方案--------------------
前使用MySQL,无法满足要求


为什么
------解决方案--------------------
hadoop
------解决方案--------------------
一秒钟有十几万条记录产生,太厉害了!
------解决方案--------------------
楼主瞎折腾。。

什么项目,,有这么大请求啊。
------解决方案--------------------
探讨
这个数据量,恐怕只有ORACLE胜任了

------解决方案--------------------
探讨
引用:
这个数据量,恐怕只有ORACLE胜任了


DB2的数据库也可以满足楼主的要求的。

------解决方案--------------------
NoSQL
------解决方案--------------------
按天 分表 分库
------解决方案--------------------
DB2啊DB2


------解决方案--------------------
无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
------解决方案--------------------
一秒十几万记录是什么数据啊,短信也没这么多吧
必须cluster+负载均衡
------解决方案--------------------
楼主的大数据处理环境使用HBase+Hadoop+Hive,做分布式存储,后期做分布式计算,数据统计分析,挖掘之类的是一个可取的方案,可以说是解决这个大数据量利器。
------解决方案--------------------
学习ing