超级大容量数据库设计问题,年存储4万亿条记录。
一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用MySQL,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。
说明:
1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受;
2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;
------解决方案--------------------这个数据量,恐怕只有ORACLE胜任了
------解决方案--------------------
------解决方案--------------------你的用户是百度谷歌吧?
------解决方案--------------------前使用MySQL,无法满足要求
为什么
------解决方案--------------------hadoop
------解决方案--------------------一秒钟有十几万条记录产生,太厉害了!
------解决方案--------------------楼主瞎折腾。。
什么项目,,有这么大请求啊。
------解决方案--------------------
------解决方案--------------------
------解决方案--------------------NoSQL
------解决方案--------------------按天 分表 分库
------解决方案--------------------DB2啊DB2
------解决方案--------------------无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
------解决方案--------------------一秒十几万记录是什么数据啊,短信也没这么多吧
必须cluster+负载均衡
------解决方案--------------------楼主的大数据处理环境使用HBase+Hadoop+Hive,做分布式存储,后期做分布式计算,数据统计分析,挖掘之类的是一个可取的方案,可以说是解决这个大数据量利器。
------解决方案--------------------学习ing