日期:2014-05-20  浏览次数:20581 次

大数据量 求效率
现在的问题是,我们在做一个项目的统计。但是数据量非常的大。可能有几十亿。
然后独立一个程序专门做统计,在框架选择方面,谁有没有好的意见?在网上看到Hadoop,不知道谁有没有这方面的经验?

------解决方案--------------------
hadoop一般是用來處理特別大的數據的,一般是 T級別的。采用分布式存儲,其實就是借助非結構化的dbms存儲在硬盤中。

------解决方案--------------------
当前比较流行的云计算可能比较适合楼主的问题。
每个程序负责其下的1万个节点的统计,任何一个节点发生变化,均向其父节点报告,这样的话,分四级,可覆盖1万亿的数据量,远远超过楼主的几十亿。