日期:2014-05-18  浏览次数:20622 次

系统架构问题
    现在需要处理一大批数据(上千万),要求同时处理,实时性要求高,而且各个数据之间需要进行通信,大概每秒处理一次,然后保存结果,接下来,在上一批结果的基础上再进行处理,保存,重复操作。求推荐系统架构和存储技术。

------解决方案--------------------
貌似hadoop可以处理你说的问题。
------解决方案--------------------
引用:
Quote: 引用:

处理一批数据,千万级别,数据之间要通信

这需求完全看不懂,把你的需求描述得详细一点

千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩
数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。


不知道你有没有实测过,千万数据,加好索引别说oracle,连mysql都可以搞定