小弟有个项目,大数据,现在风雨飘摇地坚持着
描述下项目:
oralce为数据支撑,jdbc访问,网站形式展现,目前主要做查询操作。数据库中数据来自文件,文件按照规则解析后入库,成为最重要的基础表,目前已经存在近3000W条(查询效率低下所以对表已经分区)。通过计算基础表生成多张附表。
现在新需求过来,增加实时接收数据,分析数据的功能。也就是对3000W数据量的基础表做插入,对其他附表也要重新计算。当前的查询基本都需要10秒多,慢的半分钟时间。接下来更改后我有点无从下手,对之后实时更新数据库期间对数据库查询这些效率影响问题无法想象。不知道hadoop能否用于这个项目
------解决方案--------------------hadoop是不适用支持OLTP的,也就是不好做实时更新
而且如果把数据存储在HIVE里面,查询的延迟也很高,通常也要十几秒朝上
3000W的数据还弄不上hadoop,而且hadoop也无法满足你的需求。
还是多在oracle调优上下功夫吧