日期:2014-05-16  浏览次数:20383 次

写内存,写文件,写数据库,如何权衡!
写内存,写文件,写数据库,如何权衡!
速度比较:写内存>写文件>写数据库
写内存快是快,但是内存中的数据是无法持久化的。
写文件比起写数据库速度快了很多,但是查询统计文件中的数据就非常困难了。
写数据库就是慢,特别是高并发的时候会锁表。

看看流量分析系统是如何权衡这三种的关系的:

流量分析系统会在每个要被统计的网站上放上一段js,每次网站的某一个页面被访问时这段js都会提交一次流量分析系统用与统计PV。所以流量分析系统的并发量是非常大的。
并发量如此之大,所以每次提交的数据不能直接写文件,更不能写数据库,所以只能写内存。在java中可以写入一个Static的Vector中,并用一个线程读取Vector中的数据,并每隔一分钟或半分钟写一次文件,文件名为“年月日时“,所以是每小时会生成一个新的文件。后台用一个perl或python的进程每小时去合并,分析这些文件,最后把分析后的结果会插入到数据库中。


服务器架构:多台日志收集服务器(写内存,线程写文件),一台文件分析服务器(perl,python),一台数据库服务器(oracle)

一起学习讨论一下。高并发下如何快速应对。
1 楼 bruce_luo 2007-08-15  
恩,我们以前做的一个日志分析系统也是这样做的,全JAVA写的!理论上是一样的!
2 楼 wangrui 2007-08-19  
我目前正在做一个监控系统,也遇到这种问题.目前的做法是:缓存-定时分析写库.将库中分析结果反映到监控画面.但是实时性比较差.
3 楼 bromon 2007-08-20  
我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的
4 楼 liquidthinker 2007-08-20  
bromon 写道
我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的


我也用这种方式,总之就是用异步方式处理这种问题,可以用jms+mdb或者工作队列