写内存,写文件,写数据库,如何权衡!
写内存,写文件,写数据库,如何权衡!
速度比较:写内存>写文件>写数据库
写内存快是快,但是内存中的数据是无法持久化的。
写文件比起写数据库速度快了很多,但是查询统计文件中的数据就非常困难了。
写数据库就是慢,特别是高并发的时候会锁表。
看看流量分析系统是如何权衡这三种的关系的:
流量分析系统会在每个要被统计的网站上放上一段js,每次网站的某一个页面被访问时这段js都会提交一次流量分析系统用与统计PV。所以流量分析系统的并发量是非常大的。
并发量如此之大,所以每次提交的数据不能直接写文件,更不能写数据库,所以只能写内存。在java中可以写入一个Static的Vector中,并用一个线程读取Vector中的数据,并每隔一分钟或半分钟写一次文件,文件名为“年月日时“,所以是每小时会生成一个新的文件。后台用一个perl或python的进程每小时去合并,分析这些文件,最后把分析后的结果会插入到数据库中。
服务器架构:多台日志收集服务器(写内存,线程写文件),一台文件分析服务器(perl,python),一台数据库服务器(oracle)
一起学习讨论一下。高并发下如何快速应对。