java存储文件问题
大神些帮想个解决方案呢?
我现在做日志监控系统,就是采集很多台机子的日志,log文件,采集的时候是一条一条采集,然后存myql数据库
即一条打印信息存一条记录,这样长久肯定不行,数据量太大,就想定时把记录从数据库中导出来,因为还要提供给用户日志查询功能,这种情况下,我应该把数据库里存的日志记录导成什么呢?既方便存储又方便查询?
------解决方案--------------------导出为excel
------解决方案--------------------
你可以自己动手做个数据了,另外在做个全文搜索引擎!锻炼人的好机会呀!
------解决方案--------------------第一,数据库不是你想象的那么小。存上百万条数据是轻轻松松的。如果量实在太大,可以做一个定时器,每星期删掉些数据
第二,采用非结构化数据,比如lucene。做个全文搜索引擎。查询效率不是一般的快。
------解决方案--------------------看需求吧,如果单说存储的话日志文件本身不就存着日志么
把日志分门别类存成子文件,这样查询的时候按类型只查询某个类别的日志就行了
日志查询不一定要用mysql吧,感觉大材小用了
------解决方案--------------------楼主想做查询 要看查询的条件复不复杂 复杂的话 估计确实要lucene来解决