解析日志文件插入数据库(Java怎么设计可以获得高性能)-数据库教程-爱易网页

解析日志文件插入数据库(Java怎么设计可以获得高性能)

日期：2014-05-16　浏览次数：20511 次

解析日志文件插入数据库(Java如何设计可以获得高性能)
日志文件格式如下:

2007-12-25 08:55:17,421 INFO  com.footmark.b2bifq.util.B2BIFQHandler - *** Session request started ***
2007-12-25 08:55:17,437 INFO  com.footmark.b2bifq.util.B2BIFQHandler - *** Session request started ***
2007-12-25 08:55:45,046 INFO  com.footmark.b2bifq.util.B2BIFQHandler - *** Session response ended ***
2007-12-25 08:55:46,796 INFO  com.footmark.b2bifq.util.B2BIFQHandler - *** Session response ended ***

每一行对应数据库的一条记录,因为每天会产生上万条日志记录,怎样设计才能获得高性能.如果读一条,插入一条的话,速度太慢了.
请各位指点迷津,有没有别的好的设计(高性能)或用有的框架.谢谢

1 楼 duooluu 2008-03-10

同问，用户一天产生10G左右的日志文件
要求入库，头大了

2 楼 crofton 2008-03-10

为何要插入数据库？

3 楼 neuzhujf 2008-03-10

可以用异步的log，就是把log输出交给其他线程来做，log4j有这样的功能。
要不做个缓存，比如把1000条log数据放到list中，然后一次DB连接，把所有的纪录插入到DB中。

上面两个方法可以结合

4 楼二十一 2008-03-10

mq也可以实现啊，反正就是异步了

5 楼 huanglppp 2008-03-11

夜间了,只是想,性能上能有很大的突破,能否给出实例

6 楼 LifeFree 2008-03-11

log4j本身就支持写入数据库中，只是一个配置的问题。
关键是有必要把大把大把的数据写入数据库吗？

7 楼 idragon 2008-03-11

Log4J本身支持将日志异步写入数据库。参考SpringSide的文章：http://wiki.springside.org.cn/display/springside/Log4j

8 楼 pickerel 2008-03-11

一天上万条的数据量一点也不大啊。

10G倒是不小。

如果不要求实时的化，用数据库本身的导入解决方案吧，比如mysql用LOAD DATA(应该用jdbc也能调用的)，效率很高的，不过10G的文件的话还是建议文件分割之后再LOAD，表也不要设置索引什么的以提高导入效率，如果记录数太多，建议分表存储。

如果不用数据库本省的解决方案，那可以用jdbc的executeBatch，当然效率也不见得能提供很多，使用jdbc的时候注意：
1.不用在操作过程频繁打开关闭连接，一个连接开了，尽量就一直用下去。
2.去除表索引。
3.多线程处理，每个线程用单独的数据库连接。
4.分表或者多个线程同时向多个数据库服务器插入，以后再想办法合并处理。

9 楼 helloboy9527 2008-03-12

perl，awk，load data，这种数据量还不算大，亿条日志都不成问题。

10 楼 dennis_zane 2008-03-12

一万条？这个数据量根本谈不上大，用perl或者直接awk搞个shell脚本，弄到crontab里每天晚上跑就不就完了，这种活java干起来烦

11 楼 pig345 2008-03-14

典型的系统维护任务，unix/linux下脚本该干的活儿。

12 楼小蚯蚓 2008-03-14

想问一下楼主，将日志插到数据库的主要目的是什么？
如果是转化为相应的业务日志，提供给用户查询，那么就需要即时插到数据库，而不能缓存到一定量，一次性插入
现在我们的项目用的是AOP截取日志，扩展了JDBCAppender用连接池插入到数据库。

13 楼 duooluu 2008-03-17

与log4j无关了，日志是别的系统生成的
如果是自己的系统入库那就修改一下代码也不麻烦啊
问题可以简化成：给你一个10G的有一定格式的文件，怎样高效地提取每一行有用的数据然后入库

14 楼 leoyu 2008-03-18

<appender name="database"
class="org.apache.log4j.jdbc.JDBCAppender">
<param name="BufferSize" value="5" />
<param name="Driver" value="com.mysql.jdbc.Driver" />
<param name="URL"
value="jd

免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

解析日志文件插入数据库(Java怎么设计可以获得高性能)

相关资料更多>

推荐阅读更多>