日期:2014-05-16  浏览次数:20506 次

jdbc查询超大数据集内存溢出

今天使用jdbc的PreparedStatement查询语句如下:

?

  1. Class.forName( "com.mysql.jdbc.Driver" );??
  2. ????????String?url?=?"jdbc:mysql://localhost:3306/translate?characterEncoding=utf8" ;??
  3. ????????String?sql?=?"select?id,?title,?search_title,?content?from?article" ;??
  4. ????????Connection?conn?=?DriverManager.getConnection(url,?"root" ,? "123456" );??
  5. ????????PreparedStatement?ps?=?conn.prepareStatement(sql);??
  6. ????????ResultSet?rs?=?ps.executeQuery();??
  7. ????????rs.close();??
  8. ????????ps.close();??
  9. ????????conn.close();??

总是报这个错误:

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
?at com.mysql.jdbc.Buffer.getBytes(Buffer.java:198)
?at com.mysql.jdbc.Buffer.readLenByteArray(Buffer.java:318)
?at com.mysql.jdbc.MysqlIO.extractNativeEncodedColumn(MysqlIO.java:3567)
?at com.mysql.jdbc.MysqlIO.unpackBinaryResultSetRow(MysqlIO.java:3483)
?at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1391)
?at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2369)
?at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:451)
?at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2076)
?at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1451)
?at com.mysql.jdbc.ServerPreparedStatement.serverExecute(ServerPreparedStatement.java:1314)
?at com.mysql.jdbc.ServerPreparedStatement.executeInternal(ServerPreparedStatement.java:740)
?at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1467)

但是从网上找到的doc说,默认情况下不会出这个问题的,因为java回自动的优化不会导致内存溢出的。百思不得其解。

后来无意找到一个介绍,这么来做

就是给url连接字符串添加2个属性即可:useCursorFetch=true&defaultFetchSize=100

1 楼 isaiahzhong 前天  
           defaultFetchSize这个意思是说一次性取多少条数据是吗?好像hibernate里面有一个抓取策略,就是用来控制取多少条数据