一尘不染

使用MySQL流式传输大型结果集

mysql

我正在开发一个使用大型MySQL表的spring应用程序。加载大表时,我得到一个OutOfMemoryException,因为驱动程序试图将整个表加载到应用程序内存中。

我尝试使用

statement.setFetchSize(Integer.MIN_VALUE);

但是然后我打开的每个ResultSet都挂了close();
在网上查看时,我发现发生这种情况是因为它尝试在关闭ResultSet之前尝试加载所有未读的行,但事实并非如此,因为我这样做是:

ResultSet existingRecords = getTableData(tablename);
try {
    while (existingRecords.next()) {
        // ...
    }
} finally {
    existingRecords.close(); // this line is hanging, and there was no exception in the try clause
}

小表(3行)也会发生挂起,如果我不关闭RecordSet(在一种方法中发生),则会connection.close()挂起。


挂起的堆栈跟踪:

SocketInputStream.socketRead0(FileDescriptor,byte [],int,int,int)行:不可用[本机方法]
SocketInputStream.read(byte [],int,int)行:129
ReadAheadInputStream.fill(int)行:113
ReadAheadInputStream。 readFromUnderlyingStreamIfNecessary(byte
[],int,int)行:160
ReadAheadInputStream.read(byte [],int,int)行:188
MysqlIO.readFully(InputStream,byte [],int,int)行:2428
MysqlIO.reuseAndReadPacket(Buffer ,int)行:2882
MysqlIO.reuseAndReadPacket(Buffer)行:2871
MysqlIO.checkErrorPacket(int)行:3414
MysqlIO.checkErrorPacket()行:910
MysqlIO.nextRow(Field [],int,boolean,int,boolean,boolean,布尔值,缓冲区)行:1405
RowDataDynamic.nextRecord()行:413
RowDataDynamic.next()行:392 RowDataDynamic.close()行:170
JDBC4ResultSet(ResultSetImpl).realClose(boolean)行:7473
JDBC4ResultSet(ResultSetImpl).close()行:881 DelegatingResultSet.close ()行:152
DelegatingResultSet.close()行:152
DelegatingPreparedStatement(DelegatingStatement).close()行:163
(这是我的课程)Database.close()行:84


阅读 256

收藏
2020-05-17

共1个答案

一尘不染

不要关闭ResultSet两次。

显然,当关闭a时,Statement它尝试关闭相应的ResultSet,如您在堆栈跟踪的这两行中所见:

DelegatingResultSet.close()行:152
DelegatingPreparedStatement(DelegatingStatement).close()行:163

我原以为挂断电话了,ResultSet.close()但实际上是挂断Statement.close()电话的地方ResultSet.close()。由于ResultSet已经关闭,因此它刚刚挂起。

我们用替换了所有ResultSet.close()results.getStatement().close()并删除了所有Statement.close(),现在问题已解决。

2020-05-17