无效发挥数据库的最大效率

snapbug

Dec 2003 



1.     前言

数据库使用，在许多软件系统中经常用到，是开发中大型系统不可缺少的辅助。但如果对数据库资源没有很好地管理(如：没有及时回收数据库的游标(ResultSet)、Statement、连接 (Connection)等资源)，往往会直接导致系统的稳定。这类不稳定要素，不单单由数据库或者系统本身一方惹起，只要系统正式使用后，随着流量、用户的添加，才会逐渐显露。

 

在基于Java开发的系统中，JDBC是程序员和数据库打交道的次要途径，提供了完备的数据库操作方法接口。但考虑到规范的适用性，JDBC只提供了最直接的数据库操作规范，对数据库资源管理，如：对物理连接的管理及缓冲，期望第三方使用服务器(Application Server)的提供。

 

本文，以JDBC规范为基础，引见相关的数据库连接池机制，并就如果以简单的方式，实现无效地管理数据库资源引见相关实现技术。

 
2.     连接池技术背景2.1     JDBC
JDBC是一个规范，遵照JDBC接口规范，各个数据库厂家各自实现本人的驱动程序(Driver)，如下图所示:



 

使用在获取数据库连接时，需求以URL的方式指定是那品种型的Driver，在获得特定的连接后，可按照固定的接口操作不同类型的数据库，如: 分别获取Statement、执行SQL获得ResultSet等，如下面的例子 :


import java.sql.*;

…..

 

 

DriverManager.registerDriver(new oracle.jdbc.driver.OracleDriver());

Connection dbConn = DriverManager.getConnection(

“jdbc:oracle:thin:@127.0.0.1:1521:oracle”,

“username”, “password” );

 

Statement st = dbConn.createStatement();

ResultSet rs = st.executeQuery( “select * from demo_table” );

 

…some data source operation in here

 

rs.close();

st.close();

dbConn.close();


 

在完成数据操作后，还一定要关闭所有涉及到的数据库资源。这虽然对使用程序的逻辑没有任何影响，但是关键的操作。上面是个简单的例子，如果搀和众多的if-else、exception，资源的管理也难免百密一疏。好像C中的内存走漏问题，Java系统也同样会面临崩溃的恶运。所以

 

数据库资源的管理依赖于使用系统本身，是不安全、不稳定的一种隐患。

 
2.2     JDBC连接池
在标准JDBC对使用的接口中，并没有提供资源的管理方法。所以，缺省的资源管理由使用本人担任。虽然在JDBC规范中，多次提及资源的关闭/回收及其他的合理运用。但最稳妥的方式，还是为使用提供无效的管理手段。所以，JDBC为第三方使用服务器（Application Server）提供了一个由数据库厂家实现的管理标准接口：连接缓冲(connection pooling)。引入了连接池( Connection Pool )的概念 ，也就是以缓冲池的机制管理数据库的资源。

 

JDBC最常用的资源有三类:

-          Connection: 数据库连接。

-          Statement: 会话声明。

-          ResultSet: 结果集游标。

  分别存在以下的关系 ：



这是一种 ‘爷-父-子’ 的关系，对Connection的管理，就是对数据库资源的管理。举个例子: 如果想确定某个数据库连接(Connection)能否超时，则需求确定其（所有的）子Statement能否超时，同样，需求确定所有相关的ResultSet能否超时；在关闭Connection前，需求关闭所有相关的Statement和ResultSet。

 

因此，连接池(Connection Pool)所起到的作用，不只仅简单地管理Connection，还涉及到 Statement和ResultSet。

 
2.3     连接池(ConnectionPool)与资源管理
ConnectionPool以缓冲池的机制，在一定数量上限范围内，控制管理Connection，Statement和ResultSet。任何数据库的资源是无限的，如果被耗尽，则无法获得更多的数据服务。

 

在大多数情况下，资源的耗尽不是由于使用的正常负载过高，而是程序缘由。

 

在实际任务中，数据资源往往是瓶颈资源，不同的使用都会访问同一数据源。其中某个使用耗尽了数据库资源后，意味其他的使用也无法正常运转。因此，ConnectionPool的第一个任务是限制：每个使用或系统可以拥有的最大资源。也就是确定连接池的大小(PoolSize)。

 

ConnectionPool的第二个任务：在连接池的大小(PoolSize)范围内，最大限制地使用资源，缩短数据库访问的使用周期。许多数据库中，连接（Connection）并不是资源的最小单元，控制Statement资源比Connection更重要。以Oracle为例：

每申请一个连接（Connection）会在物理网络（如 TCP/IP网络）上建立一个用于通讯的连接，在此连接上还可以申请一定数量的Statement。同一连接可提供的活跃Statement数量可以达到几百。 在节约网络资源的同时，缩短了每次会话周期（物理连接的建立是个费时的操作）。但在普通的使用中，多数按照2.1范例操作，这样有10个程序调用，则会产生10次物理连接，每个Statement单独占用一个物理连接，这是极大的资源浪费。 ConnectionPool可以处理这个问题，让几十、几百个Statement只占用同一个物理连接， 发挥数据库原有的优点。

通过ConnectionPool对资源的无效管理，使用可以获得的Statement总数到达 ：

（并发物理连接数） x （每个连接可提供的Statement数量）

例如某种数据库可同时建立的物理连接数为 200个，每个连接可同时提供250个Statement，那么ConnectionPool最终为使用提供的并发Statement总数为: 200 x 250 = 50,000个。这是个并发数字，很少有系统会突破这个量级。所以在本节的开始，指出资源的耗尽与使用程序直接管理有关。

 

对资源的优化管理，很大程度上依托数据库本身的JDBC Driver能否具备。有些数据库的JDBC Driver并不支持Connection与Statement之间的逻辑连接功用，如SQLServer，我们只能等待她本身的更新版本了。

 

对资源的申请、释放、回收、共享和同步，这些管理是复杂精密的。所以，ConnectionPool另一个功用就是，封装这些操作，为使用提供简单的，甚至是不改变使用风格的调用接口。



 
3.     简单JDBC连接池的实现