Druid连接池(三)

摘要:
由于PreparedStatementCache的性能明显提高,DruidDataSource、DBCP、JBossDataSource和WeblogicDataSource都实现了PreparedSStatementCache。PreparedStatementCache导致的问题阿里巴巴在使用jboss连接池执行PreparedSStatementCache时遇到频繁的fullgc问题。Druid的解决方案使用OracleDriver提供的PreparedStatementCache支持方法来清理PreparedSStatement保存的缓冲区。根据PreparedStatement执行的结果,计算RowPrefetchSize DrudDataSource监视PreparedSStatement.exexecuteQuery和execute方法返回的ResultSet,并统计SQL执行返回的行数,然后根据统计结果设置RowPrefetch size。

十二、Druid缓存

  连接Oracle数据库,打开PSCache,在其他的数据库连接池都会存在内存占用过多的问题,Druid是唯一解决这个问题的连接池。

  Oracle数据库下PreparedStatementCache内存问题解决方案:

     Oracle支持游标,一个PreparedStatement对应服务器一个游标,如果PreparedStatement被缓存起来重复执行,PreparedStatement没有被关闭,服务器端的游标就不会被关闭,性能提高非常显著。在类似SELECT * FROM T WHERE ID = ?这样的场景,性能可能是一个数量级的提升。

  由于PreparedStatementCache性能提升明显,DruidDataSource、DBCP、JBossDataSource、WeblogicDataSource都实现了PreparedStatementCache。

PreparedStatementCache带来的问题

     阿里巴巴在使用jboss连接池做PreparedStatementCache时,遇到了full gc频繁的问题。通过mat来分析jmap dump的结果,发现T4CPreparedStatement占内存很多,出问题的几个项目,有的300M,有的500M,最夸张的900M。这些应用都是用jboss连接池访问Oracle数据库,T4CPreparedStatement是Oracle JDBC Driver的PreparedStatement一种实现。 oracle driver不是开源,通过逆向工程以及mat分析,发现其中占内存的是字段char[] defineChars,defineChars大小的计算公式是这样的:

     defineChars大小 = rowSize * rowPrefetchCount

     rowPrefetchCount在Oracle中,缺省值为10。

     其中rowSize是执行查询设计的每一列的大小的和。计算公式是:

     rowSize = col_1_size + col_2_size + ... + col_n_size

     很悲剧,有些列数据类型是varchar2(4000),于是rowSize巨大,很多个表关联的SQL,rowSize可能高达数十K,再乘以rowPrefetchCount,defineChars大小接近1M。可以想想,maxPoolSize设置为30,PreparedStatementCacheSize设置为50的场景下,是可能导致PreparedStatementCache占据上G的内存。 实际测试得到的结果如下:

     varchar2(4000)     col_size 4000 chars    clob -> col_size   col_size 4000 bytes

  实际占据内存的公式:

     占据内存大小峰值 = defineChars大小 * PreparedStatementCacheSize * MaxPoolSize

     我们实际分析,一个应用运行的SQL大约数百条,PreparedStatementCacheSize为50,PreparedStatementCache的算法为LRU,很多的SQL执行之后,在Cache中HitCount为0就被淘汰了,淘汰的过程,其位置从第1移到第50,这个漫长的过程导致了defineChars不能够被young gc回收。

  Druid的解决方案

     使用OracleDriver提供的PreparedStatementCache支持方法,清理PreparedStatement所持有的buffer。 Oracle在10.x和11.x的Driver中,都提供了如下管理PreparedStatementCache的接口,如下:

 package oracle.jdbc.internal;  import java.sql.SQLException; public interface OraclePreparedStatement extends oracle.jdbc.OraclePreparedStatement, OracleStatement {     public void enterImplicitCache() throws SQLException;     public void exitImplicitCacheToActive() throws SQLException;     public void exitImplicitCacheToClose() throws SQLException; }

     DruidDataSource在管理Oracle PreparedStatement Cache时,调用了上述方法。当调用了enterImplicitCache之后,T4CPreparedStatement中的defineChars和defineBytes都会被清空。

     测试表明,通过上述处理,能够有效降低内存。

     根据PreparedStatement执行的结果,计算RowPrefetch大小 DrudDataSource对在PreparedStatement.executeQuery和execute方法返回的ResultSet做监控统计执行SQL返回的行数,然后根据统计的结果来设置rowPrefetchSize。例如SQL

   SELECT * FROM ORDER WHERE ID = ?

     这样的SQL每次返回的纪录数量都是0或者1,根据这个统计的最大值来设置rowPrefetchSize。如果最大值为1,则需要设置rowPrefetchSize为2。

  计算公式如下:

 int maxRowFetchCount = max(resultSet.size) + 1; if (maxRowFetchCount > defaultRowPrefetch) {        maxRowFetchCount = defaultRowPreftech; } prearedStatement.rowPrefetch = maxRowFetchCount;

     根据生产环境的监控统计,大多数的SQL返回的行数都是比较小的,通常是1。通过这种算法,能够减少PreparedStatementCache的内存占用。

添加PreparedStatementCache计数器 包括:

   PreparedStatementCacheCurrentSize PreparedStatementCacheDeleteCount 缓存删除次数 PreparedStatementCacheHitCount 缓存命中次数 PreparedStatementCacheMissCount 缓存不命中次数 PreparedStatementCacheAccessCount 缓存访问次数

     通过这五个计数器,我们清晰了解PreparedStatementCache的工作情况,然后根据实际情况调整。

十三、Druid对比

  各种数据库连接池对比

  主要功能对比

Druid

BoneCP

DBCP

C3P0

Proxool

JBoss

LRU

PSCache

PSCache-Oracle-Optimized

ExceptionSorter

  LRU 

     LRU是一个性能关键指标,特别Oracle,每个Connection对应数据库端的一个进程,如果数据库连接池遵从LRU,有助于数据库服务器优化,这是重要的指标。在测试中,Druid、DBCP、Proxool是遵守LRU的。BoneCP、C3P0则不是。BoneCP在mock环境下性能可能好,但在真实环境中则就不好了。

  PSCache

    PSCache是数据库连接池的关键指标。在Oracle中,类似SELECT NAME FROM USER WHERE ID = ?这样的SQL,启用PSCache和不启用PSCache的性能可能是相差一个数量级的。Proxool是不支持PSCache的数据库连接池,如果你使用Oracle、SQL Server、DB2、Sybase这样支持游标的数据库,那你就完全不用考虑Proxool。

  PSCache-Oracle-Optimized

     Oracle 10系列的Driver,如果开启PSCache,会占用大量的内存,必须做特别的处理,启用内部的EnterImplicitCache等方法优化才能够减少内存的占用。这个功能只有DruidDataSource有。如果你使用的是Oracle Jdbc,你应该毫不犹豫采用DruidDataSource。

  ExceptionSorter

  ExceptionSorter是一个很重要的容错特性,如果一个连接产生了一个不可恢复的错误,必须立刻从连接池中去掉,否则会连续产生大量错误。这个特性,目前只有JBossDataSource和Druid实现。Druid的实现参考自JBossDataSource。

十四、Druid迁移

  dbcp迁移:

     DruidDataSource的配置是兼容DBCP的。从DBCP迁移到DruidDataSource,只需要修改数据源的实现类就可以了。

  DBCP的数据库连接池的实现是:

  org.apache.commons.dbcp.BasicDataSource

  替换为:

  com.alibaba.druid.pool.DruidDataSource

  如果需要使用Druid的其他配置,可以参考https://github.com/alibaba/druid/wiki/%E9%85%8D%E7%BD%AE_DruidDataSource%E5%8F%82%E8%80%83%E9%85%8D%E7%BD%AE

  例子

<bean   class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close">     
  <property name="url" value="${jdbc_url}" />
  <property name="username" value="${jdbc_user}" />
  <property name="password" value="${jdbc_password}" />
  <property name="filters" value="stat" />
  <property name="maxActive" value="20" />
  <property name="initialSize" value="1" />
  <property name="maxWait" value="60000" />
  <property name="minIdle" value="1" />
  <property name="timeBetweenEvictionRunsMillis" value="60000" />
  <property name="minEvictableIdleTimeMillis" value="300000" />
  <property name="validationQuery" value="SELECT 'x'" />
  <property name="testWhileIdle" value="true" />
  <property name="testOnBorrow" value="false" />
  <property name="testOnReturn" value="false" />
  <property name="poolPreparedStatements" value="true" />
  <property name="maxPoolPreparedStatementPerConnectionSize" value="20" />
</bean>

十五、Druid特性

  ExceptionSorter是JBoss DataSource中的优秀特性,Druid也有一样功能的ExceptionSorter,但不用手动配置,自动识别生效的。

  maxIdle是Druid为了方便DBCP用户迁移而增加的,maxIdle是一个混乱的概念。连接池只应该有maxPoolSize和minPoolSize,druid只保留了maxActive和minIdle,分别相当于maxPoolSize和minPoolSize。

  DruidDataSource支持JNDI配置,具体实现的类是这个:

  com.alibaba.druid.pool.DruidDataSourceFactory,你可以阅读代码加深理解。

     com.alibaba.druid.pool.DruidDataSourceFactory实现了javax.naming.spi.ObjectFactory,可以作为JNDI数据源来配置。

  Tomcat JNDI配置

     在Tomcat使用JNDI配置DruidDataSource,在/conf/context.xml中,在中加入如下配置:

<Resource      name="jdbc/druid-test"      factory="com.alibaba.druid.pool.DruidDataSourceFactory"      auth="Container"      type="javax.sql.DataSource"       maxActive="100"      maxIdle="30"      maxWait="10000"      url="jdbc:derby:memory:tomcat-jndi;create=true"      />

    前半部分是基本信息,不能少的,后半部分是连接池的参数,具体参数看这里,大多数情况driverClassName可以自动识别的

  添加Filter

 <Resource      name="jdbc/druid-test"      factory="com.alibaba.druid.pool.DruidDataSourceFactory"      auth="Container"      type="javax.sql.DataSource"       maxActive="100"      maxIdle="30"      maxWait="10000"      url="jdbc:derby:memory:tomcat-jndi;create=true"      filters="stat"      />

十六、Druid更换

  Druid提供了一个中完全平滑迁移DBCP的办法。

  1) 从http://repo1.maven.org/maven2/com/alibaba/druid/druid-wrapper/ 下载druid-wrapper-xxx.jar 

  2) 加入druid-xxx.jar 

  3) 从你的WEB-INF/lib/中删除dbcp-xxx.jar 

  4) 按需要加上配置,比如JVM启动参数加上-Ddruid.filters=stat,动态配置druid的filters 

    这种用法,使得可以在一些非自己开发的应用中使用Druid,例如在sonar中部署druid,sonar是一个使用jruby开发的web应用,写死了DBCP,只能够通过这种方法来更换。

  文章转自:http://blog.csdn.net/yinxiangbing/article/details/47905447

免责声明:文章转载自《Druid连接池(三)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇在Qt中使用sleep3ds max文件导出osg或者ive格式下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

SpringBoot-配置MyBatis-yml方式

Druid的数据源配置:https://www.cnblogs.com/KuroNJQ/p/11171263.html 1.导入依赖 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-sp...

JDBC: C3P0连接池

C3P0连接池      C3P0是一个开源的JDBC连接池,支持JDBC3规范和JDBC2的标准扩展。目前使用它的开源项目有Hibernate、 Spring等。    导入jar包及配置文件     1) 将jar包 复制到myJar文件夹即可,IDEA会自动导入        2) 导入配置文件 c3p0-config.xml      c3p0-co...

java数据库操作

数据库操作可以中WEB开发中最常用到的,很多Java开发工具都提供了自动的Data bean WinZard.只要数据库建立好,相应的操作数据库的Bean就基本可以自动完成,本人使用Jcreator开发bean,手工录入觉得也不是很麻烦的事情,下面我常用的数据库操作bean,完全可以对付访问量不是很大的系统 : /***//**publicclassMy...

jedis参数不当引发的问题总结

jedis参数不当引发dubbo服务线程池耗尽异常 现象:一个dubbo服务偶发性的出现个别机器甚至整个集群大量报线程池耗尽的问题。一开始对问题的处理比较粗暴,直接增加了10倍的线程数。但是问题依然偶尔出现,重启服务就可以暂时解决。后来,发现问题出现频率有点高,不得不花点时间认真分析了。 实际原因:jedis参数设置不当。实际仔细分析问题后发现每次出现异常...

Spring Boot 之Application.properties配置大全

Spring Boot 之Application.properties配置大全 Server server.address ---------服务器地址 server.port ---------服务器端口 server.context-parameters.[param name] ---------设置 servlet 上下文参数 server....

Http 持久连接与 HttpClient 连接池

一、背景 HTTP协议是无状态的协议,即每一次请求都是互相独立的。因此它的最初实现是,每一个http请求都会打开一个tcp socket连接,当交互完毕后会关闭这个连接。 HTTP协议是全双工的协议,所以建立连接与断开连接是要经过三次握手与四次挥手的。显然在这种设计中,每次发送Http请求都会消耗很多的额外资源,即连接的建立与销毁。 于是,HTTP协议的也...