Redis(Jedis)连接池报错“Could not get a resource since the pool is exhausted”的解决方法
场景:线上redis和服务不在同一个服务器,压力大的时候经常出现上述报错,将连接池参数调大,可以暂时解决,但是压力增长之后还是会出现,调整参数治标不治本。一般在配置redis连接池的时候都会开启验证从池中获取的连接的有效性:config.setTestOnCreate(true);当redis服务器和提供接口服务的服务器不在同一台机器上的时候可能由于网络原因导致池中连接不可用,这个时候再去检测从池
场景:线上redis和服务不在同一个服务器,压力大的时候经常出现上述报错,将连接池参数调大,可以暂时解决,但是压力增长之后还是会出现,调整参数治标不治本。
一般在配置redis连接池的时候都会开启验证从池中获取的连接的有效性:config.setTestOnCreate(true);当redis服务器和提供接口服务的服务器不在同一台机器上的时候可能由于网络原因导致池中连接不可用,这个时候再去检测从池中拿到的连接的有效性就极有可能会出现以上错误。
将setTestOnCreate设置为false,是不可取的,因为不去检测连接的有效性和获取不到连接,在前提下(取到无效连接)会导致同样的业务出错。
解决办法:将redis和提供接口的服务部署到同一台机器上。
一、redis之jedisPool参数配置说明
1、 timeBetweenEvictionRunsMillis :表示idle object evitor两次扫描之间要sleep的毫秒数;
2、 minEvictableIdleTimeMillis :连接池中连接可空闲的时间 or 连接池中连接,在时间段内一直空闲,被逐出连接池的时间,毫秒;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
3、 removeAbandoned :true,false,是否清理removeAbandonedTimeout秒没有使用的活动连接,清理后并没有放回连接池
4、 removeAbandonedTimeout :活动连接的最大空闲时间
5、 logAbandoned :true,false,连接池收回空闲的活动连接时是否打印消息。logAbandoned=true的话,将会在回收事件后,在log中打印出回收Connection的错误信息,包括在哪个地方用了Connection却忘记关闭了,在调试的时候很有用。在这里私人建议maxWait的时间不要设得太长,maxWait如果设置太长那么客户端会等待很久才激发回收事件
6、 maxActive :控制一个pool可分配多少个jedis实例,通过pool.getResource()来获取;如果赋值为-1,则表示不限制;如果pool已经分配了maxActive个jedis实例,则此时pool的状态就成exhausted了,在JedisPoolConfig
7、 maxIdle :控制一个pool最多有多少个状态为idle的jedis实例;
8、 whenExhaustedAction :表示当pool中的jedis实例都被allocated完时,pool要采取的操作;默认有三种WHEN_EXHAUSTED_FAIL(表示无jedis实例时,直接抛出NoSuchElementException)、WHEN_EXHAUSTED_BLOCK(则表示阻塞住,或者达到maxWait时抛出JedisConnectionException)、WHEN_EXHAUSTED_GROW(则表示新建一个jedis实例,也就说设置的maxActive无用);
9、 maxWait :表示当borrow一个jedis实例时,最大的等待时间,如果超过等待时间,则直接抛出JedisConnectionException;
10、 testOnBorrow :在borrow一个jedis实例时,是否提前进行alidate操作;如果为true,则得到的jedis实例均是可用的;
11、 testOnReturn :在return给pool时,是否提前进行validate操作;
12、 testWhileIdle :如果为true,表示有一个idle object evitor线程对idle object进行扫描,如果validate失败,此object会被从pool中drop掉;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
13、 numTestsPerEvictionRun :表示idle object evitor每次扫描的最多的对象数;
14、 softMinEvictableIdleTimeMillis :在minEvictableIdleTimeMillis基础上,加入了至少minIdle个对象已经在pool里面了。如果为-1,evicted不会根据idle time驱逐任何对象。如果minEvictableIdleTimeMillis>0,则此项设置无意义,且只有在timeBetweenEvictionRunsMillis大于0时才有意义;
15、 lifo :borrowObject返回对象时,是采用DEFAULT_LIFO(last in first out,即类似cache的最频繁使用队列),如果为False,则表示FIFO队列;
minEvictableIdleTimeMillis,removeAbandonedTimeout这两个参数针对的连接对象不一样,minEvictableIdleTimeMillis针对连接池中的连接对象,removeAbandonedTimeout针对未被close的活动连接.
timeBetweenEvictionRunsMillis timeBetweenEvictionRunsMillis和minEvictableIdleTimeMillis一起使用,每timeBetweenEvictionRunsMillis毫秒秒检查一次连接池中空闲的连接,把空闲时间超过minEvictableIdleTimeMillis毫秒的连接断开,直到连接池中的连接数到minIdle为止
timeBetweenEvictionRunsMillis 在构造GenericObjectPool [BasicDataSource在其createDataSource () 方法中也会使用GenericObjectPool]时,会生成一个内嵌类Evictor,实现自Runnable接口。如果timeBetweenEvictionRunsMillis大于0,每过 timeBetweenEvictionRunsMillis毫秒Evictor会调用evict()方法,检查连接池中的连接的闲置时间是否大于 minEvictableIdleTimeMillis毫秒(_minEvictableIdleTimeMillis小于等于0时则忽略,默认为30分钟),是则销毁此对象,然后调用ensureMinIdle方法检查确保池中对象个数不小于_minIdle。如果连接池的连接数小于最小空闲连接数,则创建数据库连接,同时检查连接池的连接是否小于maxIdle,是则把刚创建的连接放入连接池中,否则销毁此对象。
在配置时,主要难以理解的主要有:removeAbandoned 、logAbandoned、removeAbandonedTimeout、maxWait这四个参数,设置了rmoveAbandoned=true那么在getNumActive()快要到getMaxActive()的时候,系统会进行无效的Connection的回收,回收的Connection为removeAbandonedTimeout(默认300秒)中设置的秒数后没有使用的Connection,激活回收机制好像是getNumActive()=getMaxActive()-2。
二、默认配置
其中 JedisPoolConfig 对一些参数的默认设置如下:
testWhileIdle = true
minEvictableIdleTimeMills = 60000
timeBetweenEvictionRunsMillis = 30000
numTestsPerEvictionRun = -1
更多推荐
所有评论(0)