zoukankan      html  css  js  c++  java
  • 一个老项目的高并发改造,遇到的redis连接不释放问题。

    问题来由

    一个老系统使用频率很低,但是一旦用,就是很多人一起用。每次这个时候,服务都会挂掉。
    原因是使用mysql数据库做复杂计算。没有使用缓存。

    着手解决

    框架版本

    struts 2.0
    spring 3.2

    集成redis

    <?xml version="1.0" encoding="UTF-8"?>
    <beans xmlns="http://www.springframework.org/schema/beans"
    	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
    	xmlns:context="http://www.springframework.org/schema/context"
    	xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:cache="http://www.springframework.org/schema/cache"
    	xsi:schemaLocation="http://www.springframework.org/schema/beans        
                            http://www.springframework.org/schema/beans/spring-beans-3.0.xsd        
                            http://www.springframework.org/schema/context        
                            http://www.springframework.org/schema/context/spring-context-3.0.xsd        
                            http://www.springframework.org/schema/mvc        
                            http://www.springframework.org/schema/mvc/spring-mvc-3.0.xsd    
                            http://www.springframework.org/schema/cache     
                            http://www.springframework.org/schema/cache/spring-cache-3.0.xsd">
    
    	<!-- 加载配置文件 -->
    	<!-- <context:property-placeholder location="classpath:redis.properties" 
    		/> -->
    	<!-- redis连接池配置 -->
    	<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
    		<!--最大空闲数 -->
    		<property name="maxIdle" value="${redis.maxIdle}" />
    		<!--连接池的最大数据库连接数 -->
    		<property name="maxTotal" value="${redis.maxTotal}" />
    		<!--最大建立连接等待时间 -->
    		<property name="maxWaitMillis" value="${redis.maxWaitMillis}" />
    		<!--逐出连接的最小空闲时间 默认1800000毫秒(30分钟) -->
    		<property name="minEvictableIdleTimeMillis" value="${redis.minEvictableIdleTimeMillis}" />
    		<!--每次逐出检查时 逐出的最大数目 如果为负数就是 : 1/abs(n), 默认3 -->
    		<property name="numTestsPerEvictionRun" value="${redis.numTestsPerEvictionRun}" />
    		<!--逐出扫描的时间间隔(毫秒) 如果为负数,则不运行逐出线程, 默认-1 -->
    		<property name="timeBetweenEvictionRunsMillis" value="${redis.timeBetweenEvictionRunsMillis}" />
    		<!--是否在从池中取出连接前进行检验,如果检验失败,则从池中去除连接并尝试取出另一个 -->
    		<property name="testOnBorrow" value="${redis.testOnBorrow}" />
    		<property name="testOnReturn" value="${redis.testOnReturn}" />
    		<!--在空闲时检查有效性, 默认false -->
    		<property name="testWhileIdle" value="${redis.testWhileIdle}" />
    		
    	</bean>
    
    	<!-- redis集群配置 哨兵模式 -->
    	<bean id="sentinelConfiguration"
    		class="org.springframework.data.redis.connection.RedisSentinelConfiguration">
    		<property name="master">
    			<bean class="org.springframework.data.redis.connection.RedisNode">
    				<!-- 这个值要和Sentinel中指定的master的值一致,不然启动时找不到Sentinel会报错的 -->
    				<property name="name" value="mymaster"></property>
    
    				<!-- 配置注master节点 <constructor-arg name="host" value="${redis.hostName}"/> 
    					<constructor-arg name="port" value="${redis.port}"/> -->
    			</bean>
    		</property>
    		<!-- 记住了,这里是指定Sentinel的IP和端口,不是Master和Slave的 -->
    		<property name="sentinels">
    			<set>
    				<!-- 我这里就配置一个哨兵 -->
    				<bean class="org.springframework.data.redis.connection.RedisNode">
    					<constructor-arg name="host" value="${redis.sentinel.host1}"></constructor-arg>
    					<constructor-arg name="port" value="${redis.sentinel.port1}"></constructor-arg>
    				</bean>
    				<bean class="org.springframework.data.redis.connection.RedisNode">
    					<constructor-arg name="host" value="${redis.sentinel.host2}"></constructor-arg>
    					<constructor-arg name="port" value="${redis.sentinel.port2}"></constructor-arg>
    				</bean>
    				<bean class="org.springframework.data.redis.connection.RedisNode">
    					<constructor-arg name="host" value="${redis.sentinel.host3}"></constructor-arg>
    					<constructor-arg name="port" value="${redis.sentinel.port3}"></constructor-arg>
    				</bean>
    			</set>
    		</property>
    	</bean>
    	<bean id="jedisConnectionFactory"
    		class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"
    		p:password="${redis.password}">
    		<constructor-arg name="sentinelConfig" ref="sentinelConfiguration"></constructor-arg>
    		<constructor-arg name="poolConfig" ref="jedisPoolConfig"></constructor-arg>
    	</bean>
    	<!--redis操作模版,使用该对象可以操作redis -->
    	<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
    		<property name="connectionFactory" ref="jedisConnectionFactory" />
    		<!--如果不配置Serializer,那么存储的时候缺省使用String,如果用User类型存储,那么会提示错误User can't cast 
    			to String!! -->
    		<property name="keySerializer">
    			<bean
    				class="org.springframework.data.redis.serializer.StringRedisSerializer" />
    		</property>
    		<property name="valueSerializer">
    			<bean
    				class="org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer" />
    		</property>
    		<property name="hashKeySerializer">
    			<bean
    				class="org.springframework.data.redis.serializer.StringRedisSerializer" />
    		</property>
    		<property name="hashValueSerializer">
    			<bean
    				class="org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer" />
    		</property>
    		<!--开启事务 -->
    		<property name="enableTransactionSupport" value="false"></property>
    	</bean>
    
    	<!-- 配置RedisCacheManager -->
    	<bean id="cacheManager" class="org.springframework.data.redis.cache.RedisCacheManager">
    		<constructor-arg index="0" ref="redisTemplate"></constructor-arg>
    	</bean>
    
    
    	<!--自定义redis工具类,在需要缓存的地方注入此类 -->
    	<bean id="redisUtil" class="com.redoor.comm.utils.RedisUtil">
    		<property name="redisTemplate" ref="redisTemplate" />
    	</bean>
    </beans>
    

    代码优化

    添加缓存。

    重新方法。减少不要的数据库查询。

    异步入库。

    并发测试

    遇到的问题

    高并发测试下,总是报“unexpected end of stream”
    找了很多资料,发现高并发下会产生大量的time_wait的socket连接。
    最后查看redisTemplater源码,发现是redis配置了enableTransactionSupport开启,这种情况下,redis不会归还连接池的连接。如果不需要使用redis事务,关闭即可。
    可参考:
    SpringDataRedis事务 专题
    Sping Data Redis 使用事务时,不关闭连接的问题

    过程中经历

    开始根据报错,以为是参数配置的问题,做了一下几件事 。最后终于找到问题。

    tomcat服务器性能调优

    redis服务器调优

    redis参数调优

  • 相关阅读:
    浮动与浮动的清除
    【最全】经典排序算法(C语言)
    Python类中的self到底是干啥的
    浅析Python3中的bytes和str类型
    Shell十三问[转]
    VMware下对虚拟机Ubuntu14系统所在分区sda1进行磁盘扩容
    C语言运算符优先级
    mysql主要性能监控指标
    sql 优化
    npm install安装时忘记--save解决方法
  • 原文地址:https://www.cnblogs.com/morninglight/p/10348879.html
Copyright © 2011-2022 走看看