spring mybatis多数据源实例详解
同一个项目有时会涉及到多个数据库,也就是多数据源。多数据源又可以分为两种情况:
1)两个或多个数据库没有相关性,各自独立,其实这种可以作为两个项目来开发。比如在游戏开发中一个数据库是平台数据库,其它还有平台下的游戏对应的数据库;
2)两个或多个数据库是master-slave的关系,比如有mysql搭建一个master-master,其后又带有多个slave;或者采用MHA搭建的master-slave复制;
目前我所知道的Spring多数据源的搭建大概有两种方式,可以根据多数据源的情况进行选择。
1.采用spring配置文件直接配置多个数据源
比如针对两个数据库没有相关性的情况,可以采用直接在spring的配置文件中配置多个数据源,然后分别进行事务的配置,如下所示:
<context:component-scanbase-package="net.aazj.service,net.aazj.aop"/> <context:component-scanbase-package="net.aazj.aop"/> <!--引入属性文件--> <context:property-placeholderlocation="classpath:config/db.properties"/> <!--配置数据源--> <beanname="dataSource"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close"> <propertyname="url"value="${jdbc_url}"/> <propertyname="username"value="${jdbc_username}"/> <propertyname="password"value="${jdbc_password}"/> <!--初始化连接大小--> <propertyname="initialSize"value="0"/> <!--连接池最大使用连接数量--> <propertyname="maxActive"value="20"/> <!--连接池最大空闲--> <propertyname="maxIdle"value="20"/> <!--连接池最小空闲--> <propertyname="minIdle"value="0"/> <!--获取连接最大等待时间--> <propertyname="maxWait"value="60000"/> </bean> <beanid="sqlSessionFactory"class="org.mybatis.spring.SqlSessionFactoryBean"> <propertyname="dataSource"ref="dataSource"/> <propertyname="configLocation"value="classpath:config/mybatis-config.xml"/> <propertyname="mapperLocations"value="classpath*:config/mappers/**/*.xml"/> </bean> <!--TransactionmanagerforasingleJDBCDataSource--> <beanid="transactionManager"class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <propertyname="dataSource"ref="dataSource"/> </bean> <!--使用annotation定义事务--> <tx:annotation-driventransaction-manager="transactionManager"/> <beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer"> <propertyname="basePackage"value="net.aazj.mapper"/> <propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory"/> </bean> <!--Enablestheuseofthe@AspectJstyleofSpringAOP--> <aop:aspectj-autoproxy/>
第二个数据源的配置
<beanname="dataSource_2"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close"> <propertyname="url"value="${jdbc_url_2}"/> <propertyname="username"value="${jdbc_username_2}"/> <propertyname="password"value="${jdbc_password_2}"/> <!--初始化连接大小--> <propertyname="initialSize"value="0"/> <!--连接池最大使用连接数量--> <propertyname="maxActive"value="20"/> <!--连接池最大空闲--> <propertyname="maxIdle"value="20"/> <!--连接池最小空闲--> <propertyname="minIdle"value="0"/> <!--获取连接最大等待时间--> <propertyname="maxWait"value="60000"/> </bean> <beanid="sqlSessionFactory_slave"class="org.mybatis.spring.SqlSessionFactoryBean"> <propertyname="dataSource"ref="dataSource_2"/> <propertyname="configLocation"value="classpath:config/mybatis-config-2.xml"/> <propertyname="mapperLocations"value="classpath*:config/mappers2/**/*.xml"/> </bean> <!--TransactionmanagerforasingleJDBCDataSource--> <beanid="transactionManager_2"class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <propertyname="dataSource"ref="dataSource_2"/> </bean> <!--使用annotation定义事务--> <tx:annotation-driventransaction-manager="transactionManager_2"/> <beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer"> <propertyname="basePackage"value="net.aazj.mapper2"/> <propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory_2"/> </bean>
如上所示,我们分别配置了两个dataSource,两个sqlSessionFactory,两个transactionManager,以及关键的地方在于MapperScannerConfigurer的配置——使用sqlSessionFactoryBeanName属性,注入不同的sqlSessionFactory的名称,这样的话,就为不同的数据库对应的mapper接口注入了对应的sqlSessionFactory。
需要注意的是,多个数据库的这种配置是不支持分布式事务的,也就是同一个事务中,不能操作多个数据库。这种配置方式的优点是很简单,但是却不灵活。对于master-slave类型的多数据源配置而言不太适应,master-slave性的多数据源的配置,需要特别灵活,需要根据业务的类型进行细致的配置。比如对于一些耗时特别大的select语句,我们希望放到slave上执行,而对于update,delete等操作肯定是只能在master上执行的,另外对于一些实时性要求很高的select语句,我们也可能需要放到master上执行——比如一个场景是我去商城购买一件兵器,购买操作的很定是master,同时购买完成之后,需要重新查询出我所拥有的兵器和金币,那么这个查询可能也需要防止master上执行,而不能放在slave上去执行,因为slave上可能存在延时,我们可不希望玩家发现购买成功之后,在背包中却找不到兵器的情况出现。
所以对于master-slave类型的多数据源的配置,需要根据业务来进行灵活的配置,哪些select可以放到slave上,哪些select不能放到slave上。所以上面的那种所数据源的配置就不太适应了。
2.基于AbstractRoutingDataSource和AOP的多数据源的配置
基本原理是,我们自己定义一个DataSource类ThreadLocalRountingDataSource,来继承AbstractRoutingDataSource,然后在配置文件中向ThreadLocalRountingDataSource注入master和slave的数据源,然后通过AOP来灵活配置,在哪些地方选择 master数据源,在哪些地方需要选择slave数据源。下面看代码实现:
1)先定义一个enum来表示不同的数据源:
packagenet.aazj.enums; /** *数据源的类别:master/slave */ publicenumDataSources{ MASTER,SLAVE }
2)通过TheadLocal来保存每个线程选择哪个数据源的标志(key):
packagenet.aazj.util; importnet.aazj.enums.DataSources; publicclassDataSourceTypeManager{ privatestaticfinalThreadLocal<DataSources>dataSourceTypes=newThreadLocal<DataSources>(){ @Override protectedDataSourcesinitialValue(){ returnDataSources.MASTER; } }; publicstaticDataSourcesget(){ returndataSourceTypes.get(); } publicstaticvoidset(DataSourcesdataSourceType){ dataSourceTypes.set(dataSourceType); } publicstaticvoidreset(){ dataSourceTypes.set(DataSources.MASTER0); } }
3)定义ThreadLocalRountingDataSource,继承AbstractRoutingDataSource:
packagenet.aazj.util; importorg.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource; publicclassThreadLocalRountingDataSourceextendsAbstractRoutingDataSource{ @Override protectedObjectdetermineCurrentLookupKey(){ returnDataSourceTypeManager.get(); } }
4)在配置文件中向ThreadLocalRountingDataSource注入master和slave的数据源:
<context:component-scanbase-package="net.aazj.service,net.aazj.aop"/> <context:component-scanbase-package="net.aazj.aop"/> <!--引入属性文件--> <context:property-placeholderlocation="classpath:config/db.properties"/> <!--配置数据源Master--> <beanname="dataSourceMaster"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close"> <propertyname="url"value="${jdbc_url}"/> <propertyname="username"value="${jdbc_username}"/> <propertyname="password"value="${jdbc_password}"/> <!--初始化连接大小--> <propertyname="initialSize"value="0"/> <!--连接池最大使用连接数量--> <propertyname="maxActive"value="20"/> <!--连接池最大空闲--> <propertyname="maxIdle"value="20"/> <!--连接池最小空闲--> <propertyname="minIdle"value="0"/> <!--获取连接最大等待时间--> <propertyname="maxWait"value="60000"/> </bean> <!--配置数据源Slave--> <beanname="dataSourceSlave"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close"> <propertyname="url"value="${jdbc_url_slave}"/> <propertyname="username"value="${jdbc_username_slave}"/> <propertyname="password"value="${jdbc_password_slave}"/> <!--初始化连接大小--> <propertyname="initialSize"value="0"/> <!--连接池最大使用连接数量--> <propertyname="maxActive"value="20"/> <!--连接池最大空闲--> <propertyname="maxIdle"value="20"/> <!--连接池最小空闲--> <propertyname="minIdle"value="0"/> <!--获取连接最大等待时间--> <propertyname="maxWait"value="60000"/> </bean> <beanid="dataSource"class="net.aazj.util.ThreadLocalRountingDataSource"> <propertyname="defaultTargetDataSource"ref="dataSourceMaster"/> <propertyname="targetDataSources"> <mapkey-type="net.aazj.enums.DataSources"> <entrykey="MASTER"value-ref="dataSourceMaster"/> <entrykey="SLAVE"value-ref="dataSourceSlave"/> <!--这里还可以加多个dataSource--> </map> </property> </bean> <beanid="sqlSessionFactory"class="org.mybatis.spring.SqlSessionFactoryBean"> <propertyname="dataSource"ref="dataSource"/> <propertyname="configLocation"value="classpath:config/mybatis-config.xml"/> <propertyname="mapperLocations"value="classpath*:config/mappers/**/*.xml"/> </bean> <!--TransactionmanagerforasingleJDBCDataSource--> <beanid="transactionManager"class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <propertyname="dataSource"ref="dataSource"/> </bean> <!--使用annotation定义事务--> <tx:annotation-driventransaction-manager="transactionManager"/> <beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer"> <propertyname="basePackage"value="net.aazj.mapper"/> <!--<propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory"/>--> </bean>
上面spring的配置文件中,我们针对master数据库和slave数据库分别定义了dataSourceMaster和dataSourceSlave两个dataSource,然后注入到<beanid="dataSource"class="net.aazj.util.ThreadLocalRountingDataSource">中,这样我们的dataSource就可以来根据key的不同来选择dataSourceMaster和dataSourceSlave了。
5)使用SpringAOP来指定dataSource的key,从而dataSource会根据key选择dataSourceMaster和dataSourceSlave:
packagenet.aazj.aop; importnet.aazj.enums.DataSources; importnet.aazj.util.DataSourceTypeManager; importorg.aspectj.lang.JoinPoint; importorg.aspectj.lang.annotation.Aspect; importorg.aspectj.lang.annotation.Before; importorg.aspectj.lang.annotation.Pointcut; importorg.springframework.stereotype.Component; @Aspect//foraop @Component//forautoscan publicclassDataSourceInterceptor{ @Pointcut("execution(public*net.aazj.service..*.getUser(..))") publicvoiddataSourceSlave(){}; @Before("dataSourceSlave()") publicvoidbefore(JoinPointjp){ DataSourceTypeManager.set(DataSources.SLAVE); } //...... }
这里我们定义了一个Aspect类,我们使用@Before来在符合@Pointcut("execution(public*net.aazj.service..*.getUser(..))")中的方法被调用之前,调用DataSourceTypeManager.set(DataSources.SLAVE)设置了key的类型为DataSources.SLAVE,所以dataSource会根据key=DataSources.SLAVE选择dataSourceSlave这个dataSource。所以该方法对于的sql语句会在slave数据库上执行。
我们可以不断的扩充DataSourceInterceptor 这个Aspect,在中进行各种各样的定义,来为某个service的某个方法指定合适的数据源对应的dataSource。
这样我们就可以使用SpringAOP的强大功能来,十分灵活进行配置了。
6)AbstractRoutingDataSource原理剖析
ThreadLocalRountingDataSource 继承了 AbstractRoutingDataSource, 实现其抽象方法protectedabstractObjectdetermineCurrentLookupKey();从而实现对不同数据源的路由功能。我们从源码入手分析下其中原理:
publicabstractclassAbstractRoutingDataSourceextendsAbstractDataSourceimplementsInitializingBean AbstractRoutingDataSource实现了InitializingBean那么spring在初始化该bean时,会调用InitializingBean的接口 voidafterPropertiesSet()throwsException;我们看下AbstractRoutingDataSource是如何实现这个接口的: @Override publicvoidafterPropertiesSet(){ if(this.targetDataSources==null){ thrownewIllegalArgumentException("Property'targetDataSources'isrequired"); } this.resolvedDataSources=newHashMap<Object,DataSource>(this.targetDataSources.size()); for(Map.Entry<Object,Object>entry:this.targetDataSources.entrySet()){ ObjectlookupKey=resolveSpecifiedLookupKey(entry.getKey()); DataSourcedataSource=resolveSpecifiedDataSource(entry.getValue()); this.resolvedDataSources.put(lookupKey,dataSource); } if(this.defaultTargetDataSource!=null){ this.resolvedDefaultDataSource=resolveSpecifiedDataSource(this.defaultTargetDataSource); } }
targetDataSources是我们在xml配置文件中注入的dataSourceMaster和dataSourceSlave.afterPropertiesSet方法就是使用注入的。
dataSourceMaster和dataSourceSlave来构造一个HashMap——resolvedDataSources。方便后面根据key从该map中取得对应的dataSource。
我们在看下AbstractDataSource接口中的ConnectiongetConnection()throwsSQLException;是如何实现的:
@Override publicConnectiongetConnection()throwsSQLException{ returndetermineTargetDataSource().getConnection(); }
关键在于determineTargetDataSource(),根据方法名就可以看出,应该此处就决定了使用哪个dataSource:
protectedDataSourcedetermineTargetDataSource(){ Assert.notNull(this.resolvedDataSources,"DataSourcerouternotinitialized"); ObjectlookupKey=determineCurrentLookupKey(); DataSourcedataSource=this.resolvedDataSources.get(lookupKey); if(dataSource==null&&(this.lenientFallback||lookupKey==null)){ dataSource=this.resolvedDefaultDataSource; } if(dataSource==null){ thrownewIllegalStateException("CannotdeterminetargetDataSourceforlookupkey["+lookupKey+"]"); } returndataSource; }
ObjectlookupKey=determineCurrentLookupKey();该方法是我们实现的,在其中获取ThreadLocal中保存的key值。获得了key之后,在从afterPropertiesSet()中初始化好了的resolvedDataSources这个map中获得key对应的dataSource。而ThreadLocal中保存的key值是通过AOP的方式在调用service中相关方法之前设置好的。OK,到此搞定!
3.总结
从本文中我们可以体会到AOP的强大和灵活。
以上就是sping,mybatis多数据源处理的资料整理,希望能帮助有需要的朋友