700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 读写分离原来这么简单 一个小注解就够了

读写分离原来这么简单 一个小注解就够了

时间:2021-09-05 11:18:16

相关推荐

读写分离原来这么简单 一个小注解就够了

目录

前言

环境部署

开始项目

目录结构

建表

主从数据源配置

设置路由

数据源的注解

aop切换数据源

最后

前言

相信有经验的同学都清楚,当db的读写量过高时,我们会备份一份或多份的从库用于做数据的读取,然后主库就主要承担写入的功能(也有读取需要,但压力不大),当db分好主从库后,我们还需要在项目实现自动连接主从库,达到读写分离的效果。实现读写分离并不困难,只要在数据库连接池手动控制好对应的db服务地址即可,但那样就会侵入业务代码,而且一个项目操作数据库的地方可能很多,如果都手动控制的话无疑会是很大的工作量,对此,我们有必要改造出一套方便的工具。

以Java语言来说,如今大部分的项目都是基于Spring Boot框架来搭建项目架构的,结合Spring本身自带的AOP工具,我们可以很容易就构建能实现读写分离效果的注解类,用注解的话可以达到对业务代码无入侵的效果,而且使用上也比较方便。

下面就简单带大家写个demo。

环境部署

数据库:MySql

库数量:2个,一主一从

关于mysql的主从环境部署网上有很多文章可以参考,这里不做介绍了。

开始项目

首先,毫无疑问,先开始搭建一个SpringBoot工程,然后在pom文件中引入如下依赖:

<dependencies><dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId><version>1.1.10</version></dependency><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>1.3.2</version></dependency><dependency><groupId>tk.mybatis</groupId><artifactId>mapper-spring-boot-starter</artifactId><version>2.1.5</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.16</version></dependency><!--动态数据源所需依赖###start--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-jdbc</artifactId><scope>provided</scope></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-aop</artifactId><scope>provided</scope></dependency><!--动态数据源所需依赖###end--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.4</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-jpa</artifactId></dependency></dependencies>

目录结构

引入基本的依赖后,整理一下目录结构,完成后的项目骨架大致如下:

建表

创建一张表user,在主库执行sql语句同时在从库生成对应的表数据

DROPTABLEIFEXISTS`user`;CREATETABLE`user`(`user_id`bigint(20)NOTNULLCOMMENT'用户id',`user_name`varchar(255)DEFAULT''COMMENT'用户名称',`user_phone`varchar(50)DEFAULT''COMMENT'用户手机',`address`varchar(255)DEFAULT''COMMENT'住址',`weight`int(3)NOTNULLDEFAULT'1'COMMENT'权重,大者优先',`created_at`datetimeNOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间',`updated_at`datetimeDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'更新时间',PRIMARYKEY(`user_id`))ENGINE=InnoDBDEFAULTCHARSET=utf8;INSERTINTO`user`VALUES('1196978513958141952','测试1','18826334748','广州市海珠区','1','-11-:28:51','-11-2214:28:26');INSERTINTO`user`VALUES('1196978513958141953','测试2','18826274230','广州市天河区','2','-11-:29:37','-11-2214:28:14');INSERTINTO`user`VALUES('1196978513958141954','测试3','18826273900','广州市天河区','1','-11-:30:19','-11-2214:28:30');

主从数据源配置

application.yml,主要信息是主从库的数据源配置

server:port:8001spring:jackson:date-format:yyyy-MM-ddHH:mm:sstime-zone:GMT+8datasource:type:com.alibaba.druid.pool.DruidDataSourcedriver-class-name:com.mysql.cj.jdbc.Drivermaster:url:jdbc:mysql://127.0.0.1:3307/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=trueusername:rootpassword:slave:url:jdbc:mysql://127.0.0.1:3308/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=trueusername:rootpassword:

因为有一主一从两个数据源,我们用枚举类来代替,方便我们使用时能对应

@GetterpublicenumDynamicDataSourceEnum{MASTER("master"),SLAVE("slave");privateStringdataSourceName;DynamicDataSourceEnum(StringdataSourceName){this.dataSourceName=dataSourceName;}}

数据源配置信息类DataSourceConfig,这里配置了两个数据源,masterDb和slaveDb

@Configuration@MapperScan(basePackages="com.xjt.proxy.mapper",sqlSessionTemplateRef="sqlTemplate")publicclassDataSourceConfig{//主库@Bean@ConfigurationProperties(prefix="spring.datasource.master")publicDataSourcemasterDb(){returnDruidDataSourceBuilder.create().build();}/***从库*/@Bean@ConditionalOnProperty(prefix="spring.datasource",name="slave",matchIfMissing=true)@ConfigurationProperties(prefix="spring.datasource.slave")publicDataSourceslaveDb(){returnDruidDataSourceBuilder.create().build();}/***主从动态配置*/@BeanpublicDynamicDataSourcedynamicDb(@Qualifier("masterDb")DataSourcemasterDataSource,@Autowired(required=false)@Qualifier("slaveDb")DataSourceslaveDataSource){DynamicDataSourcedynamicDataSource=newDynamicDataSource();Map<Object,Object>targetDataSources=newHashMap<>();targetDataSources.put(DynamicDataSourceEnum.MASTER.getDataSourceName(),masterDataSource);if(slaveDataSource!=null){targetDataSources.put(DynamicDataSourceEnum.SLAVE.getDataSourceName(),slaveDataSource);}dynamicDataSource.setTargetDataSources(targetDataSources);dynamicDataSource.setDefaultTargetDataSource(masterDataSource);returndynamicDataSource;}@BeanpublicSqlSessionFactorysessionFactory(@Qualifier("dynamicDb")DataSourcedynamicDataSource)throwsException{SqlSessionFactoryBeanbean=newSqlSessionFactoryBean();bean.setMapperLocations(newPathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml"));bean.setDataSource(dynamicDataSource);returnbean.getObject();}@BeanpublicSqlSessionTemplatesqlTemplate(@Qualifier("sessionFactory")SqlSessionFactorysqlSessionFactory){returnnewSqlSessionTemplate(sqlSessionFactory);}@Bean(name="dataSourceTx")publicDataSourceTransactionManagerdataSourceTx(@Qualifier("dynamicDb")DataSourcedynamicDataSource){DataSourceTransactionManagerdataSourceTransactionManager=newDataSourceTransactionManager();dataSourceTransactionManager.setDataSource(dynamicDataSource);returndataSourceTransactionManager;}}

设置路由

设置路由的目的为了方便查找对应的数据源,我们可以用ThreadLocal保存数据源的信息到每个线程中,方便我们需要时获取

publicclassDataSourceContextHolder{privatestaticfinalThreadLocal<String>DYNAMIC_DATASOURCE_CONTEXT=newThreadLocal<>();publicstaticvoidset(StringdatasourceType){DYNAMIC_DATASOURCE_CONTEXT.set(datasourceType);}publicstaticStringget(){returnDYNAMIC_DATASOURCE_CONTEXT.get();}publicstaticvoidclear(){DYNAMIC_DATASOURCE_CONTEXT.remove();}}

获取路由

publicclassDynamicDataSourceextendsAbstractRoutingDataSource{@OverrideprotectedObjectdetermineCurrentLookupKey(){returnDataSourceContextHolder.get();}}

AbstractRoutingDataSource的作用是基于查找key路由到对应的数据源,它内部维护了一组目标数据源,并且做了路由key与目标数据源之间的映射,提供基于key查找数据源的方法。

数据源的注解

为了可以方便切换数据源,我们可以写一个注解,注解中包含数据源对应的枚举值,默认是主库,

@Retention(RetentionPolicy.RUNTIME)@Target(ElementType.METHOD)@Documentedpublic@interfaceDataSourceSelector{DynamicDataSourceEnumvalue()defaultDynamicDataSourceEnum.MASTER;booleanclear()defaulttrue;}

aop切换数据源

到这里,aop终于可以现身出场了,这里我们定义一个aop类,对有注解的方法做切换数据源的操作,具体代码如下:

@Slf4j@Aspect@Order(value=1)@ComponentpublicclassDataSourceContextAop{@Around("@annotation(com.xjt.proxy.dynamicdatasource.DataSourceSelector)")publicObjectsetDynamicDataSource(ProceedingJoinPointpjp)throwsThrowable{booleanclear=true;try{Methodmethod=this.getMethod(pjp);DataSourceSelectordataSourceImport=method.getAnnotation(DataSourceSelector.class);clear=dataSourceImport.clear();DataSourceContextHolder.set(dataSourceImport.value().getDataSourceName());log.info("========数据源切换至:{}",dataSourceImport.value().getDataSourceName());returnpjp.proceed();}finally{if(clear){DataSourceContextHolder.clear();}}}privateMethodgetMethod(JoinPointpjp){MethodSignaturesignature=(MethodSignature)pjp.getSignature();returnsignature.getMethod();}}

到这一步,我们的准备配置工作就完成了,下面开始测试效果。

先写好Service文件,包含读取和更新两个方法,

@ServicepublicclassUserService{@AutowiredprivateUserMapperuserMapper;@DataSourceSelector(value=DynamicDataSourceEnum.MASTER)publicintupdate(LonguserId){Useruser=newUser();user.setUserId(userId);user.setUserName("老薛");returnuserMapper.updateByPrimaryKeySelective(user);}@DataSourceSelector(value=DynamicDataSourceEnum.SLAVE)publicUserfind(LonguserId){Useruser=newUser();user.setUserId(userId);returnuserMapper.selectByPrimaryKey(user);}}

根据方法上的注解可以看出,读的方法走从库,更新的方法走主库,更新的对象是userId为1196978513958141952的数据,

然后我们写个测试类测试下是否能达到效果,

@RunWith(SpringRunner.class)@SpringBootTestclassUserServiceTest{@AutowiredUserServiceuserService;@Testvoidfind(){Useruser=userService.find(1196978513958141952L);System.out.println("id:"+user.getUserId());System.out.println("name:"+user.getUserName());System.out.println("phone:"+user.getUserPhone());}@Testvoidupdate(){LonguserId=1196978513958141952L;userService.update(userId);Useruser=userService.find(userId);System.out.println(user.getUserName());}}

测试结果:

1、读取方法

2、更新方法

执行之后,比对数据库就可以发现主从库都修改了数据,说明我们的读写分离是成功的。当然,更新方法可以指向从库,这样一来就只会修改到从库的数据,而不会涉及到主库。

最后

最后当然是.........................跪求三连啦

哈哈,开个玩笑。

上面测试的例子虽然比较简单,但也符合常规的读写分离配置。值得说明的是,读写分离的作用是为了缓解写库,也就是主库的压力,但一定要基于数据一致性的原则,就是保证主从库之间的数据一定要一致。如果一个方法涉及到写的逻辑,那么该方法里所有的数据库操作都要走主库

假设写的操作执行完后数据有可能还没同步到从库,然后读的操作也开始执行了,如果这个读取的程序走的依然是从库的话,那么就会出现数据不一致的现象了,这是我们不允许的。

发一下项目的github地址,有兴趣的同学可以看下,记得给个star哦

地址:/Taoxj/mysql-proxy

特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:长按订阅更多精彩▼如有收获,点个在看,诚挚感谢

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。