Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

读写分离

在上一篇文章介绍了如何使用Sharing-JDBC实现数据库的读写分离。读写分离的好处就是在并发量比较大的情况下,将查询数据库的压力 分担到多个从库中,能够满足高并发的要求。比如上一篇实现的那样,架构图如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

数据分表

当数据量比较大的时候,比如单个表的数据量超过了500W的数据,这时可以考虑将数据存储在不同的表中。比如将user表拆分为四个表user0、user1、 user2、user3装在四个表中。此时如图所示:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

案例详解

和上一篇文章使用的数据库是同一个数据库,数据库信息如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

在主库初始化Mysql数据的脚本,初始化完后,从库也会创建这些表,脚本信息如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

本案例还是在上一篇文章的案例基础之上进行改造,工程的目录和pom的依赖见上一篇文章或者源码。在工程的配置 文件application.yml做Sharding-JDBC的配置,代码如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

  • 在上面的配置中,sharding.jdbc.dataSource部分是配置的数据源的信息,本案例有三个数据源db-test0、db-test1、db-test2。
  • sharding.jdbc.config.sharding.master-slave-rules.ds0.master-data-source-name配置的是主库的数据库名,本案例为db-test0,其中ds0为分区名。
  • sharding.jdbc.config.sharding.master-slave-rules.ds_0.slave-data-source-names配置的是从库的数据库名,本案例为db-test1、db-test2。
  • sharding.jdbc.config.sharding.tables.user.actual-data-nodes配置的分表信息,真实的数据库信息。ds0.user$->{0..3},表示读取ds0数据源的user0、user1、user2、user_3。
  • sharding.jdbc.config.sharding.tables.user.table-strategy.standard.sharding-column配置的数据分表的字段,是根据id来分的。
  • sharding.jdbc.config.sharding.tables.user.table-strategy.standard.precise-algorithm-class-name是配置数据分表的策略的类,这里是自定义的类MyPreciseShardingAlgorithm。

MyPreciseShardingAlgorithm是根据id取模4来获取表名的,代码如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

测试

写一个API来测试,代码如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

启动Spring Boot工程,在浏览器上执行localhost:8080/add,然后去数据库中查询,可以看到user0、user1、user2、user3分别插入了数据。 然后访问localhost:8080/users,可以查询数据库中四个表中的所有数据。可见Sharding-JDBC在插入数据的时候,根据数据分表策略,将数据存储在 不同的表中,查询的时候将数据库从多个表中查询并聚合。

在数据库的主机的日志里面,可以看到查询的日志也验证了这个结论,如下:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

从库查询日志:

Sharding-JDBC教程:Spring Boot整合,实现数据分表+读写分离

更多学习笔记资料:

https://shimo.im/docs/QzafqtfKU4MoODI9/read

源码:

https://github.com/forezp/SpringBootLearning/tree/master/sharding-jdbc-example/shareding-jdbc-master-slave-tables

觉得还不错的话,可以转发关注一波支持支持!


分享到:


相關文章: