对比数据的痛苦
不知道你是否也像我一样,在快乐编写代码的时候,必须进行一些数据库的数据对比工作。
诚然,一般的数据差异,比如是每一行的内容不同,市场上有比较成熟的 compare2 等对比工具。
但是如果是对比数据的每一列是否相同,这个就会变得比较麻烦。
对比v1.0 纯人工对比
我们在做一些数据迁移等功能时,经常需要对比数据是否正确,最常见的方法就是人工一列一列的对比。
一开始老马也是这么和同事对的,对了几天之后感觉效率实在是低,而且还容易看花眼。
于是我就是琢磨,这个东西用程序对比应该会简单很多。
v2.0 半人工对比
说干就干,我花半天时间实现了一个基于 jsqlparser 可以解析类似于 的工具类。
然后对比 2 边的数据,这下对于一张表上百个字段的对比,一些变得快了许多,准确率也高了很多。
不要问我为什么会有上百个字段,这都是历史沉淀下来的瑰宝。。。
ps: insert into 语句是否通过数据库连接工具手工导出的。
后来又发现另一个问题:表太多,如果想换一个数据对比,我手工导出一遍又要花费数十分钟的时间,关键是重复且枯燥。
枯燥
既然重复,那么可以使用程序实现吗?
v3.0 对比基本自动化
于是我下班后熬夜实现了这个版本:java 程序实现了数据的导出持久化,然后进行修改前后的差异对比。
下面我分享一下自己的思路,以及核心源码,文末有下载福利。
希望对你工作和学习提供帮助。
整体理念
我希望这个工具是 MVP 的理念,由简单到复杂,后期逐渐丰富特性。
要有可拓展性,目前支持 mysql/oracle/sql server 等主流数据库,用户可以定制化开发。
尽可能少的依赖,使用原生的 jdbc,不需要引入 mybatis 等框架。
核心依赖
下面列举一下我用到的核心依赖:
fastjson 用于数据持久化为 json
mysql-connector-java 数据库连接驱动
jsqlparser 辅助工具,解析 sql 使用,非必须
实现思路
根据指定的 jdbc 连接信息,自动选择对应的 jdbc 实现。
执行对应的 sql,将结果解析为 map,进行 JSON 持久化
对持久化的 json 进行差异对比,展现出差异结果
有了这个思路,一切就会变得朴实无华。
当然在此之前,需要我们把代码实现出来,下面进入写BUG环节:
写BUGjdbc 实现核心接口
考虑到后期不同数据库实现,我们统一定义一个查询接口
抽象实现
这里提供了基本的抽象实现。
子类只需要实现对应的连接获取信息即可。
JdbcVo 连接信息
这个对象主要是数据库连接信息对象:
mysql 实现
此处以 mysql 为例:
这里主要是对连接的初始化,连接不同的数据库,都需要引入对应的数据源。
行数据导出实现
下面是导出的核心实现:
接口定义
这里指定了需要执行的 sql。
context 中为了便于后期拓展,目前只有 JdbcMapper。
返回的就是 QueryResultVo,就是查询结果,定义如下:
默认实现
默认的导出实现如下:
其实实现非常简单,我们主要讲一下两点:
(1)表名称
mysql 经测试可以通过如下方式获取:
oracle 我在测试的时候,发现无法获取。所以是借助 sqlparser 解析我们的查询语句得到的。
暂时主要是支持查询,所以这里写的有些固定了,后续可以优化一下。
(2)列信息
每一个查询,可能都对应多条记录。
我们看一下每一条记录的构建:
这个经常写 jdbc 的小伙伴也一定不陌生。
你说现在都用 mybatis 了,谁还写 jdbc 啊,这么 low。
那么,你自己手写一个 mybatis,这些也是必会的。
差异对比
导出的使用
我们可以把一行数据导出,可以在修改前后分别导出。
如果是导出到不同的库,不同的表,那么就进行不同库表之间的导出。
导出结果之后,就需要进行对比了。
对比实现
接口定义
对于导出结果的处理,你可以根据自己的实际情况自行选择。
比如导出为 csv/json/insert 等,对比差异也可以按照自己的需求定制。
持久化
此处介绍一种比较简单实用的方式:json 持久化。
我们将行数据持久化到文件中,注意这里指定了 ;
这样可以让 null 字段也输出,更加方便对比。
文件差异对比实现
上面我们假设将文件输出到 2 个文件,下面指定文件路径就可以进行对比了:
这里将差异内容,直接 console 控台输出。
文件夹
当然,我们也可以对比两个文件夹下的内容。
实现如下:
引导类
便利性
上面我们把核心实现都搞定了,但是用户使用起来还是不够方便。因为配置等不够优雅。
所以我们引入引导类,帮助用户快速使用:
这里为用户提供了 mysql 最基本的配置,以及常用的查询处理方法。
测试
下面我们来看一下测试的效果:
直接查询
查询并处理
两次导出可以指定文件路径,比如分别是:
和
针对两次结果对比
差异结果就会被输出到控台。
结果
一切顺利,不过革命尚未成功,同学仍需加班呀~~~
不足之处
这是一个 v0.0.1 版本,还有很多不足。
比如:
导出为 csv
导出为 insert/update 语句
导出的文件名称自定义策略
可以指定多个 sql 是否生成在同一个文件中
导出路径根据操作系统,自动变更
更加便于使用,比如页面指定数据源+sql,页面显示对应差异结果。
不过也基本可用,符合我们最初的设想。
小结
不知道你平时又是如何对比数据的呢?
希望本文对你有帮助,如果有其他想法的话,也可以评论区和大家分享哦。
各位极客的点赞收藏转发,是老马持续写作的最大动力!