数据同步方法、装置、设备、存储介质及程序产品与流程

专利2026-10-06  2


本申请属于数据库,尤其涉及一种数据同步方法、装置、设备、存储介质及程序产品。


背景技术:

1、目前,数据库主要通过传输二进制日志(binlog)文件来实现主从节点的数据同步。binlog文件主要通过网络进行传输,当跨城传输时binlog文件的传输效率较低,因此急需采取措施来提高主从节点数据的同步效率。

2、现有方法中,通过对binlog文件进行压缩减小binlog文件的大小,从而提高binlog文件的传输效率,以提高主从节点数据的同步效率。

3、然而,binlog文件中的许多数据无法进行压缩,因此主从节点数据的同步效率的提升效果较差,数据的同步效率仍然较低。


技术实现思路

1、本申请实施例提供了一种数据同步方法、装置、设备、存储介质及程序产品,能够显著提升主从节点数据的同步效率。

2、本申请实施例的一方面,提供一种数据同步方法,应用于主节点,包括:

3、获取待传输文件,待传输文件中包括至少一个待传输日志事件,待传输日志事件包括全局事务标识符事件、查询事件以及表映射事件中的至少一种;

4、对待传输文件中的全局事务标识符事件和查询事件执行事件合并操作,得到合并事件;

5、对待传输文件中的表映射事件执行事件去重操作,得到第一去重事件;

6、向从节点发送合并事件和第一去重事件,以使从节点基于合并事件和第一去重事件进行数据同步。

7、本申请实施例的一方面,提供一种数据同步方法,应用于从节点,包括:

8、接收主节点发送的合并事件和第一去重事件,合并事件为对主节点的全局事务标识符事件和查询事件执行事件合并操作后得到的日志事件,第一去重事件为对主节点的表映射事件执行事件去重操作后得到的日志事件;

9、对合并事件执行事件拆分操作,得到待传输文件中的全局事务标识符事件和查询事件;

10、对第一去重事件执行事件恢复操作,得到待传输文件中的表映射事件;

11、将全局事务标识符事件、查询事件以及表映射事件进行组合,得到待传输文件,以实现与主节点的数据同步。

12、本申请实施例的一方面,提供一种数据同步装置,应用于主节点,包括:

13、文件获取模块,用于获取待传输文件,待传输文件中包括至少一个待传输日志事件,待传输日志事件包括全局事务标识符事件、查询事件以及表映射事件中的至少一种;

14、事件合并模块,用于对待传输文件中的全局事务标识符事件和查询事件执行事件合并操作,得到合并事件;

15、事件去重模块,用于对待传输文件中的表映射事件执行事件去重操作,得到第一去重事件;

16、事件发送模块,用于向从节点发送合并事件和第一去重事件,以使从节点基于合并事件和第一去重事件进行数据同步。

17、本申请实施例的一方面,提供一种数据同步装置,应用于从节点,包括:

18、事件接收模块,用于接收主节点发送的合并事件和第一去重事件,合并事件为对主节点的全局事务标识符事件和查询事件执行事件合并操作后得到的日志事件,第一去重事件为对主节点的表映射事件执行事件去重操作后得到的日志事件;

19、事件拆分模块,用于对合并事件执行事件拆分操作,得到待传输文件中的全局事务标识符事件和查询事件;

20、事件恢复模块,用于对第一去重事件执行事件恢复操作,得到待传输文件中的表映射事件;

21、文件生成模块,用于将全局事务标识符事件、查询事件以及表映射事件进行组合,得到待传输文件,以实现与主节点的数据同步。

22、本申请实施例的一方面,提供一种电子设备,该设备包括:存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如上述本申请实施例的任意一方面提供的数据同步方法。

23、本申请实施例的一方面,提供一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如上述本申请实施例的任意一方面提供的数据同步方法。

24、本申请实施例的一方面,提供一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如上述本申请实施例的任意一方面提供的数据同步方法。

25、本申请实施例提供的数据同步方法中,主节点通过将待传输文件中能够进行事件合并操作的待传输日志事件进行合并,从而减小待传输文件中待传输日志事件的大小;同时,将待传输文件中重复的待传输日志事件进行去重,从而减少待传输日志事件的重复传输。可见,最终传输至从节点的日志配置事件的大小有明显减小,且排除了相同待传输日志事件的重复传输。如此,本申请实施例通过合并待传输文件中可合并的待传输日志事件,同时去除待传输文件中待传输日志事件的重复传输,能够明显减少待传输文件的传输量,从而显著提升主从节点数据的同步效率。



技术特征:

1.一种数据同步方法,其特征在于,应用于主节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1所述的方法,其特征在于,所述对所述待传输文件中的表映射事件执行事件去重操作,得到第一去重事件,包括:

4.根据权利要求3所述的方法,其特征在于,所述向从节点发送所述合并事件和所述第一去重事件,以使所述从节点基于所述合并事件和所述第一去重事件进行数据同步之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述待传输日志事件还包括行事件和事务标识符事件,

6.一种数据同步方法,其特征在于,应用于从节点,所述方法包括:

7.根据权利要求6所述的方法,其特征在于,

8.根据权利要求6所述的方法,其特征在于,

9.一种数据同步装置,其特征在于,应用于主节点,所述装置包括:

10.一种数据同步装置,其特征在于,应用于从节点,所述装置包括:

11.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的数据同步方法。

13.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-8任意一项所述的数据同步方法。


技术总结
本申请公开了一种数据同步方法、装置、设备、存储介质及程序产品,涉及数据库技术领域。该数据同步方法包括:获取待传输文件,待传输文件中包括至少一个待传输日志事件,待传输日志事件包括全局事务标识符事件、查询事件以及表映射事件中的至少一种;对待传输文件中的全局事务标识符事件和查询事件执行事件合并操作,得到合并事件;对待传输文件中的表映射事件执行事件去重操作,得到第一去重事件;向从节点发送合并事件和第一去重事件,以使从节点基于合并事件和第一去重事件进行数据同步。本申请实施例能够明显减少待传输文件的传输量,从而显著提升主从节点数据的同步效率。

技术研发人员:郝国庆
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-445949.html

最新回复(0)