本发明涉及数据库技术领域,具体涉及金融行业的大数据技术领域,特别是涉及一种数据集群迁移方法及装置。
背景技术:
如今,随着大数据的爆发式高速发展,存储的数据每天都以tb级别的增加,而且伴随越来越严格的监管数据要求,新型的ai等业务类型所需的历史数据也越来越长。导致了日益增长的数据存储需求和当前整个集群容量的矛盾。为了解决经济的扩容问题。引入分布式的大数据平台简称:而把数据从当前集群迁移到目标集群的任务就迫在眉睫。
现有技术中,没有出现两个数据集群并存的情况,急需一种灵活快速的方法实现数据的跨集群搬迁。
技术实现要素:
针对现有技术中的问题,本发明提供的数据集群迁移方法及装置能够适用于两个集群间表级别的数据迁移,且具有通用性;并适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;从而使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供一种数据集群迁移方法,包括:
根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
根据所述导入指令将所述导出数据导入至所述目标数据集群中。
一实施例中,所述导出指令以及导入指令为sql指令。
一实施例中,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
一实施例中,数据集群迁移方法还包括:更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
第二方面,本发明提供一种数据集群迁移装置,该装置包括:
参数表生成单元,用于根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
指令生成单元,用于根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
导出数据生成单元,用于根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
导出数据导入单元,用于根据所述导入指令将所述导出数据导入至所述目标数据集群中。
一实施例中,所述导出指令以及导入指令为sql指令。
一实施例中,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
一实施例中,数据集群迁移装置还包括:
参数表更新单元,用于更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现数据集群迁移方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现数据集群迁移方法的步骤。
从上述描述可知,本发明实施例提供的数据集群迁移方法及装置,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本发明所提供的数据集群迁移方法及装置,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例中数据集群迁移方法流程示意图一;
图2为本发明的实施例中数据集群迁移方法流程示意图二;
图3为本发明的具体应用实例中数据集群迁移方法的流程示意图;
图4为本发明的具体应用实例中数据集群迁移装置的结构示意图一;
图5为本发明的具体应用实例中数据集群迁移装置的结构示意图二;
图6为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
鉴于现有技术中缺乏两个数据集群并存的情况,并缺乏一种灵活快速的方法实现数据的跨集群搬迁,本发明的实施例提供一种数据集群迁移方法的具体实施方式,参见图1,该方法具体包括如下内容:
步骤100:根据待迁移数据集群的物理表生成一参数表。
可以理解的是,步骤100中的所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间。
另外该参数表包含字段信息、子进程参数文件2。步骤100根据子进程参数文件202,fork多个子进程,该参数表记录了同步作业的状态,加密的用户名/密码,导出的码制,同步开始和结束的时间,导出的where条件,对导出的临时表处理的条件,作业的优先级别,对应当前集群的库名,表名,是否自动进行导出和导入,是否对于导出的字段作trim,导出的字段是否需要扩位。
步骤200:根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令。
具体地,通过参数表中登记的库名和表名,去当前集群的元数据中查询字段相关信息,结果是每个字段一行,按照字段类型结合参数表装置表登记的是否加coalesce,是否去空,是否扩位,去生成对应的查询sql。生成可以执行的select语句,包括select的查询的列表以及where条件。
步骤300:根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据。
具体地,解析参数表接收到的同步作业的参数和当前集群的元数据表字段信息。首先是生成导出脚本的登录信息和落地文本的路径,针对当前集群的元数据的表字段信息,结合参数表送过来的信息,按照字段的类型处理每个字段,生成导出语句。
步骤400:根据所述导入指令将所述导出数据导入至所述目标数据集群中。
从上述描述可知,本发明实施例提供的数据集群迁移方法,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本发明所提供的数据集群迁移方法,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
一实施例中,所述导出指令以及导入指令为sql指令。
一实施例中,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
一实施例中,参见图2,在步骤300之后,数据集群迁移方法还包括:
步骤500:更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
从上述描述可知,本发明实施例提供的数据集群迁移方法,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本发明所提供的数据集群迁移方法,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
为进一步地说明本方案,本发明提供数据集群迁移方法的具体应用实例,该具体应用实例具体包括如下内容,参见图3。
在本具体应用实例中,当前集群简称t集群,目标集群简称m集群。
s0:把需要同步集群t中一个物理表a配置为一个作业a1。
作业a1是把物理表a的参数(限制条件,优先级,集群m对应库和表,作业状态,作业开始,结束时间等)存入参数表。
作业a1包含字段信息201、子进程参数文件202。根据子进程参数文件202,fork多个子进程,完成后续步骤。并负责接需要进行同步的作业,参数表记录了同步作业的状态,加密的用户名/密码,导出的码制,同步开始和结束的时间,导出的where条件,对导出的临时表处理的条件,作业的优先级别,对应集群m的库名,表名,是否自动进行导出和导入,是否对于导出的字段作trim,导出的字段是否需要扩位。
接着,解析参数表接收到的同步作业的参数和集群t元数据的表字段信息。首先是生成导出脚本的登录信息和落地文本的路径,针对集群t元数据的表字段信息,结合参数表送过来的数据。按照字段的类型,处理每个字段,生成导出语句。
s1:生成集群t元数据和作业a1参数,生成对应的导出文件的sql命令。
通过参数表中登记的库名和表名,在集群t元数据中查询字段相关信息,其结果是每个字段一行,按照字段类型并结合参数表登记的是否加coalesce,是否去空,是否扩位,去生成对应的查询sql。查询语句生成301生成可以执行的select语句,包括select的查询的列表以及where条件。
从参数表获取加密的用户名/密码,调用用户名/密码解码,解码用户密码。拼接并从查询语句生成select语句。调用解码模块对于登录的用户/密码解码,用户导数脚本的登录。另外,步骤s1还定义了导出报错时候错误的数据的存放的表。
s2:运行步骤s1生成的sql命令,并生成对应的导出文件a2。并更新参数表装置中作业a1的作业的状态为导出完成,以及作业开始和结束时间。
调起导出脚本,并生成日志,并去更新参数表,状态为1,开始时间,结束时间。生成日志进行解析,解析导出记录数,return的值。接着,获取return值,判断return结果不是0,重新执行调起导出语句401,进行导出,状态为1,开始时间,结束时间。
s3:读取集群t元数据和作业参数,生成导入文件sql命令。
生成建立导入的外表语句,通过参数表中登记的库名和表名,去集群t元数据中查询字段相关信息,其结果是每个字段一行,去生成对应的建外表的sql。插入目标表的语句生成,通过参数表中登记的库名和表名,去集群t元数据中查询导出where条件,作为delete目标的条件,以便支持重跑。接着,判断服务器上是否启动gds进程,如果不存在,启动gds进程。
s4:执行步骤s3生成导入文件sql命令,把步骤s2生成的文件a2导入到集群m对应的表a中。
可以理解的是,步骤s4还包括,更新参数表装置中作业a1的作业的状态为导入完成,以及作业开始和结束时间。
具体地,连接集群m,运行生成外表建表语句,生成的建立外表语句以及执行日志。解析运行外表建表语句生成的日志,是否有关键字”error:”,如果有则为失败,返回值1。解析运行生成插入目标表语句生成的日志,是否有关键字”error:”,如果有则为失败,返回值1。如果正确,返回值0。
接着,判断导出文本是否成功。获取返回值,判断返回值结果不是0,重新执行运行外表建表语句,运行生成插入目标表语句再进行导入,并更新参数表装置1状态为3,开始时间,结束时间。可以理解的是,在有很多表时候,并发执行s1到s4步骤,直至所有的作业都是完成状态。
这里结合从集群t同步一张表dwpdata.t15_mf1_pthrsopn_resv到集群m的表dwpdata.t15_prs_pthrsopn_resv进行实例讲解:为在集群t中执行并建立的参数表。存储在集群t上dbc.columns中的元数据,以dwpdata.t15_mf1_pthrsopn_resv为例参见表1。
表1集群t元数据表
接着,将表1的内容封装在一个脚本trans_schedule_mpp_07a.pl中,脚本中的函数:get_exportsql;fexp_script;gen_foreign_sql,gen_temp_to_data_sql以及final_import。
具体执行程序过程:
1)在集群t上执行参数表.sql:fxp<参数表.sql&
2)把para_config,trans_schedule_mpp_07a.pl保存在集群t上并调起程序。
perltrans_schedule_mpp_07a.pl&
3)如有新的表同步,执行以下操作:为在集群t中执行并建立的参数表。在参数表.sql中新增1条记录。如果para_config配置为10,trans_schedule_mpp_07a.pl会调起10个子进程。同时去扫描表data_trans_mpp_04,status为0的记录。每个子进程负责同步一张表。每个子进程按顺序执行各个函数:get_exportsql,fexp_script,gen_foreign_sql,gen_temp_to_data_sql,final_import,所有函数执行成功后,把集群t的表例如:dwpdata.t15_mf1_pthrsopn_resv的数据导入到集群m的表例如:dwpdata.t15_prs_pthrsopn_resv中。
从上述描述可知,本发明实施例提供的数据集群迁移方法,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本发明所提供的数据集群迁移方法,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
基于同一发明构思,本申请实施例还提供了数据集群迁移装置,可以用于实现上述实施例所描述的方法,如下面的实施例。由于数据集群迁移装置解决问题的原理与数据集群迁移方法相似,因此数据集群迁移装置的实施可以参见数据集群迁移方法实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本发明的实施例提供一种能够实现数据集群迁移方法的数据集群迁移装置的具体实施方式,参见图4,数据集群迁移装置具体包括如下内容:
参数表生成单元10,用于根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
指令生成单元20,用于根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
导出数据生成单元30,用于根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
导出数据导入单元40,用于根据所述导入指令将所述导出数据导入至所述目标数据集群中。
优选地,所述导出指令以及导入指令为sql指令。
优选地,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
参见图5,优选地,数据集群迁移装置还包括:
参数表更新单元50,用于更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
从上述描述可知,本发明实施例提供的数据集群迁移装置,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本发明所提供的数据集群迁移装置,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
本申请的实施例还提供能够实现上述实施例中的数据集群迁移方法中全部步骤的一种电子设备的具体实施方式,参见图6,电子设备具体包括如下内容:
处理器(processor)1201、存储器(memory)1202、通信接口(communicationsinterface)1203和总线1204;
其中,处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信;通信接口1203用于实现服务器端设备、存储设备以及用户端设备等相关设备之间的信息传输。
处理器1201用于调用存储器1202中的计算机程序,处理器执行计算机程序时实现上述实施例中的数据集群迁移方法中的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
步骤200:根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
步骤300:根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
步骤400:根据所述导入指令将所述导出数据导入至所述目标数据集群中。、
从上述描述可知,本申请实施例中的电子设备,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本申请实施例中的电子设备,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
本申请的实施例还提供能够实现上述实施例中的数据集群迁移方法中全部步骤的一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的数据集群迁移方法的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
步骤200:根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
步骤300:根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
步骤400:根据所述导入指令将所述导出数据导入至所述目标数据集群中。
从上述描述可知,本申请实施例中的计算机可读存储介质,通过参数表方式实现了自动导出文本和自动导入文本,从而完成业务办理。具体地,首先从目标集群中导出逻辑表的数据到文本中,再把文本加载到对应目标集群m的暂存表中,对于暂存表进行逻辑处理后,在导入到最后目标表中。与现有的数据迁移方法相比,本发明数据迁移方法,具有以下优势:
(1)能够适用于两个集群间表级别的数据迁移,具有通用性;
(2)能够适用于各种灵活拆分表、大批量、多并发、全自动的数据同步;
(3)使开发周期和成本大大降低,减少了工作量,能够快速部署上线。
综上,本申请实施例中的计算机可读存储介质,可以满足各种复杂条件跨集群的数据快速搬迁方法。从而满足大批量、大数据量跨平台数据复制。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件 程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
1.一种数据集群迁移方法,其特征在于,包括:
根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
根据所述导入指令将所述导出数据导入至所述目标数据集群中。
2.根据权利要求1所述的数据集群迁移方法,其特征在于,所述导出指令以及导入指令为sql指令。
3.根据权利要求1所述的数据集群迁移方法,其特征在于,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
4.根据权利要求1所述的数据集群迁移方法,其特征在于,还包括:更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
5.一种数据集群迁移装置,其特征在于,包括:
参数表生成单元,用于根据待迁移数据集群的物理表生成一参数表;所述参数表中参数包括:限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间;
指令生成单元,用于根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令;
导出数据生成单元,用于根据所述待迁移数据集群以及所述迁移指令,生成可以迁移至所述目标数据集群的导出数据;
导出数据导入单元,用于根据所述导入指令将所述导出数据导入至所述目标数据集群中。
6.根据权利要求5所述的数据集群迁移装置,其特征在于,所述导出指令以及导入指令为sql指令。
7.根据权利要求5所述的数据集群迁移装置,其特征在于,所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。
8.根据权利要求5所述的数据集群迁移装置,其特征在于,还包括:
参数表更新单元,用于更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4任一项所述数据集群迁移方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述数据集群迁移方法的步骤。
技术总结