一种数据读取的方法及相应装置与流程

专利2026-01-21  9

本技术涉及存储,具体涉及一种数据读取的方法及相应装置。
背景技术
::1、读性能是衡量一个存储产品质量的重要指标,当前普遍采用缓存数据来提升读性能,但是内存资源有限,如果读请求在缓存中不能命中数据,则需要到硬盘中去读取数据。2、从硬盘中读数据的过程通常是根据读请求到硬盘中先查找元数据,然后再根据元数据指示的数据存储的位置,到相应位置读取数据。3、目前的从内存到硬盘逐个去命中的数据读取方式,不利于快速读取到数据,导致读性能较差。技术实现思路1、本技术提供一种数据读取的方法,用于快速读取数据,提高了读性能。本技术还提供了相应装置、计算机可读存储介质,以及计算机程序产品等。2、本技术第一方面提供一种数据读取的方法,包括获取读请求,读请求包括待读取的目标数据的信息;根据待读取的目标数据的信息,通过快速路径策略从缓存中获取目标数据,或者,通过快速路径策略获取目标数据的闪存转换元数据,其中,快速路径策略用于指示读取缓存或硬盘的路径;其中,闪存转换元数据用于指示目标数据在硬盘中的逻辑地址与物理地址的映射关系,闪存转换元数据用于从硬盘中读取目标数据。3、本技术提供的数据读取的方法可以应用于存储设备、微存储设备等与存储相关的设备,这些存储设备可以用来构建数据库系统、云环境等。4、本技术中,读请求可以来自于客户端,该客户端可以是应用(application,app),也可以是终端设备。5、本技术中,读请求中待读取的目标数据的信息可以包括待读取的目标数据的键值(key)、偏移值(offset)、读取顺序等。6、本技术中,快速路径(fastpath)策略可以是软件模块,其中,预先配置有指示数据读取的信息,或者,缓存通过提前注册将读接口等信息提供给快速路径策略,硬盘中的数据的闪存转换(flash translation laye,ftl)元数据也可以提前注册到快速路径策略中。7、该第一方面中,通过快速路径策略,可以快速确定到读请求所要请求的目标数据位于缓存或硬盘。这样,可以直接从缓存中读取目标数据,或者通过ftl元数据直接去硬盘中读取读请求对应的目标数据,从而提高了数据读取的速度。8、一种可能的实现方式中,快速路径策略包括缓存的读路径和读接口,以及硬盘中数据的闪存转换元数据;其中,读路径指示读取缓存的顺序。9、该种可能的实现方式中,快速路径策略可以包括快表(fasttable),快表可以包括缓存的读路径和读接口,缓存可以包括元数据缓存(mask缓存)、写缓存(write cache,wcache)和读缓存(read cache,rcache)。读路径可以是读取mask缓存、写缓存和读缓存的顺序,如:先读取mask缓存,根据mask缓存的读取情况,再确定接下来读写缓存还是读读缓存。mask缓存可以有mask外置表、写缓存有写缓存外置表、读缓存有读缓存外置表,读缓存可以是读外置表。外置表指的是不需要在快速路径策略中做更新、增加或删除等管理的表。快速路径策略还包括ftl内置表,ftl内置表中包括硬盘中数据的ftl元数据。内置表指的是需要在快速路径策略中执行更新、查找或删除等管理的表。该种方式中,通过读路径和读接口可以提高在缓存中的命中目标数据的速度,通过ftl元数据可以提高在硬盘中读取目标数据的速度。10、一种可能的实现方式中,上述步骤:根据待读取的目标数据的信息,通过快速路径策略从缓存中获取目标数据,或者,通过快速路径策略获取目标数据的闪存转换元数据,包括:根据待读取的目标数据的信息,确定目标数据位于缓存或位于硬盘;若位于缓存,则根据快速路径策略中的缓存的读路径和读接口,从缓存读取目标数据;若位于硬盘,则从快速路径策略中获取目标数据的闪存转换元数据。11、该种可能的实现方式中,可以根据待读取的目标数据的信息来确定目标数据是否在缓存中,若不在缓存中,则在硬盘中。这样,就可以快速的读取目标数据。12、一种可能的实现方式中,上述步骤:根据快速路径策略中的缓存的读路径和读接口,从缓存读取目标数据,包括:根据读路径和读接口读取缓存中的元数据;根据缓存中的元数据读取目标数据。13、该种可能的实现方式中,通过读路径和读接口可以先读取mask元数据,然后根据mask元数据再读取目标数据,可以提高在缓存中的命中目标数据的速度。14、一种可能的实现方式中,缓存包括写缓存,缓存中的元数据指示目标数据位于写缓存,目标数据读取自写缓存。15、该种可能的实现方式中,若mask元数据指示到写缓存去读取,则可以在写缓存中命中目标数据,提高了目标数据读取的速度。16、一种可能的实现方式中,缓存包括读缓存,缓存中的元数据指示目标数据位于读缓存,目标数据读取自读缓存。17、该种可能的实现方式中,若mask元数据指示到读缓存去读取,则可以在读缓存中命中目标数据,提高了目标数据读取的速度。18、一种可能的实现方式中,上述步骤:从快速路径策略中获取目标数据的闪存转换元数据之后,该方法还包括:根据目标数据的闪存转换元数据,确定目标数据在硬盘中的物理地址;从物理地址下读取目标数据。19、该种可能的实现方式中,若目标数据位于硬盘,则无需要去硬盘中获取逻辑地址与物理地址的映射关系,直接根据目标数据的ftl元数据所指示的逻辑地址与物理地址的映射关系,从硬盘中读取数据即可,极大的提高了从硬盘中读取数据的速度。20、一种可能的实现方式中,获取读请求之前,该方法还包括:将缓存的读路径和读接口注册到快速路径策略中。21、该种可能的实现方式中,提前将缓存的读路径和读接口注册到快速路径策略中,可以提高从缓存中读取数据的速度。22、一种可能的实现方式中,在获取读请求之前,该方法还包括:将硬盘中数据的闪存转换元数据注册到快速路径策略中。23、该种可能的实现方式中,提前将ftl元数据注册到快速路径策略,可以提高从硬盘读取数据的速度。24、本技术第二方面提供一种数据读取的装置,包括:25、第一处理单元,用于获取读请求,读请求包括待读取的目标数据的信息。26、第二处理单元,用于根据第一处理单元获取的读请求中的待读取的目标数据的信息,通过快速路径策略从缓存中获取目标数据,或者,通过快速路径策略获取目标数据的闪存转换元数据,其中,快速路径策略用于指示读取缓存或硬盘的路径。27、其中,闪存转换元数据用于指示目标数据在硬盘中的逻辑地址与物理地址的映射关系,闪存转换元数据用于从硬盘中读取目标数据。28、一种可能的实现方式中,快速路径策略包括缓存的读路径和读接口,以及硬盘中数据的闪存转换元数据;其中,读路径指示读取缓存的顺序。29、一种可能的实现方式中,第二处理单元,具体用于根据待读取的目标数据的信息,确定目标数据位于缓存或位于硬盘;若位于缓存,则根据快速路径策略中的缓存的读路径和读接口,从缓存读取目标数据;若位于硬盘,则从快速路径策略中获取目标数据的闪存转换元数据。30、一种可能的实现方式中,第二处理单元,具体用于根据读路径和读接口读取缓存中的元数据;根据缓存中的元数据读取目标数据。31、一种可能的实现方式中,缓存包括写缓存,缓存中的元数据指示目标数据位于写缓存,目标数据读取自写缓存。32、一种可能的实现方式中,缓存包括读缓存,缓存中的元数据指示目标数据位于读缓存,目标数据读取自读缓存。33、一种可能的实现方式中,第二处理单元,还用于根据目标数据的闪存转换元数据,确定目标数据在硬盘中的物理地址;从物理地址下读取目标数据。34、一种可能的实现方式中,第一处理单元,还用于将缓存的读路径和读接口注册到快速路径策略中。35、一种可能的实现方式中,第一处理单元,还用于将硬盘中数据的闪存转换元数据注册到快速路径策略中。36、本技术第三方面,提供了一种存储设备。该存储设备可以包括至少一个处理器、存储器和通信接口。处理器与存储器和通信接口耦合。存储器用于存储指令,处理器用于执行该指令,通信接口用于在处理器的控制下与其他设备进行通信。该指令在被处理器执行时,使处理器执行第一方面或第一方面的任意可能的实现方式中的方法。37、本技术第四方面提供了一种芯片系统,该芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于存储设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,数据管理装置执行前述第一方面或第一方面的任意可能的实现方式中的方法。38、本技术第五方面提供了一种计算机可读存储介质,其上存储有计算机程序或指令,当计算机程序或指令在计算机设备上运行时,使得计算机设备执行前述第一方面或第一方面的任意可能的实现方式中的方法。39、本技术第六方面提供了一种计算机设备程序产品,该计算机设备程序产品包括计算机设备程序代码,当计算机设备程序代码在计算机设备上执行时,使得计算机设备执行前述第一方面或第一方面的任意可能的实现方式中的方法。40、其中,第二方面至第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果,此处不再赘述。当前第1页12当前第1页12
技术特征:

1.一种数据读取的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述快速路径策略包括所述缓存的读路径和读接口,以及所述硬盘中数据的闪存转换元数据;其中,所述读路径指示读取所述缓存的顺序。

3.根据权利要求2所述的方法,其特征在于,所述根据所述待读取的目标数据的信息,通过快速路径策略从缓存中获取所述目标数据,或者,通过快速路径策略获取所述目标数据的闪存转换元数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述快速路径策略中的所述缓存的读路径和读接口,从所述缓存读取所述目标数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述缓存包括写缓存,所述缓存中的元数据指示所述目标数据位于所述写缓存,所述目标数据读取自所述写缓存。

6.根据权利要求4所述的方法,其特征在于,所述缓存包括读缓存,所述缓存中的元数据指示所述目标数据位于所述读缓存,所述目标数据读取自所述读缓存。

7.根据权利要求3所述的方法,其特征在于,所述从所述快速路径策略中获取所述目标数据的闪存转换元数据之后,所述方法还包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述获取读请求之前,所述方法还包括:

9.根据权利要求1-7任一项所述的方法,其特征在于,所述获取读请求之前,所述方法还包括:

10.一种数据读取的装置,其特征在于,包括:

11.根据权利要求10所述的装置,其特征在于,所述快速路径策略包括所述缓存的读路径和读接口,以及所述硬盘中数据的闪存转换元数据;其中,所述读路径指示读取所述缓存的顺序。

12.根据权利要求11所述的装置,其特征在于,

13.根据权利要求12所述的装置,其特征在于,

14.根据权利要求13所述的装置,其特征在于,所述缓存包括写缓存,所述缓存中的元数据指示所述目标数据位于所述写缓存,所述目标数据读取自所述写缓存。

15.根据权利要求13所述的装置,其特征在于,所述缓存包括读缓存,所述缓存中的元数据指示所述目标数据位于所述读缓存,所述目标数据读取自所述读缓存。

16.根据权利要求12所述的装置,其特征在于,所述第二处理单元,还用于根据所述目标数据的闪存转换元数据,确定所述目标数据在所述硬盘中的物理地址;从所述物理地址下读取所述目标数据。

17.根据权利要求10-16任一项所述的装置,其特征在于,

18.根据权利要求10-16任一项所述的装置,其特征在于,

19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的方法。

20.一种计算机程序产品,其特征在于,当计算机程序指令被处理器执行时,处理器执行如权利要求1-9任一项所述的方法。

21.一种存储设备,其特征在于,包括处理器和存储有计算机程序的计算机可读存储介质;

22.一种芯片系统,其特征在于,包括处理器,所述处理器被调用用于执行如权利要求1-9任一项所述的方法。


技术总结
本申请公开了一种数据读取的方法,包括:获取读请求,读请求包括待读取的目标数据的信息;根据待读取的目标数据的信息,通过快速路径策略从缓存中获取目标数据,或者,通过快速路径策略获取目标数据的闪存转换元数据,其中,快速路径策略用于指示读取缓存或硬盘的路径;其中,闪存转换元数据用于指示目标数据在硬盘中的逻辑地址与物理地址的映射关系,闪存转换元数据用于从硬盘中读取目标数据。这样,通过快速路径策略,可以快速确定到读请求所要请求的目标数据位于缓存或硬盘。这样,可以直接从缓存中读取目标数据,或者通过FTL元数据直接去硬盘中读取读请求对应的目标数据,从而提高了数据读取的速度。

技术研发人员:张继红,曾伟,曾强,叶利杰,牛浩鑫
受保护的技术使用者:华为技术有限公司
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-437415.html

最新回复(0)