本发明涉及持久性内存存储技术领域，特别涉及一种分布式持久性内存的全局地址空间管理方法。
背景技术：
非易失性内存技术(non-volatilememory，nvm)作为一种新型的内存级存储器件，具有读写延迟低、带宽高、数据持久化、可字节寻址、能耗低等特点。非易失性内存技术不仅具备类似磁盘等传统存储器件的持久性存储能力，同时具有和动态随机存取存储器(dynamicrandomaccessmemory，dram)相近的读写性能。面对高性能的内存级存储器件，构建能够充分发挥非易失性内存器件的分布式存储系统将具有重要意义。
相关技术的存储系统中，一种是按照传统方式将数据以主从备份或纠删码的方式存储在传统磁盘中，当上层应用用到这些数据时再从磁盘中读取，每次数据更新都需要访问磁盘，系统的整体性能受到磁盘访问延迟的限制，导致存储系统的整体性能差。另一种是提出将所有的数据都放在动态随机存取存储器中，以提高应用在正常操作下的访存性能，数据的可靠性通过主从备份的方式保证，相同数据的不同副本保存在跨节点的磁盘中。但缺点是，动态随机存取存储器密度低，设计这样的系统需要很高的成本，同时，当出现机器崩溃时，数据的恢复依然需要从磁盘中读取，且去中心化的元数据管理使得数据恢复首先需要从多个节点中重构哈希表，再通过重构的哈希表进行机器崩溃后的数据恢复，导致整个崩溃恢复过程需要很高的时间开销。
无论是将数据完全存放在动态随机存取存储器中，还是将数据存放在磁盘中，需要时再从磁盘中读取，都会导致分布式存储系统的部署成本、系统性能等各个方面受到不同程度的影响。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种分布式持久性内存的全局地址空间管理方法，该方法以解决分布式存储系统中数据可靠性差，机器崩溃情况下恢复性能差，吞吐率不高和延迟较低的问题。
为达到上述目的，本发明实施例提出了一种分布式持久性内存的全局地址空间管理方法，包括：
s1，通过本地地址分配器发起页分配请求；
s2，通过全局监控器接收所述页分配请求，根据所述页分配请求中携带的从副本数量选择相应数量的从副本节点，并通知所述从副本节点分配空闲页，所述从副本节点分配完成后将相应的页地址返还给所述全局监控器；
s3，所述全局监控器收到所有从副本节点返还的消息后，分配唯一的全局地址，并更新全局地址映射表，将更新后的全局地址映射表中的全局地址映射信息返回给所述从副本节点；
s4，所述从副本节点通过映射表缓存器缓存所述全局地址映射信息，并通过所述本地地址分配器管理数据页，以处理任意粒度的数据分配请求。
本发明实施例的一种分布式持久性内存的全局地址空间管理方法，在并发、多用户场景下，线程隔离的基本块映射表保证了全局地址空间分配时的性能和隔离性，主从备份的全局地址空间分配方式保证了数据的可靠性。两阶段提交的方式保证了全局地址空间分配时的原子性，由于使用了缓冲区，且内存中的数据与元数据服务器中的数据有相同的存放格式，所以在正常情况下，每次对基本块映射表和表映射信息的更新无需从内存数据结构中重新拷贝并序列化，从而降低每次对元数据服务器更新的开销。
另外，根据本发明上述实施例的一种分布式持久性内存的全局地址空间管理方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：对所述本地地址分配器进行初始化；
所述本地地址分配器在初始化之前，将节点内所有持久性内存设备通过mmap系统调用映射到所述本地地址分配器；
待持久性内存空间被映射完毕后，所述本地地址分配器在映射出的持久性内存空间首地址分配预设大小的区域存放用于表示所述页分配状态的分配记录表；
在所述本地地址分配器为首次初始化时，将分配记录表中表示对应页的标识位设置为未分配状态，若不是首次初始化，则无需设置。
进一步地，在本发明的一个实施例中，所述s1进一步包括：所述页分配请求由持久性内存数据服务器上的所述本地地址分配器发起，发起所述页分配请求的持久性内存数据服务器为主副本节点。
进一步地，在本发明的一个实施例中，所述主副本节点所在的本地地址分配器在发起所述页分配请求之前，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；
待分配记录表设置完成后，所述主副本节点的本地地址分配器将携带页地址和从副本数目的所述页分配请求发送给所述全局监控器。
进一步地，在本发明的一个实施例中，所述s2进一步包括：所述从副本节点的本地地址分配器收到所述全局监控器的页分配请求后，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；
待分配记录表设置完成后，所述从副本节点的本地地址分配器将相应的页地址返还给所述全局监控器。
进一步地，在本发明的一个实施例中，所述s3进一步包括：所述全局监控器收到所有从副本节点的返还的消息后，开始为当前的页分配请求分配唯一的全局地址，并根据分配的全局地址为所述页分配请求建立所述全局地址映射信息，同时更新所述全局地址映射表。
进一步地，在本发明的一个实施例中，还包括：所述全局监控器将所述全局地址映射表持久性地存储到元数据服务器中，以保证所述全局地址映射表的灾后一致性；
所述全局地址映射表各表项在持久性内存数据服务器和所述全局监控器不发生崩溃的情况下不会被修改；
所述全局监控器记录一个配置唯一识别号和所有存活的持久性内存数据服务器的节点列表，配置唯一识别号和节点列表也被持久性地存储在元数据服务器中，所述配置唯一识别号只有在检测到持久性内存数据服务器和所述全局监控器崩溃的情况下才会被更新。
进一步地，在本发明的一个实施例中，还包括：所述全局监控器完成所述全局地址映射信息的持久化操作后，将所述全局地址映射信息发送给所有从副本节点的本地地址分配器；
所述从副本节点的本地地址分配器收到所述全局地址映射信息后，根据所述全局地址映射信息中所述从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，并将确认信息返还给所述全局监控器。
进一步地，在本发明的一个实施例中，所述全局监控器收到所有从副本节点的确认信息后，将所述全局地址映射信息返还给主副本节点的本地地址分配器；
主副本节点的本地地址分配器收到所述全局地址映射信息后，根据所述全局地址映射信息中从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，全局地址单次分配过程结束。
进一步地，在本发明的一个实施例中，所述全局监控器在启动时，首先从元数据服务器中读取配置唯一识别号、节点列表和所述全局地址映射表信息，并根据节点列表信息，将所述全局地址映射表和配置唯一识别号发送给所有持久性内存服务器的本地地址分配器和映射表缓存器；
所有持久性内存服务器的本地地址分配器在收到所述全局地址映射表后，根据收到的所述全局地址映射表信息更新自身的分配记录表，将已设置为预分配状态，但没有完成分配的分配记录表标识位设置为未分配状态，将已完成分配的预分配状态修改为已分配状态；
映射表缓存器根据所述全局监控器提供的接口从所述全局监控器检索所述全局地址映射信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的一种分布式持久性内存的全局地址空间管理方法流程图；
图2为根据本发明一个实施例的分布式持久性内存的全局地址空间管理方法的整体系统架构图；
图3为根据本发明一个实施例的全局地址空间分配流程图；
图4为根据本发明一个实施例的分配记录表的状态转换图；
图5为根据本发明一个实施例的元数据信息存储示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的一种分布式持久性内存的全局地址空间管理方法。
图1为根据本发明一个实施例的一种分布式持久性内存的全局地址空间管理方法流程图。
如图1所示，该一种分布式持久性内存的全局地址空间管理方法包括以下步骤：
步骤s1，通过本地地址分配器发起页分配请求。
如图2所示，在本发明的实施例中，进行全局地址空间管理的系统部署在包含全局监控服务器、元数据服务器和持久性内存数据服务器等三种服务器之上，该系统包含三个模块，分别是全局监控器、本地地址分配器和映射表缓存器。该系统将所有持久性内存数据服务器的持久性内存抽象成全局共享的地址空间。
全局监控器独立运行在全局监控服务器上，全局监控器以页为基本单位管理全局地址空间，并负责全局地址空间分配和地址映射表管理，各数据服务器上运行本地地址分配器和映射表缓存器，元数据服务器存储全局地址映射表和相关元数据信息。
可以理解的是，为了保证全局监控器的高可用性，在整个系统范围内，存在单个活跃的全局监控器和两个备份的全局监控器，同时，为了保证元数据信息的高可用性，包括节点列表信息、配置唯一识别号和地址映射表信息，全局监控器将这些信息保存到元数据服务器中。在本发明的一个实施例中，系统采用以集群模式部署的zookeeper当作元数据服务器，并以znode方式保存元数据信息。同时数据服务器上运行本地地址分配器和映射表缓存器，系统将所有持久性内存数据服务器的持久性内存抽象成全局共享的地址空间。
进一步地，在本发明的一个实施例中，在进行全局地址空间分配时，每个数据服务器上的本地地址分配器需要初始化。
本地地址分配器在初始化之前，首先将该节点内所有持久性内存设备通过mmap系统调用映射到本地地址分配器；
待持久性内存空间被映射完毕后，本地地址分配器在映射出的持久性内存空间首地址分配一定大小的区域存放用于表示页分配状态的分配记录表；
若本地地址分配器为首次初始化，则将该分配记录表中表示对应页的标识位设置为未分配状态，若不是首次初始化，则无需做上述操作。
可以理解的是，全局监控器也需要初始化，在初始化时，全局监控器需要从zookeeper中对应的znode读取相应的配置唯一识别号、节点列表信息和全局地址映射表信息，并更新自身内存对应的数据结构，同时，将全局地址映射表中对应的全局地址最大值初始化为生成全局地址的32位计数器，即全局地址生成器。
在本发明的一个实施例中，本地地址分配器的分配记录表状态转换图如图3所示，分配记录表的每个标识位分别记录该节点内每个页的分配状态，依次是未分配、预分配和已分配状态，每个页的大小为2gb，本发明将以图4的全局地址分配为例，介绍本地地址分配器的分配记录表状态转换过程。
进一步地，在本发明的一个实施例中，页分配请求由持久性内存数据服务器上的本地地址分配器发起，发起页分配请求的持久性内存数据服务器为主副本节点。
主副本节点所在的本地地址分配器在发起页分配请求之前，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态。
待分配记录表设置完成后，主副本节点的本地地址分配器将携带页地址和从副本数目的页分配请求发送给全局监控器。
具体地，如图4所示，展示了全局地址空间分配时的时间轴。全局地址分配请求是由持久性内存数据服务器上的本地地址分配器发起的，同时，发起页分配请求的持久性内存数据服务器为主副本节点。主副本所在的本地地址分配器在发起全局地址分配请求之前，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；待分配记录表设置完成后，主副本节点的本地地址分配器将携带页地址和从副本数目的页分配请求，通过远程过程调用(remoteprocesscall：rpc)的方式发送给全局监控器。
步骤s2，通过全局监控器接收页分配请求，根据页分配请求中携带的从副本数量选择相应数量的从副本节点，并通知从副本节点分配空闲页，从副本节点分配完成后将相应的页地址返还给全局监控器。
步骤s3，全局监控器收到所有从副本节点返还的消息后，分配唯一的全局地址，并更新全局地址映射表，将更新后的全局地址映射表中的全局地址映射信息返回给从副本节点。
步骤s4，从副本节点通过映射表缓存器缓存全局地址映射信息，并通过本地地址分配器管理数据页，以处理任意粒度的数据分配请求。
具体地，全局监控器接收到主副本的页分配请求后，根据页分配请求中的从副本个数选择相应数量的从副本节点，同时保证单个全局地址所对应的任何两个空闲页副本都不会位于同一个节点中，以尽可能地将主副本和从副本均匀地分布在节点集群内。待上述操作完成后，全局监控器以rpc的方式通知所有的从副本节点分配空闲页。
进一步地，从副本节点的本地地址分配器收到全局监控器的页分配请求后，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；待分配记录表设置完成后，从副本节点的本地地址分配器将相应的页地址返还给全局监控器。
进一步地，全局监控器收到所有从副本节点的返还的消息后，开始为当前的页分配请求分配唯一的全局地址，并根据分配的全局地址为页分配请求建立全局地址映射信息，同时更新全局地址映射表。
具体地，全局监控器收到所有从副本节点的返回消息后，开始将全局地址生成器以原子自增，并左移32位的方式为当前分配请求分配唯一的64位全局地址，并根据分配的全局地址为当前分配请求建立全局地址映射信息，同时更新全局地址映射表。同时，全局地址映射表是线程隔离的数据结构，其中，不同线程的全局地址映射表相互隔离，各个线程只能访问本线程的全局地址映射表，以提高全局地址映射表更新时的并发性和隔离性。
进一步地，待上述操作完成后，全局监控器需要将全局地址映射表持久性地存储到zookeeper中，以保证全局地址映射表的灾后一致性。
全局地址映射表各表项在持久性内存数据服务器和全局监控器不发生崩溃的情况下不会被修改。
全局监控器记录一个配置唯一识别号和所有存活的持久性内存数据服务器的节点列表，配置唯一识别号和节点列表也被持久性地存储在元数据服务器中，配置唯一识别号只有在检测到持久性内存数据服务器和全局监控器崩溃的情况下才会被更新。
在本发明的实施例中，全局监控器将以如图5所示的方式将元数据信息存放到zookeeper集群。如图5所示，因为znode每次只能以覆盖写的方式进行更新，同时，全局地址映射表各表项在持久性内存数据服务器和全局监控器不发生崩溃的情况下也不会被修改，因此本实施例使用缓冲区的方式更新zookeeper中的元数据信息，缓冲区的设置使得每次有新的全局地址信息添加到映射表时，全局监控器无需对之前已经生成的全局地址信息进行序列化，大大提高了全局监控器持久化地址映射表时的性能。其次负责不同地址映射表的线程将其地址映射表信息存放到不同的znode中，在全局监控器初始化时也以多线程的方式从zookeeper中读取已有的全局地址映射表信息，极大地提高全局监控器访问zookeeper时的性能。同时，配置唯一识别号也只有在检测到持久性内存数据服务器和全局监控器崩溃的情况下才会被更新。
进一步地，全局监控器完成全局地址映射信息的持久化操作后，将全局地址映射信息发送给所有从副本节点的本地地址分配器；从副本节点的本地地址分配器收到全局地址映射信息后，根据全局地址映射信息中从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，并将确认信息返还给全局监控器。
全局监控器收到所有从副本节点的确认信息后，将全局地址映射信息返还给主副本节点的本地地址分配器；主副本节点的本地地址分配器收到全局地址映射信息后，根据全局地址映射信息中从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，待上述操作全局完成后，当前全局地址单次分配过程才算结束。
进一步地，如图3所示，除了上述在处理页分配请求的时候，分配记录表要进行状态转换之外，全局监控器在每次启动时，也需要对每个节点内本地地址分配器的分配记录表进行状态更新，具体内容如下：全局监控器在启动时，首先从zookeeper中读取配置唯一识别号、节点列表和全局地址映射表信息，并根据节点列表信息，将全局地址映射表和配置唯一识别号发送给所有持久性内存服务器的本地地址分配器和映射表缓存器。
所有持久性内存服务器的本地地址分配器在收到的全局地址映射表后，根据收到全局地址映射表信息更新自身的分配记录表；将已设置为预分配状态，但没有完成分配的分配记录表标识位设置为未分配状态，而将已完成分配的预分配状态修改为已分配状态。
映射表缓存器根据全局监控器提供的接口从全局监控器检索全局地址映射信息。
对于应用客户端来说，当上层应用通过映射表缓存器提供的接口以全局地址检索对应的全局地址映射信息时，如果该全局地址对应的全局地址映射信息位于本地缓存，则直接从本地进行读取，若不在本地缓存，则通过rpc的方式从全局管理者读取对应的信息，读取映射表信息的整个过程对上层应用来说是透明的。
在本发明的实现结果上，多线程对全局地址映射表的查找和更新操作无需加锁，所以在并发、多用户场景下，全局地址空间分配时的性能和隔离性都非常好。由于缓冲区的设置，当更新单个映射信息时无需对内存中其他的数据进行序列化，提高了访问zookeeper的整体性能。
根据本发明实施例提出的一种分布式持久性内存的全局地址空间管理方法，在并发、多用户场景下，线程隔离的基本块映射表保证了全局地址空间分配时的性能和隔离性，主从备份的全局地址空间分配方式保证了数据的可靠性。两阶段提交的方式保证了全局地址空间分配时的原子性，由于使用了缓冲区，且内存中的数据与元数据服务器中的数据有相同的存放格式，所以在正常情况下，每次对基本块映射表和表映射信息的更新无需从内存数据结构中重新拷贝并序列化，从而降低每次对元数据服务器更新的开销。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种分布式持久性内存的全局地址空间管理方法，其特征在于，包括以下步骤：
s1，通过本地地址分配器发起页分配请求；
s2，通过全局监控器接收所述页分配请求，根据所述页分配请求中携带的从副本数量选择相应数量的从副本节点，并通知所述从副本节点分配空闲页，所述从副本节点分配完成后将相应的页地址返还给所述全局监控器；
s3，所述全局监控器收到所有从副本节点返还的消息后，分配唯一的全局地址，并更新全局地址映射表，将更新后的全局地址映射表中的全局地址映射信息返回给所述从副本节点；
s4，所述从副本节点通过映射表缓存器缓存所述全局地址映射信息，并通过所述本地地址分配器管理数据页，以处理任意粒度的数据分配请求。
2.根据权利要求1所述的方法，其特征在于，还包括：对所述本地地址分配器进行初始化；
所述本地地址分配器在初始化之前，将节点内所有持久性内存设备通过mmap系统调用映射到所述本地地址分配器；
待持久性内存空间被映射完毕后，所述本地地址分配器在映射出的持久性内存空间首地址分配预设大小的区域存放用于表示所述页分配状态的分配记录表；
在所述本地地址分配器为首次初始化时，将分配记录表中表示对应页的标识位设置为未分配状态，若不是首次初始化，则无需设置。
3.根据权利要求1所述的方法，其特征在于，所述s1进一步包括：
所述页分配请求由持久性内存数据服务器上的所述本地地址分配器发起，发起所述页分配请求的持久性内存数据服务器为主副本节点。
4.根据权利要求3所述的方法，其特征在于，
所述主副本节点所在的本地地址分配器在发起所述页分配请求之前，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；
待分配记录表设置完成后，所述主副本节点的本地地址分配器将携带页地址和从副本数目的所述页分配请求发送给所述全局监控器。
5.根据权利要求1所述的方法，其特征在于，所述s2进一步包括：
所述从副本节点的本地地址分配器收到所述全局监控器的页分配请求后，首先在本地分配一块空闲页，并将该空闲页对应的分配记录表中的相应位置设置为预分配状态；
待分配记录表设置完成后，所述从副本节点的本地地址分配器将相应的页地址返还给所述全局监控器。
6.根据权利要求1所述的方法，其特征在于，所述s3进一步包括：
所述全局监控器收到所有从副本节点的返还的消息后，开始为当前的页分配请求分配唯一的全局地址，并根据分配的全局地址为所述页分配请求建立所述全局地址映射信息，同时更新所述全局地址映射表。
7.根据权利要求6所述的方法，其特征在于，还包括：
所述全局监控器将所述全局地址映射表持久性地存储到元数据服务器中，以保证所述全局地址映射表的灾后一致性；
所述全局地址映射表各表项在持久性内存数据服务器和所述全局监控器不发生崩溃的情况下不会被修改；
所述全局监控器记录一个配置唯一识别号和所有存活的持久性内存数据服务器的节点列表，配置唯一识别号和节点列表也被持久性地存储在元数据服务器中，所述配置唯一识别号只有在检测到持久性内存数据服务器和所述全局监控器崩溃的情况下才会被更新。
8.根据权利要求7所述的方法，其特征在于，还包括：
所述全局监控器完成所述全局地址映射信息的持久化操作后，将所述全局地址映射信息发送给所有从副本节点的本地地址分配器；
所述从副本节点的本地地址分配器收到所述全局地址映射信息后，根据所述全局地址映射信息中所述从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，并将确认信息返还给所述全局监控器。
9.根据权利要求8所述的方法，其特征在于，
所述全局监控器收到所有从副本节点的确认信息后，将所述全局地址映射信息返还给主副本节点的本地地址分配器；
主副本节点的本地地址分配器收到所述全局地址映射信息后，根据所述全局地址映射信息中从副本节点对应的页地址，将该地址对应的分配记录表中的相应位置设置为已分配状态，全局地址单次分配过程结束。
10.根据权利要求1所述的方法，其特征在于，
所述全局监控器在启动时，首先从元数据服务器中读取配置唯一识别号、节点列表和所述全局地址映射表信息，并根据节点列表信息，将所述全局地址映射表和配置唯一识别号发送给所有持久性内存服务器的本地地址分配器和映射表缓存器；
所有持久性内存服务器的本地地址分配器在收到所述全局地址映射表后，根据收到的所述全局地址映射表信息更新自身的分配记录表，将已设置为预分配状态，但没有完成分配的分配记录表标识位设置为未分配状态，将已完成分配的预分配状态修改为已分配状态；
映射表缓存器根据所述全局监控器提供的接口从所述全局监控器检索所述全局地址映射信息。
技术总结