图像重建方法、装置、计算机设备和存储介质与流程

专利2022-06-29  66


本申请涉及图像重建技术领域,特别是涉及一种图像重建方法、装置、计算机设备和存储介质。



背景技术:

随着医学成像技术的发展,出现了正电子发射计算机断层显像-电子计算机断层扫描仪(positronemissioncomputedtomography-computedtomography,pet-ct)和正电子发射计算机断层显像/核磁共振成像仪(positronemissioncomputedtomography/magneticresonanceimaging,pet/mri),pet-ct是一种将pet与ct结合所组成的大型功能代谢与分子影像诊断设备,同时具有pet和ct的检查功能,pet-mr是一种将pet与mr结合所组成的大型功能代谢分子影像诊断设备,同时具有pet和mr的检查功能。

传统技术中,使用pet-ct或pet-mr设备对受检者进行检查时,通常是对受检者注射标准剂量的pet药物,通过对受检者进行长时间地扫描,利用长时扫描过程中采集到的数据,进行图像重建,得到重建的pet图像。

但是,传统技术中由于对受检者扫描的时间较长,存在得到重建pet图像效率较低的问题。



技术实现要素:

基于此,有必要针对传统技术存在得到重建pet图像效率较低的问题,提供一种图像重建方法、装置、计算机设备和存储介质。

第一方面,本发明实施例提供一种图像重建方法,所述方法包括:

获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

第二方面,本发明实施例提供一种图像重建装置,所述装置包括:

第一获取模块,用于获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

第一计算模块,用于对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

重建模块,用于根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

第三方面,本发明实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

上述实施例提供的图像重建方法、装置、计算机设备和存储介质中,计算机设备获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长;对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息;根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。在该方法中,计算机设备通过对获取的扫描时长小于预设的标准扫描时长的第一医学图像进行梯度计算,能够得到表征第一医学图像边缘信息的边缘图像,进而能够根据扫描时长小于预设的标准扫描时长的第一医学图像、边缘图像和预设的图像重建模型,重建出标准扫描时长对应的细节丰富的第二医学图像,提高了得到的第二医学图像的效率。

附图说明

图1为一个实施例提供的计算机设备的内部结构示意图;

图1a为一个实施例提供的得到标准扫描时长的预测图的流程示意图;

图2为一个实施例提供的图像重建方法的流程示意图;

图2a为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;

图2b为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;

图2c为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;

图3为另一个实施例提供的图像重建方法的流程示意图;

图4为另一个实施例提供的图像重建方法的流程示意图;

图5为另一个实施例提供的图像重建方法的流程示意图;

图5a为一个实施例提供的初始图像重建模型的网络结构示意图;

图6为另一个实施例提供的图像重建方法的流程示意图;

图7为一个实施例提供的图像重建装置结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请实施例提供的图像重建方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。

需要说明的是,本申请实施例提供的图像重建方法,其执行主体可以是图像重建装置,该图像重建装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。

需要说明的是,影响正电子发射计算机断层显像-电子计算机断层扫描仪(positronemissioncomputedtomography-computedtomography,pet-ct)或正电子发射计算机断层显像/核磁共振成像仪(positronemissioncomputedtomography/magneticresonanceimaging,pet/mri)获取的pet图像质量的因素主要有两个:一是,pet药物的注射剂量;二是,pet系统的扫描时间。通常pet系统的扫描时间越长,则采集的数据足够多,重建的pet图像质量才能满足临床需要;反之,扫描时间短,则采集的数据不足,重建的pet图像很难应用于临床。目前,对于pet数据的采集,在注射正常剂量的情况下,通常需要3分钟每床位;如果注入正常剂量的一半剂量的话意味着至少需要采集6分钟的数据才能重建出满足临床需要的pet图像。但是,长时间的扫描会导致获取重建图像效率较低的问题,所以,提高得到pet重建图像的效率但又不影响生成的pet重建图像的质量,对pet-ct和pet/mri扫描具有十分重大的意义。图1a为一个实施例提供的得到标准扫描时长的预测图的流程示意图。如图1a所示,计算机设备通过对大量的短时扫描样本图像进行标准化处理,将标准化处理后的短时扫描样本图像输入初始图像重建模型,得到输出结果,根据初始图像重建模型的输出结果与标准化后的标准扫描时长样本图像,对初始图像重建模型进行训练,得到图像重建模型,在临床上,需要重建标准扫描时长的预测图时,通过对临床获得的短时扫描图像进行标准化处理,将标准化处理的短时扫描图像输入图像重建模型,对输出结果进行线性变换处理,进而得到标准扫描时长预测图。

下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的图像重建方法的流程示意图。图2a为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;图2b为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;图2c为一个实施例中利用图像重建模型得到的标准扫描时长图像示意图;本实施例涉及的是计算机设备对扫描时长小于预设的标准扫描时长的第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像,根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像的具体实现过程。如图2所示,该方法可以包括:

s201,获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长。

可以理解的是,这里的标准扫描时长指的是在利用医学影像设备对受检者进行数据采集的过程中,在注射不同剂量的显影剂情况下,对受检者进行扫描生成满足临床需要的图像所对应的扫描时长。示例性地,以pet扫描为例,若对受检者注射的显影剂的剂量为正常剂量,生成满足临床需要的pet图像所对应的扫描时长为3分钟,则此时对应地标准扫描时长为3分钟;若对受检者注射的显影剂的剂量为正常剂量的一半,生成满足临床需要的pet图像所对应的扫描时长为6分钟,则此时对应的标准扫描时长为6分钟。可选的,计算机设备可以从pacs(picturearchivingandcommunicationsystems,影像归档和通信系统)服务器中获取第一医学图像,也可以从医学影像设备中实时地获取第一医学图像,可选的,这里的医学影像设备可以为pet-ct设备,也可以为pet/mri设备或pet设备,也可以为ct设备。可选的,第一医学图像可以为pet-ct或pet/mri医学影像设备生成的pet图像,也可以为单一地pet医学影像设备生成的pet图像,也可以为ct设备生成的ct图像。

s202,对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息。

具体的,计算机设备对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像。其中,边缘图像用于表征第一医学图像的边缘信息。可选的,计算机设备可以利用索贝尔算子(sobeloperator)对第一医学图像进行梯度计算,也可以利用普利维特算子(prewittoperator)或罗伯茨交叉边缘检测算子(robertscrossoperator)对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像。

s203,根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。

具体的,计算机设备根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。可选的,计算机设备可以将第一医学图像输入预设的图像重建模型,得到第一医学图像对应的预测图,根据第一医学图像对应的预测图和边缘图像,得到标准扫描时长对应的第二医学图像;也可以将第一医学图像和边缘图像同时输入预设的图像重建模型,得到标准扫描时长对应的第二医学图像。示例性地,以pet扫描为例,若对受检者注射的显影剂的剂量为正常剂量,对应地标准扫描时长为3分钟,若获取的第一医学图像对应的扫描时长为1.5分钟,则得到的第二医学图像对应的扫描时长为标准扫描时长3分钟。可选的,预设的图像重建模型的网络结构可以为全卷积网络(fullyconvolutionalnetworks),如v-net网络、u-net网络等,也可以为生成对抗网络(generativeadversarialnets),如pix2pix网络、wgan网络等。请参见图2a、图2b、图2c,如图2a、图2b、图2c所示,图中从左到右依次为短时扫描的图像、本申请图像重建模型得到的标准扫描时长图像、金标准扫描时长图像,可见,本申请得到的标准扫描时长图像与金标准扫描时长图像几乎相同,也就是说,本申请通过图像重建模型得到的标准扫描时长图像的精度是足够的,同时通过短时扫描的图像和图像重建模型重建标准扫描时长的图像,提高了得到的重建图像的效率,解决了通过长时扫描获取受检者的重建图像效率较低的问题。

在本实施例中,计算机设备通过对获取的扫描时长小于预设的标准扫描时长的第一医学图像进行梯度计算,能够得到表征第一医学图像边缘信息的边缘图像,进而能够根据扫描时长小于预设的标准扫描时长的第一医学图像、边缘图像和预设的图像重建模型,重建出标准扫描时长对应的细节丰富的第二医学图像,提高了得到的第二医学图像的效率。

图3为另一个实施例提供的图像重建方法的流程示意图。本实施例涉及的是计算机设备根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像的具体实现过程。如图3所示,在上述实施例的基础上,作为一种可选的实施方式,上述s203,包括:

s301,根据第一医学图像、边缘图像和图像重建模型,得到预测图和边缘预测图;其中,预测图包括的边缘特征信息少于边缘预测图包括的边缘特征信息。

具体的,计算机设备根据上述第一医学图像、边缘图像和图像重建模型,得到预测图和边缘预测图。其中,预测图包括的边缘特征信息小于边缘预测图包括的边缘特征信息。可以理解的是,根据第一医学图像和重建模型得到预测图的过程中,会由于对第一医学图像边缘特征信息提取不全等原因,使得到的预测图中边缘特征信息有所损失,使预测图包括的边缘特征信息小于边缘预测图包括的边缘特征信息。可选的,计算机设备可以将第一医学图像、边缘图像输入图像重建模型,得到预测图,并根据在得到预测图过程中产生的特征信息得到边缘图像对应的边缘预测图。

s302,根据预测图和边缘预测图,得到第二医学图像。

具体的,计算机设备可以根据上述得到的预测图和边缘预测图,得到第二医学图像。可选的,计算机设备可以将边缘预测图的特征融合到得到的预测图中,根据边缘预测图恢复预测图中的细节信息,得到第二医学图像。

在本实施例中,计算机设备根据第一医学图像、边缘图像和图像重建模型,能够快速地得到预测图和边缘预测图,进而可以根据预测图和边缘预测图,快速地得到细节信息丰富的第二医学图像,提高了得到的第二医学图像的效率;另外,根据第一医学图像、边缘图像和图像重建模型,能够准确地得到预测图和边缘预测图,进而可以根据预测图和边缘预测图,准确地得到细节信息丰富的第二医学图像,提高了得到的第二医学图像的准确度。

图4为另一个实施例提供的图像重建方法的流程示意图。本实施例涉及的是计算机设备根据第一医学图像、边缘图像和预设的图像重建模型,得到预测图和边缘预测图的具体实现过程。如图4所示,在上述实施例的基础上,作为一种可选的实施方式,上述s301,包括:

s401,将第一医学图像和边缘图像,输入图像重建模型,得到第一医学图像的特征信息。

具体的,计算机设备将第一医学图像和边缘图像,输入上述图像重建模型,得到第一医学图像的特征信息。可选的,图像重建模型可以对输入的第一医学图像进行下采样操作和上采样操作,得到第一医学图像的特征信息。可选的,计算机设备将第一医学图像输入图像重建模型之前,可以将第一医学图像的分辨率与训练图像重建模型时使用的样本图像的分辨率进行比较,若第一医学图像的分辨率与样本图像的分辨率不同,则可以对第一医学图像进行重采样处理,将第一医学图像重采样为与样本图像相同分辨率空间的图像,然后,将重采样处理后的第一医学图像输入图像重建模型。

s402,根据特征信息,得到预测图。

具体的,计算机设备将第一医学图像和边缘图像输入图像重建模型,得到第一医学图像的特征信息后,图像重建模型根据得到的第一医学图像的特征信息,得到预测图。可选的,图像重建模型可以根据上述得到的第一医学图像的特征信息,对第一医学图像的特征信息进行预测,得到预测的特征信息,进而根据得到的预测的特征信息生成预测图。

s403,利用边缘注意力机制,结合特征信息和边缘图像,得到边缘预测图。

具体的,计算机设备将第一医学图像和边缘图像输入图像重建模型,得到第一医学图像的特征信息后,图像重建模型利用边缘注意力机制,结合得到的第一医学图像的特征信息和输入的边缘图像,得到边缘预测图。需要说明的是,边缘注意力机制能够在第一医学图像的特征信息的指导下,排除第一医学图像的特征信息中的无关信息,集中学习提取与边缘相关的特征,结合边缘图像,得到边缘预测图。

在本实施例中,计算机设备将第一医学图像和边缘图像,输入图像重建模型,得到第一医学图像的特征信息,进而可以根据第一医学图像的特征信息,准确地得到预测图,进一步地,结合第一医学图像的特征信息和边缘图像利用边缘注意力机制,能够得到细节丰富的边缘预测图,进而可以根据预测图和边缘预测图,得到准确的第二医学图像。

在一些场景中,为了便于图像重建模型的收敛,需要对输入图像重建模型的第一医学图像和边缘图像进行标准化处理,由于边缘图像是对第一医学图像进行梯度计算得到的,也就是,为了便于图像重建模型的收敛,需要对第一医学图像进行标准化处理。在上述实施例的基础上,作为一种可选的实施方式,上述s202之前,上述方法还包括:根据第一医学图像像素的均值和第一医学图像像素的标准差,对第一医学图像进行标准化处理,得到标准化处理后的第一医学图像;s202,包括:对标准化处理后的第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像。

具体的,计算机设备根据第一医学图像像素的均值和第一医学图像像素的标准差,对第一医学图像进行标准化处理,得到标准化处理后的第一医学图像,然后,对标准化处理后的第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像。可选的,计算机设备可以根据公式对第一医学图像进行标准化处理,得到标准化处理后的第一医学图像,式中,i′st表示第一医学图像,i'表示标准化处理后的第一医学图像,μ表示第一医学图像像素的均值,σ表示第一医学图像像素的标准差。

在本实施例中,计算机设备根据第一医学图像像素的均值和第一医学图像像素的标准差,对第一医学图像进行标准化处理,得到标准化处理后的第一医学图像,进而得到的第一医学图像对应的边缘图像也是标准化处理后的边缘图像,这样将标准化处理后的第一医学图像和标准化处理后的边缘图像输入图像重建模型,能够便于图像重建模型的收敛,提高得到标准扫描时长对应的第二医学图像的效率。

在一些场景中,若对第一医学图像进行了标准化处理,则需要对得到第二医学图像进行线性变换处理。在上述实施例的基础上,作为一种可选的实施方式,上述s203之后,上述方法还包括:根据第一医学图像像素的均值和第一医学图像像素的标准差,对第二医学图像进行线性变换处理,得到处理后的第二医学图像。

具体的,计算机设备根据第一医学图像像素的均值和第一医学图像像素的标准差,对第二医学图像进行线性变换处理,得到处理后的第二医学图像。可选的,计算机设备可以根据公式i=idl*σ μ对第二医学图像进行线性变换处理,得到处理后的第二医学图像,式中,idl表示第二医学图像,i表示处理后的第二医学图像,μ表示第一医学图像像素的均值,σ表示第一医学图像像素的标准差。

在本实施例中,计算机设备根据第一医学图像像素的均值和第一医学图像像素的标准差,对第二医学图像进行线性变换处理,能够使得到的处理后的第二医学图像大小、通道数目与第一样本医学图像保持一致,提高了得到的处理后的第二医学图像的准确度。

图5为另一个实施例提供的图像重建方法的流程示意图。图5a为一个实施例提供的初始图像重建模型的网络结构示意图。本实施例涉及的是计算机设备对图像重建模型进行训练的具体实现过程。如图5所示,图像重建模型的训练过程可以包括:

s501,对第一样本医学图像进行梯度计算,得到第一样本边缘图像;第一样本边缘图像用于表征第一样本医学图像的边缘信息;第一样本医学图像对应的扫描时长小于标准扫描时长。

具体的,计算机设备对第一样本医学图像进行梯度计算,得到第一样本边缘图像。其中,第一样本边缘图像用于表征第一样本医学图像的边缘信息,第一样本医学图像对应的扫描时长小于标准扫描时长。示例性地,在本实施例中,若标准扫描时长为3分钟,则第一样本医学图像对应的扫描时长可以为1.5分钟,也可以为1分钟,不失一般性,可将扫描时长小于标准扫描时长一半的医学图像做为本实施例中的第一样本医学图像。可选的,计算机设备可以从pacs(picturearchivingandcommunicationsystems,影像归档和通信系统)服务器中获取第一样本医学图像,也可以从医学影像设备中实时地获取第一样本医学图像,可选的,这里的医学影像设备可以为pet-ct设备,也可以为pet/mri设备,也可以为ct设备。可选的,第一样本医学图像可以为pet-ct或pet/mri医学影像设备生成的pet图像,也可以为单一地pet医学影像设备生成的pet图像,也可以为ct设备生成的ct图像。可选的,计算机设备可以利用索贝尔算子(sobeloperator)对第一样本医学图像进行梯度计算,也可以利用普利维特算子(prewittoperator)或罗伯茨交叉边缘检测算子(robertscrossoperator)对第一样本医学图像进行梯度计算,得到第一样本医学图像对应的边缘图像。

s502,对第二样本医学图像进行梯度计算,得到第二样本边缘图像;第二样本边缘图像用于表征第二样本医学图像的边缘信息;第二样本医学图像对应的扫描时长为标准扫描时长。

具体的,计算机设备对第二样本医学图像进行梯度计算,得到第二样本边缘图像。其中,第二样本边缘图像用于表征第二样本医学图像的边缘信息,第二样本医学图像对应的扫描时长为标准扫描时长。可选的,计算机设备可以从pacs(picturearchivingandcommunicationsystems,影像归档和通信系统)服务器中获取第二样本医学图像,也可以从医学影像设备中实时地获取第二样本医学图像,可选的,这里的医学影像设备可以为pet-ct设备,也可以为pet/mri设备,也可以为ct设备。可选的,第二样本医学图像可以为pet-ct或pet/mri医学影像设备生成的pet图像,也可以为单一地pet医学影像设备生成的pet图像,也可以为ct设备生成的ct图像,需要说明的是,第二样本医学图像是与第一样本医学图像的图像类型相对应的图像,例如,若第一样本医学图像为扫描时长小于标准扫描时长的pet图像,则第二样本医学图像为标准扫描时长对应的pet图像;若第一样本医学图像为扫描时长小于标准扫描时长的ct图像,则第二样本医学图像为标注扫描时长对应的ct图像。可选的,计算机设备可以利用索贝尔算子(sobeloperator)对第二样本医学图像进行梯度计算,也可以利用普利维特算子(prewittoperator)或罗伯茨交叉边缘检测算子(robertscrossoperator)对第二样本医学图像进行梯度计算,得到第二样本医学图像对应的边缘图像。

s503,根据第一样本医学图像、第一边缘图像和预设的初始图像重建模型,得到样本边缘预测图和重建样本图像;重建样本图像为第一样本图像对应的标准扫描时长的图像。

具体的,计算机设备根据第一样本医学图像、第一边缘图像和预设的初始图像重建模型,得到样本边缘预测图和重建样本图像。其中,重建样本图像为第一样本图像对应的标准扫描时长的图像。可选的,计算机设备可以将第一样本医学图像、第一边缘图像输入预设的初始图像重建模型,得到第一样本医学图像的特征信息,根据第一样本医学图像的特征信息,得到第一样本医学图像的样本预测图,利用边缘注意力机制,结合第一样本医学图像的特征信息和第一边缘图像,得到样本边缘预测图,根据得到的样本预测图和样本边缘预测图,得到重建样本图像。如图5a所示,边缘注意力机制的主要作用是在第一样本医学图像的特征信息的帮助下,排除无关信息,集中学习提取与边界相关的特征,并将得到的样本边缘预测图连接到初始图像重建模型,辅助初始图像重建模型恢复第一样本医学图像的细节信息,将第一样本医学图像与第一边缘图像融合,依次通过3个门控机制(gatemodule),最后通过一层卷积操作输出对第一边缘图像的预测,其中,门控机制是提取边界相关区域最核心的基础单元,门控机制通过对初始图像重建模型较深的网络层(提供高级的语义特征信息,本实施例中采用第二、第三和第四个下采样输出结果)进行双线性(bilinear)上采样、卷积、连接(concatenate)和sigmoid处理,然后将sigmoid处理之后的特征图与边缘注意力机制残差块的输出(网络较浅)经过元素积(element-wise)的点乘,将点乘的结果作为下一门控机制的输入,通过引入第一边缘图像与样本边缘预测图的损失函数的值对边缘注意力机制进行局部监督,以更好的完成对边界区域的重建。可选的,在本实施例中,为了生成细节丰富的高质量重建样本图像,预设的初始图像重建模型的网络结构可以为deepedgeresunet网络,该网络的网络结构如图5a所示,deepedgeresunet网络最顶层是从输入到输出的长残差连接(longresidualconnection),使得网络能够直接学习重建样本图像和第一样本医学图像之间的残差,加速深度网络的收敛,网络从上到下,在浅层图像维度较大,分辨率较大,采用稠密连接,减少信息的丢失;越到底层图像维度越小,分辨率越低,信息越少,采用稀疏连接;另外,deepedgeresunet网络大量采用了由卷积、bn批归一化和relu线性整流函数组成的残差块(residualblock),在提升网络性能的同时解决了梯度消失的问题,确保了网络的收敛。为了避免网络参数过多影响泛化能力和运行时间,deepedgeresunet网络中特别使用了由深度可分离卷积(depthwiseseparableconvolution)、bn批归一化和relu线性整流函数组成的深度可分离残差块(depthwiseseparableresidualblock),深度可分离残差块的使用极大地减少了网络参数量和运行成本,使得网络在具有强大拟合能力的同时,又能够耗时短、更轻量级。

在本实施例中,为了进一步保证得到的重建样本图像的定量准确性,可以对第一样本医学图像、第一样本边缘图像、第二样本医学图像和第二样本边缘图像进行2.5d处理,2.5d处理指的是在初始图像重建模型训练时,使每次的训练过程在图像块中进行,而不是在输入图像的整个体积中进行,例如5个2d的第一样本医学图像输入初始图像重建模型,得到1个2d的重建样本图像。可选的,在本实施例中还可以对标准化后的第一样本医学图像、处理后的第二样本医学图像分别进行随机地裁剪,裁剪的大小可以是满足初始图像重建模型要求和图像维度的任意固定尺寸,但必须确保图像裁剪的位置一一对应,例如:裁剪的尺寸可以为[64,64,5],那么对应于2.5d处理,则初始图像重建模型的输入可以表示为[64,64,5],对应的第二样本医学图像可以表示为[64,64,1],边缘注意力机制的输入可以表示为[64,64,10]。

s504,根据样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,对初始图像重建模型进行训练,得到图像重建模型。

具体的,计算机设备根据上述得到的样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,对初始图像重建模型进行训练,得到图像重建模型。可选的,计算机设备可以根据样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,得到初始图像重建模型的损失函数的值,根据初始图像重建模型的损失函数的值,对初始图像重建模型进行训练,将初始图像重建模型的损失函数的值达到稳定值时对应的初始图像重建模型确定为上述图像重建模型。可选的,对初始图像重建模型进行训练时,优化器可以选择为adam优化器,adam优化器能够快速收敛,具有很好的泛化能力。可选的,对初始图像重建模型训练的学习率可以采用学习率范围测试(lrrangetest)的技术选择最佳学习率,该过程可以描述为:首先将学习率设置为一个很小的值,接着将模型和数据简单的迭代几次,每次迭代完后增加学习率,并记录每次的训练损失,然后绘制lrrangetest图,一般理性的lrrangetest图包含三个区域:第一个区域学习率太小损失基本不变,第二个区域损失减小收敛很快,最后一个区域学习率太大以至于损失开始发散,则最佳学习率可以确定为lrrangetest图中的最低点所对应的学习率,以此最佳学习率作为adam优化器的初始学习率。

在本实施例中,计算机设备对标准扫描时长的第二样本图像进行梯度计算,能够得到准确地第二样本边缘图像,根据第一样本医学图像、第一边缘图像和预设的初始图像重建模型,能够得到样本边缘预测图和重建样本图像,进而能够根据样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,对初始图像重建模型进行准确地训练,提高了得到的图像重建模型的准确度。

图6为另一个实施例提供的图像重建方法的流程示意图。本实施例涉及的是计算机设备根据样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,对初始图像重建模型进行训练,得到图像重建模型的具体实现过程。如图6所示,在上述实施例的基础上,作为一种可选的实施方式,上述s504,包括:

s601,根据样本边缘预测图和第二样本边缘图像,得到初始图像重建模型的第一损失函数的值。

具体的,计算机设备根据样本边缘预测图和第二样本边缘图像,得到初始图像重建模型的第一损失函数的值。可选的,计算机设备可以将得到的样本边缘预测图的像素值和第二样本边缘图像的像素值进行比较,得到初始图像重建模型的第一损失函数的值。

s602,根据重建样本图像的像素值和第二样本医学图像的像素值,得到初始图像重建模型的第二损失函数的值。

具体的,计算机设备根据得到的重建样本图像的像素值和第二样本医学图像的像素值,得到初始图像重建模型的第二损失函数的值。可选的,计算机设备可以根据重建样本图像的像素值、第二样本医学图像的像素值以及公式loss(xi,yi)=|xi-yi|,得到初始图像重建模型的第二损失函数的值,式中,xi表示重建样本图像的像素值,yi表示第二样本医学图像的像素值,loss(xi,yi)表示初始图像重建模型的第二损失函数的值,其中,loss(xi,yi)用于计算重建样本图像与第二样本医学图像之间逐像素的强度差值,以确保得到的重建样本图像与第二样本图像之间的定量误差尽可能地小。

s603,根据重建样本图像各感兴趣区域的均值和第二样本医学图像各感兴趣区域的均值,得到初始图像重建模型的区域损失函数的值。

具体的,计算机设备根据重建样本图像各感兴趣区域的均值和第二样本医学图像各感兴趣区域的均值,得到初始图像重建模型的区域损失函数的值。可选的,计算机设备可以根据重建样本图像各感兴趣区域的均值、第二样本医学图像各感兴趣区域的均值以及公式得到初始图像重建模型的区域损失函数的值,式中,表示重建样本图像各感兴趣区域(regionofinterestiong,roi)的均值,表示第二样本医学图像各感兴趣区域(regionofinterestiong,roi)的均值,i表示各感兴趣区域的索引,mean表示求均值,loss(x,y)表示初始图像重建模型的区域损失函数的值,其中,loss(x,y)用于计算重建样本图像各感兴趣区域与第二样本医学图像各感兴趣区域间的相对误差,以确保得到的重建样本图像定量的准确性。

s604,根据重建样本图像各像素的梯度幅值和第二样本医学图像各像素的梯度幅值,得到初始图像重建模型的梯度损失函数的值。

具体的,计算机设备根据重建样本图像各像素的梯度幅值和第二样本医学图像各像素的梯度幅值,得到初始图像重建模型的梯度损失函数的值。可选的,计算机设备可以根据重建样本图像各像素的梯度幅值、第二样本医学图像各像素的梯度幅值以及公式loss(xgi,ygi)=|g(xi)-g(yi)|,得到初始图像重建模型的梯度损失函数的值,式中,loss(xgi,ygi)表示初始图像重建模型的梯度损失函数的值,g(xi)表示重建样本图像各像素的梯度幅值,g(yi)表示第二样本医学图像各像素的梯度幅值,其中,loss(xgi,ygi)用于计算重建样本图像各像素的梯度幅值与第二样本医学图像各像素的梯度幅值,以确保得到的重建样本图像具有丰富的细节信息。

s605,根据第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值之和,对初始图像重建模型进行训练,得到图像重建模型。

具体的,计算机设备根据初始图像重建模型第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值之和,对初始图像重建模型进行训练,将初始图像重建模型第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值之和达到稳定值时对应的初始图像重建模型确定为上述图像重建模型。可选的,计算机设备还可以根据初始图像重建模型第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值的加权求和,对初始图像重建模型进行训练,得到上述图像重建模型。

在本实施例中,计算机设备得到的初始图像重建模型的第一损失函数的值能够确保得到的样本边缘预测图和第二样本边缘图像之间的定量误差尽可能地小,第二损失函数的值能够确保得到的重建样本图像与第二样本图像之间的定量误差尽可能地小,区域损失函数的值能够确保得到的重建样本图像定量的准确性,梯度损失函数的值能够确保得到的重建样本图像具有丰富的细节信息,进而计算机设备能够根据得到的第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值之和,对初始图像重建模型进行准确地训练,提高了得到的图像重建模型的准确度。

应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例提供的图像重建装置结构示意图。如图7所示,该装置可以包括:第一获取模块10、第一计算模块11和重建模块12。

具体的,第一获取模块10,用于获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长;

第一计算模块11,用于对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息;

重建模块12,用于根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述重建模块12包括:第一获取单元和第二获取单元。

具体的,第一获取单元,用于根据第一医学图像、边缘图像和图像重建模型,得到预测图和边缘预测图;其中,预测图包括的边缘特征信息少于边缘预测图包括的边缘特征信息。

第二获取单元,用于根据预测图和边缘预测图,得到第二医学图像。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述第一获取单元,具体用于将第一医学图像和边缘图像,输入图像重建模型,得到第一医学图像的特征信息;根据特征信息,得到预测图;利用边缘注意力机制,结合特征信息和边缘图像,得到边缘预测图。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述装置还包括:标准化处理模块。

具体的,标准化处理模块,用于根据第一医学图像像素的均值和第一医学图像像素的标准差,对第一医学图像进行标准化处理,得到标准化处理后的第一医学图像;

第一计算模块11,具体用于对标准化处理后的第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述装置还包括:线性变换处理模块。

具体的,线性变换处理模块,用于根据第一医学图像像素的均值和第一医学图像像素的标准差,对第二医学图像进行线性变换处理,得到处理后的第二医学图像。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述装置还包括:第二计算模块、第三计算模块、第二获取模块和训练模块。

具体的,第二计算模块,用于对第一样本医学图像进行梯度计算,得到第一样本边缘图像;第一样本边缘图像用于表征第一样本医学图像的边缘信息;第一样本医学图像对应的扫描时长小于标准扫描时长;

第三计算模块,用于对第二样本医学图像进行梯度计算,得到第二样本边缘图像;第二样本边缘图像用于表征第二样本医学图像的边缘信息;第二样本医学图像对应的扫描时长为标准扫描时长;

第二获取模块,用于根据第一样本医学图像、第一边缘图像和预设的初始图像重建模型,得到样本边缘预测图和重建样本图像;重建样本图像为第一样本图像对应的标准扫描时长的图像;

训练模块,用于根据样本边缘预测图、第二样本边缘图像、重建样本图像和第二样本医学图像,对初始图像重建模型进行训练,得到图像重建模型。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

在上述实施例的基础上,可选的,上述训练模块包括:第三获取单元、第四获取单元、第五获取单元、第六获取单元和训练单元。

具体的,第三获取单元,用于根据样本边缘预测图和第二样本边缘图像,得到初始图像重建模型的第一损失函数的值;

第四获取单元,用于根据重建样本图像的像素值和第二样本医学图像的像素值,得到初始图像重建模型的第二损失函数的值;

第五获取单元,用于根据重建样本图像各感兴趣区域的均值和第二样本医学图像各感兴趣区域的均值,得到初始图像重建模型的区域损失函数的值;

第六获取单元,用于根据重建样本图像各像素的梯度幅值和第二样本医学图像各像素的梯度幅值,得到初始图像重建模型的梯度损失函数的值;

训练单元,用于根据第一损失函数的值、第二损失函数的值、区域损失函数的值、梯度损失函数的值之和,对初始图像重建模型进行训练,得到图像重建模型。

本实施例提供的图像重建装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。

关于图像重建装置的具体限定可以参见上文中对于图像重建方法的限定,在此不再赘述。上述图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长;

对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息;

根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。

上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长;

对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息;

根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。

上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


技术特征:

1.一种图像重建方法,其特征在于,所述方法包括:

获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像,包括:

根据所述第一医学图像、所述边缘图像和所述图像重建模型,得到预测图和边缘预测图;其中,所述预测图包括的边缘特征信息少于所述边缘预测图包括的边缘特征信息;

根据所述预测图和所述边缘预测图,得到所述第二医学图像。

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一医学图像、所述边缘图像和所述图像重建模型,得到预测图和边缘预测图,包括:

将所述第一医学图像和所述边缘图像,输入所述图像重建模型,得到所述第一医学图像的特征信息;

根据所述特征信息,得到所述预测图;

利用边缘注意力机制,结合所述特征信息和所述边缘图像,得到所述边缘预测图。

4.根据权利要求1所述的方法,其特征在于,所述对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像之前,所述方法还包括:

根据所述第一医学图像像素的均值和所述第一医学图像像素的标准差,对所述第一医学图像进行标准化处理,得到标准化处理后的第一医学图像;

所述对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像,包括:

对所述标准化处理后的第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像。

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像之后,所述方法还包括:

根据所述第一医学图像像素的均值和所述第一医学图像像素的标准差,对所述第二医学图像进行线性变换处理,得到处理后的第二医学图像。

6.根据权利要求1所述的方法,其特征在于,所述图像重建模型的训练过程包括:

对第一样本医学图像进行梯度计算,得到第一样本边缘图像;所述第一样本边缘图像用于表征所述第一样本医学图像的边缘信息;所述第一样本医学图像对应的扫描时长小于所述标准扫描时长;

对第二样本医学图像进行梯度计算,得到第二样本边缘图像;所述第二样本边缘图像用于表征所述第二样本医学图像的边缘信息;所述第二样本医学图像对应的扫描时长为所述标准扫描时长;

根据所述第一样本医学图像、所述第一边缘图像和预设的初始图像重建模型,得到样本边缘预测图和重建样本图像;所述重建样本图像为所述第一样本图像对应的标准扫描时长的图像;

根据所述样本边缘预测图、所述第二样本边缘图像、所述重建样本图像和所述第二样本医学图像,对所述初始图像重建模型进行训练,得到所述图像重建模型。

7.根据权利要求6所述的方法,其特征在于,所述根据所述样本边缘预测图、所述第二样本边缘图像、所述重建样本图像和所述第二样本医学图像,对所述初始图像重建模型进行训练,得到所述图像重建模型,包括:

根据所述样本边缘预测图和所述第二样本边缘图像,得到所述初始图像重建模型的第一损失函数的值;

根据所述重建样本图像的像素值和所述第二样本医学图像的像素值,得到所述初始图像重建模型的第二损失函数的值;

根据所述重建样本图像各感兴趣区域的均值和所述第二样本医学图像各感兴趣区域的均值,得到所述初始图像重建模型的区域损失函数的值;

根据所述重建样本图像各像素的梯度幅值和所述第二样本医学图像各像素的梯度幅值,得到所述初始图像重建模型的梯度损失函数的值;

根据所述第一损失函数的值、所述第二损失函数的值、所述区域损失函数的值、所述梯度损失函数的值之和,对所述初始图像重建模型进行训练,得到所述图像重建模型。

8.一种图像重建装置,其特征在于,所述装置包括:

第一获取模块,用于获取第一医学图像;所述第一医学图像对应的扫描时长小于预设的标准扫描时长;

第一计算模块,用于对所述第一医学图像进行梯度计算,得到所述第一医学图像对应的边缘图像;所述边缘图像用于表征所述第一医学图像的边缘信息;

重建模块,用于根据所述第一医学图像、所述边缘图像和预设的图像重建模型,得到所述标准扫描时长对应的第二医学图像。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像重建方法、装置、计算机设备和存储介质。该方法包括:获取第一医学图像;第一医学图像对应的扫描时长小于预设的标准扫描时长;对第一医学图像进行梯度计算,得到第一医学图像对应的边缘图像;边缘图像用于表征第一医学图像的边缘信息;根据第一医学图像、边缘图像和预设的图像重建模型,得到标准扫描时长对应的第二医学图像。该方法提高了得到的标准扫描时长对应的第二医学图像的效率。

技术研发人员:张阳;廖术
受保护的技术使用者:上海联影智能医疗科技有限公司
技术研发日:2020.01.17
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-48646.html

最新回复(0)