本申请涉及医学图像技术领域,尤其涉及一种图像处理方法、装置及电子设备。
背景技术:
在临床诊断过程中,需要将同一个病灶区域不同模态的电子计算机断层扫描ct(computedtomography)图像(平扫、动脉期、静脉期、延迟期等)进行对比判断。而在图像采集过程中,由于病人身体的移动、呼吸等原因,不同模态的数据往往存在一些形变,因此,医学图像的配准非常必要。
目前的医学图像配准方案通常是通过医护人员通过手动完成,因此,会存在图像配准效率较低的情况。
技术实现要素:
有鉴于此,本申请提供一种图像处理方法、装置及电子设备,包括:
一种图像处理方法,包括:
获得第一图像和第二图像;
对所述第二图像基于变换模型进行图像变换,得到第三图像;
至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;
根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
上述方法,优选的,至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值,包括:
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域;
获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值;
至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
上述方法,优选的,获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值,包括:
获得所述第一对象区域和所述第二对象区域的区域重叠度值;
获得所述第一对象区域和所述第二对象区域的区域中心距离值;
根据所述区域重叠度值和所述区域中心距离值,获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
上述方法,优选的,在至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值之前,所述方法还包括:
获得所述第三图像和所述第一图像的互信息值;
其中,至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,包括:
根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
上述方法,优选的,根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,包括:
获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积;
获得所述第一乘积和所述第二乘积的和,以作为所述第三图像和所述第一图像的图像相似度值。
上述方法,优选的,获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,包括:
利用语义分割模型,识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
上述方法,优选的,所述变换模型至少包括基于全局形变的变换模型,和/或,所述变换模型至少包括基于局部形变的变换模型。
上述方法,优选的,所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,包括:
所述图像相似度值的增量值为0。
一种图像处理装置,包括:
图像获得单元,用于获得第一图像和第二图像;
图像变换单元,用于对所述第二图像基于变换模型进行图像变换,得到第三图像;
相似获得单元,用于至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;
参数调整单元,用于根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于所述图像变换单元重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述相似获取单元所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
一种电子设备,包括:
存储器,用于存储应用程序及所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现:获得第一图像和第二图像;对所述第二图像基于变换模型进行图像变换,得到第三图像;至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
从上述技术方案可以看出,本申请公开的一种图像处理方法、装置及电子设备,在获得到待配准的第二图像并对第二图像基于变换模型进行图像变换,得到第三图像之后,基于作为配准基准的第一图像内所包含的对象区域和第三图像内所包含的对象区域获得第一图像和第三图像之间的图像相似度值,进而再根据图像相似度值对变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像,直到更新的第三图像和所述第一图像的图像相似度值满足相似条件,此时所更新的第三图像与第一图像即可形成图像配准,如实现对同一病灶区域不同模态下所采集的多个ct图像针对病灶区域进行配准。可见,本申请中根据待配准的多个图像所包含的对象区域如ct图像中的病灶区域的解剖结构等进行图像相似计算,再经过迭代的模型参数调整优化后实现配准图像的最优化,由此无需手动进行图像配准,从而达到提高图像配准效率的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种图像处理方法的流程图;
图2为本申请实施例中图像配准的示例图;
图3为本申请实施例一的部分流程图;
图4为本申请实施例中图像的对象区域示意图;
图5为本申请实施例二提供的一种图像处理装置的结构示意图;
图6为本申请实施例三提供的一种电子设备的结构示意图;
图7为本申请实施例的实现流程示例图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,为本申请实施例一提供的一种图像处理方法的实现流程图,本实施例中的方法适用于能够进行图像处理的电子设备中,如计算机或服务器等,主要用于对采集到的针对病灶区域的不同模态下的ct图像进行图像配准,以得到针对同一病灶区域配准后的图像。
具体的,本实施例中的方法可以包括以下步骤:
步骤101:获得第一图像和第二图像。
其中,第一图像和第二图像可以为针对同一病灶区域在不同模态下的ct图像,如针对肝脏区域或肾脏区域所采集的在诸如平扫、动脉期、静脉期、延迟期等不同模态下的ct图像。
需要说明的是,第一图像可以为作为配准标准的固定ct图像,即参考图像f(fixedimage),如通过图像采集设备采集到的病灶区域在平扫模态下的第一帧ct图像,第二图像可以有一帧或多帧,即待配准图像m(movingimage),如通过图像采集设备采集到的病灶区域在动脉期、静脉期和延迟期等中的任意一种或任意多种模态下的其他帧ct图像。
步骤102:对第二图像基于变换模型进行图像变换,得到第三图像。
其中,本实施例中可以通过变换模型t(transformationmodel)来实现图像变化,即w=t(m;μ),其中,μ是变换模型的参数,w为第三图像,即为对第二图像进行配准之后的图像。
具体的,本实施例中的变换模型至少包括基于全局形变的变换模型,或者,变换模型可以包括基于局部形变的变换模型,或者,变换模型可以既包括基于全局形变的变换模型也包括基于局部形变的变换模型。
其中,这里的基于全局形变的变换模型可以为仿射变换模型,而基于局部形变的变换模型可以为b样条曲线差值模型,进而本实施例中可以首先利用仿射变换模型对第二图像进行全局形变,再利用b样条曲线差值模型对经过全局形变的第二图像进行局部形变,以得到第三图像;或者,本实施例中只利用仿射变换模型对第二图像进行全局形变,以得到第三图像;或者,本实施例中只利用b样条曲线差值模型对第二图像进行局部形变,以得到第三图像。
步骤103:至少基于第三图像和第一图像各自所包含的对象区域,获得第三图像和第一图像的图像相似度值。
其中,第三图像和第一图像各自所包含的对象区域可以理解为对图像中病灶区域进行解剖后所识别出的一个或多个对象区域,本实施例中可以针对第三图像和第一图像中各自针对病灶区域进行解剖识别后所得到的一个或多个对象区域进行两个图像之间的图像相似度获得。
步骤104:根据图像相似度值,对变换模型的模型参数进行调整,返回重新执行步骤102,以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像,直到更新的第三图像和第一图像的图像相似度值满足相似条件,在第三图像和第一图像的图像相似度值满足相似条件时,更新的第三图像与第一图像是形成图像配准的,即第三图像和第一图像针对图像中的同一对象区域如同一病灶区域是配准的,例如,第三图像中的肝脏的ct图像区域与第一图像中的肝脏的ct图像区域是对应的,如图2中所示。
具体的,所述更新的第三图像和所述第一图像的图像相似度值满足相似条件可以为:图像相似度值的增量值为0。例如,在步骤104中根据图像相似度值对变换模型的模型参数进行调整之后,重新执行步骤102,以重新对原来的第二图像利用经过模型参数调整的变换模型进行图像变换,得到更新的第三图像,之后,再获得更新的第三图像和第一图像的更新的图像相似度值,此时,获得更新的图像相似度值与上一次的图像相似度值之间的差值,即图像相似度值的增量值,此时图像相似度值的增量值表征在模型参数调整后的变换模型的作用下所得到的更新的第三图像是否更加接近于第一图像,由此,在图像相似度值的增量值不为0的情况下,表明经过迭代图像变换后的第三图像正在进一步接近于第一图像,此时,重新返回执行步骤104,继续进行图像变换的迭代过程,而如果图像相似度值的增量值为0,则表明图像相似度值没有发生变化,此时表明经过迭代图像变换后的第三图像已经是最接近于第一图像的变换结果,此时,停止图像变换的迭代,此时的第三图像即为对第二图像按照第一图像进行配准得到的图像。
由上述方案可知,本申请实施例一提供的一种图像处理方法,在获得到待配准的第二图像并对第二图像基于变换模型进行图像变换,得到第三图像之后,基于作为配准基准的第一图像内所包含的对象区域和第三图像内所包含的对象区域获得第一图像和第三图像之间的图像相似度值,进而再根据图像相似度值对变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像,直到更新的第三图像和所述第一图像的图像相似度值满足相似条件,此时所更新的第三图像与第一图像即可形成图像配准,如实现对同一病灶区域不同模态下所采集的多个ct图像针对病灶区域进行配准。可见,本实施例中根据待配准的图像所包含的对象区域如ct图像中的病灶区域的解剖结构等进行图像相似计算,再经过迭代的模型参数调整优化后实现配准图像的最优化,由此无需手动进行图像配准,从而达到提高图像配准效率的目的。
在一种实现方式中,步骤103中在至少基于第三图像和第一图像各自所包含的对象区域,获得第三图像和第一图像的图像相似度值时,可以通过以下方式实现,如图3中所示:
步骤301:获得第一图像中的第一对象区域并获得第三图像中的第二对象区域。
其中,第一对象区域和第二对象区域属于同一目标对象的图像区域,例如,第一对象区域为第一图像中肝脏的图像区域,第二对象区域为第三图像中肝脏的图像区域,如图4中所示。
具体的,本实施例中可以通过图像识别算法或者基于图像识别算法构建的深度学习模型等方式识别出第一图像中的第一对象区域和第三图像中的第二对象区域。例如,步骤301中在获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域时,可以通过以下方式实现:
利用语义分割模型,识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
例如,本实施例中利用语义分割模型seg(·)分别对第一图像和第三图像(ct图像)进行识别,得到各ct图像中各个器官如肝脏或肾脏等的分割掩码,即第一对象区域和第二对象区域,此时的第一对象区域可以有一个或多个,相应的第二对象区域为一个或多个,具体的,可以用一个与ct图像相同大小的3d矩阵表示[d1,d2,di,…,dn],n表示不同器官个数,di中体素为1的点表示对应原始的第二图像中该点属于器官i的点。
步骤302:获得第三图像中的第二对象区域和第一图像中的第一对象区域之间的区域相似度值。
其中,本实施例中可以利用欧式距离计算算法计算第二对象区域和第一对象区域之间的区域相似度值,进而表征出所配准的第三图像中的第二对象区域与作为参考的第一图像中的第一对象区域之间的相似度,而区域相似度值越高,表征所所配准的第三图像中的第二对象区域越接近作为参考的第一图像中的第一对象区域。
具体的,本实施例中在获得第三图像中的第二对象区域和第一图像中的第一对象区域之间的区域相似度值时,具体可以通过以下方式实现:
首先,获得第一对象区域和第二对象区域的区域重叠度值,之后,获得第一对象区域和第二对象区域的区域中心距离值,最后,根据区域重叠度值和区域中心距离值,获得第一对象区域和所述第二对象区域之间的区域相似度值。
例如,本实施例中在得到[d1,d2,di,…,dn]之后,分别求得第一对象区域和第二对象区域中各器官的中心坐标:
步骤303:至少基于区域相似度值,获得第三图像和第一图像的图像相似度值。
在一种实现方式中,本实施例中可以将区域相似度值即作为第三图像和第一图像的图像相似度值,以表征第三图像接近第一图像的程度。
在另一种实现方式中,本实施例中在步骤303之前,还可以先获得第三图像和第一图像的互信息值,例如,利用公式(2)获得第三图像w和第一图像f的互信息值:
eintensity(f,w)=imi(f,w)公式(2)
基于此,在步骤303中具体可以根据互信息值和区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
具体的,本实施例中在根据互信息值和区域相似度值,获得第三图像和所述第一图像的图像相似度值时,可以通过以下方式实现:
首先,获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积;之后,获得所述第一乘积和所述第二乘积的和,以作为所述第三图像和所述第一图像的图像相似度值。
例如,第一系数以α表示,第二系数以β表示,相应的,利用以下公式(3)获得第三图像和第一图像的相似度值e(m,w):
e(m,w)=αeintensity(f,w) βeanatomy(f,w)公式(3)
参考图5,为本申请实施例二提供的一种图像处理装置的结构示意图,本实施例中的装置适用于能够进行图像处理的电子设备中,如计算机或服务器等,主要用于对采集到的针对病灶区域的不同模态下的ct图像进行图像配准,以得到针对同一病灶区域配准后的图像。
具体的,本实施例中的装置可以包括以下结构:
图像获得单元501,用于获得第一图像和第二图像;
图像变换单元502,用于对所述第二图像基于变换模型进行图像变换,得到第三图像;
相似获得单元503,用于至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;
参数调整单元504,用于根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于所述图像变换单元502重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述相似获取单元503所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
由上述方案可知,本申请实施例二提供的一种图像处理装置,在获得到待配准的第二图像并对第二图像基于变换模型进行图像变换,得到第三图像之后,基于作为配准基准的第一图像内所包含的对象区域和第三图像内所包含的对象区域获得第一图像和第三图像之间的图像相似度值,进而再根据图像相似度值对变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像,直到更新的第三图像和所述第一图像的图像相似度值满足相似条件,此时所更新的第三图像与第一图像即可形成图像配准,如实现对同一病灶区域不同模态下所采集的多个ct图像针对病灶区域进行配准。可见,本实施例中根据待配准的图像所包含的对象区域如ct图像中的病灶区域的解剖结构等进行图像相似计算,再经过迭代的模型参数调整优化后实现配准图像的最优化,由此无需手动进行图像配准,从而达到提高图像配准效率的目的。
在一种实现方式中,相似获得单元503在至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值时,可以通过以下方式实现:
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域;获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值;至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
优选的,相似获得单元503获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值,包括:
获得所述第一对象区域和所述第二对象区域的区域重叠度值;获得所述第一对象区域和所述第二对象区域的区域中心距离值;根据所述区域重叠度值和所述区域中心距离值,获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
在一种实现方式中,相似获得单元503在至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值之前,可以首先获得所述第三图像和所述第一图像的互信息值;
相应的,相似获得单元503至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,具体包括:
根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
优选的,相似获得单元503根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,包括:
获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积;获得所述第一乘积和所述第二乘积的和,以作为所述第三图像和所述第一图像的图像相似度值。
在一种实现方式中,相似获得单元503获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,包括:
利用语义分割模型,识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
优选的,所述变换模型至少包括基于全局形变的变换模型,和/或,所述变换模型至少包括基于局部形变的变换模型。
在一种实现方式中,所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,包括:所述图像相似度值的增量值为0。
需要说明的是,本实施例中的各单元的具体实现可以参考前文中相应内容,此处不再详述。
参考图6,为本申请实施例三提供的一种电子设备的结构示意图,该电子设备可以为能够进行图像处理的电子设备,如计算机或服务器等,主要用于对采集到的针对病灶区域的不同模态下的ct图像进行图像配准,以得到针对同一病灶区域配准后的图像。
具体的,本实施例中的电子设备可以包括以下结构:
存储器601,用于存储应用程序及所述应用程序运行所产生的数据;
处理器602,用于执行所述应用程序,以实现:获得第一图像和第二图像;对所述第二图像基于变换模型进行图像变换,得到第三图像;至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
由上述方案可知,本申请实施例三提供的一种电子设备,在获得到待配准的第二图像并对第二图像基于变换模型进行图像变换,得到第三图像之后,基于作为配准基准的第一图像内所包含的对象区域和第三图像内所包含的对象区域获得第一图像和第三图像之间的图像相似度值,进而再根据图像相似度值对变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像,直到更新的第三图像和所述第一图像的图像相似度值满足相似条件,此时所更新的第三图像与第一图像即可形成图像配准,如实现对同一病灶区域不同模态下所采集的多个ct图像针对病灶区域进行配准。可见,本实施例中根据待配准的图像所包含的对象区域如ct图像中的病灶区域的解剖结构等进行图像相似计算,再经过迭代的模型参数调整优化后实现配准图像的最优化,由此无需手动进行图像配准,从而达到提高图像配准效率的目的。
需要说明的是,本实施例中处理器602的具体实现可以参考前文中相应内容,此处不再详述。
以图像为ct图像为例,对本申请中的技术方案进行举例说明,如下:
对于一个参考图像(fixedimage)f和一个待配准图像(movingimage)m,图像配准的目标是要找到配准之后的图像w,此时的w和f对应的区域位置要尽量相似。其中,本实施例中使用t表示待配准图像到配准后图像的变换模型(transformationmodel),即w=t(m;μ),其中μ是变换模型的模型参数。
本申请的技术方案中的核心实现在于:首先利用变换模型将待配准图像变换为w,之后,通过语义分割模型等提取w和f的图像特征,再计算w和f的相似度,通过迭代,使得使w和f的相似度最大化,基于此,本申请的技术方案通过能够语义分割模型实现自动的关键点标记,节省人力,而且,本申请的技术方案中在图像强度信息基础上,引入器官解剖结构的信息,能够在配准转换中维持器官的结构关系,从而提高相似度度计算及后续图像配准的精度。
具体的,在医学ct图像中通常是3d的,因此,本实施例中可以使用3d仿射变换建模t,其定义如下:
t(x)=ax b=[[a1,a2,a3],[a4,a5,a6],[a7,a8,a9]]*[x1,x2,x3] [b1,b2,b3]
其中,x是图像一个体素的坐标,a是线性变换矩阵(表示图像的旋转和缩放关系),b是沿坐标轴的平移向量(表示图像的平移关系)。
在利用t对m进行图像变换得到w之后,分别利用语义分割模型seg(·)对f和w的ct图像进行识别,得到各ct图像中各个器官如肝脏或肾脏等的分割掩码,具体可以用一个与ct图像相同大小的3d矩阵表示[d1,d2,di,…,dn],n表示不同器官个数,di中体素为1的点表示对应原始的第二图像中该点属于器官i的点。之后,根据分割掩码,可以分别求得各个器官在f和w中的中心点坐标
其中,当两个图像相同的语义部分重叠越多,中心点的距离越近,则说明两个图像越相似,其中,器官区域和中心点坐标可以由分割模型自动获得,而配准任务的目标则是求解使得e(μ)最大化的参数μ。
同时,本实施例中还针对图像强度使用互信息(mutualinformation)建模,例如,eintensity(f,w)=imi(f,w),其中,互信息值越大,说明两张图像的强度分布越相似。
基于此,为了调整两个相似度的权重,互信息和解剖结构相似度这两项相似度之前分别加入系数α和β,利用公式(3)获得最终的相似度函数,
具体实现中,使用梯度下降法迭代求解最优化的模型参数。其中的流程如图7中所示,其中作为输入的参考图像f和待配准图像m,输出为配准后的图像w,如下:
首先,初始化模型参数μ={a,b},t=0;
然后,使用全局形变和/或局部形变变换求得变换后的图像w=t(m;a,b),a和b分别为基于全局形变的仿射变换模型的模型参数;
之后,使用语义分割模型seg(·)求得f和w的分割掩码,并计算f和w中对应相同语义的掩码的重叠度
同时,计算f和w的图像强度相似度eintensity(f,w)=imi(f,w);
基于以上结果,计算总体相似度e(m,w)=αeintensity(f,w) βeanatomy(f,w);
之后,求解相似度函数的梯度λt=▽e,即图像相似度值的增量值,同时更新变换模型的模型参数μt 1=μt λt,其中,t为迭代次数,再返回重新对m进行图像变换之后,获得新的相似度函数梯度,直到相似度不再增加,即相似度值的增量值为0,结束迭代,得到最终经过配准的图像w。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
1.一种图像处理方法,包括:
获得第一图像和第二图像;
对所述第二图像基于变换模型进行图像变换,得到第三图像;
至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;
根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
2.根据权利要求1所述的方法,至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值,包括:
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域;
获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值;
至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
3.根据权利要求2所述的方法,获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值,包括:
获得所述第一对象区域和所述第二对象区域的区域重叠度值;
获得所述第一对象区域和所述第二对象区域的区域中心距离值;
根据所述区域重叠度值和所述区域中心距离值,获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
4.根据权利要求2所述的方法,在至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值之前,所述方法还包括:
获得所述第三图像和所述第一图像的互信息值;
其中,至少基于所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,包括:
根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值。
5.根据权利要求4所述的方法,根据所述互信息值和所述区域相似度值,获得所述第三图像和所述第一图像的图像相似度值,包括:
获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积;
获得所述第一乘积和所述第二乘积的和,以作为所述第三图像和所述第一图像的图像相似度值。
6.根据权利要求2所述的方法,获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域,包括:
利用语义分割模型,识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域,所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
7.根据权利要求1所述的方法,所述变换模型至少包括基于全局形变的变换模型,和/或,所述变换模型至少包括基于局部形变的变换模型。
8.根据权利要求1所述的方法,所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,包括:
所述图像相似度值的增量值为0。
9.一种图像处理装置,包括:
图像获得单元,用于获得第一图像和第二图像;
图像变换单元,用于对所述第二图像基于变换模型进行图像变换,得到第三图像;
相似获得单元,用于至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;
参数调整单元,用于根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于所述图像变换单元重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述相似获取单元所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
10.一种电子设备,包括:
存储器,用于存储应用程序及所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现:获得第一图像和第二图像;对所述第二图像基于变换模型进行图像变换,得到第三图像;至少基于所述第三图像和所述第一图像各自所包含的对象区域,获得所述第三图像和所述第一图像的图像相似度值;根据所述图像相似度值,对所述变换模型的模型参数进行调整,以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像,直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件,所述更新的第三图像与所述第一图像形成图像配准。
技术总结