本申请涉及图像处理技术领域，尤其涉及一种多模态视网膜眼底图像配准方法及装置。
背景技术：
眼底的视网膜血管是人体中可看见的血管，医生把它当作了解其它脏器血管情况的窗口，其变化在一定程度上反映了一些器官的改变程度。为能够更好的观测视网膜血管，通常采用图像配准的方法来对眼底彩色图像和眼底荧光造影图像所产生的图像进行处理，使两幅图像的信息互补，以得到更为全面的信息。
现有的图像配准方法，是通过对两幅图像进行harris角点检测，得到包含分支点和交叉点的角点，判断角点的属性并记录眼底彩色图像及眼底荧光造影图像中的特征点并构成两个特征点集，根据两个特征点集进行计算得到进行图像配准的仿射变换参数后，以眼底荧光造影图像作为参考图像，以眼底彩色图像作为浮动图像，通过仿射变换参数将两者进行配准，得到配准后的图像，从而获取更为全面的信息。但在实现本申请的过程中，发现当两幅图像的局部结构相似时，仅使用单一的特征描述符去评估点集之间的对应关系，会导致大量的误判，导致最终得到的图像信息不准确。
技术实现要素：
本申请实施例提供一种多模态视网膜眼底图像配准方法及装置，解决现有的图像配准方法进行配准时获取到的图像精度不足的问题。
为解决上述问题，本申请实施例提供一种多模态视网膜眼底图像配准方法，适于在计算设备中执行，至少包括如下步骤：
获取多模态的浮动图像和参考图像；
根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；
根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；
根据期望最大化算法，在e步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；
根据所述点集坐标，获取配准后的图像。
进一步的，所述根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集，包括：
以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。
进一步的，所述e步处理包括：
在d维空间中，根据
为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；
将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。
进一步的，所述根据所述点集坐标，获取配准后的图像，包括：
将所述点集坐标通过反推法进行图像配准，获取配准后的图像。
进一步的，还提供一种多模态视网膜眼底图像配准装置，包括：
图像获取模块，用于获取多模态的浮动图像和参考图像；
特征提取模块，用于根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；
差异矩阵获取模块，用于根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；
特征匹配模块，用于根据期望最大化算法，在e步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；
图像配准模块，用于根据所述点集坐标，获取配准后的图像。
进一步的，所述特征提取模块具体用于：
以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。
进一步的，所述e步处理包括：
在d维空间中，根据
为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；
将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。
进一步的，所述图像配准模块具体用于：
将所述点集坐标通过反推法进行图像配准，获取配准后的图像。
实施本申请实施例，具有如下有益效果：
本实施例采用形状上下文特征和纹理特征进行科学计算的方式，形成全局和局部特征的混合特征框架，以使其在配准过程中形成互补关系，从而避免产生大量误判，从而提高图像配准的精准度。
附图说明
图1是多种病变类型在眼底图像上的具体表现的示例图；
图2本申请的一个实施例提供的多模态视网膜眼底图像配准方法的流程示意图；
图3本申请实施例的图像输出结果与现有技术的图像输出结果的对比结果图；
图4是本申请的一个实施例提供的多模态视网膜眼底图像配准装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
眼底检查十分重要，许多疾病都可以从眼底上反映出来。眼底的视网膜血管是人体中可看见的血管，医生把它当作了解其它脏器血管情况的窗口。因此，它的变化在一定程度上反映了一些器官的改变程度。如高血压病人眼底可见到视网膜动脉硬化，糖尿病病人眼底可见毛细血管瘤、小的出血点和渗出物，具体如图1所示，其在一定程度上反映了全身的血管改变情况。
现有的图像配准方法，是通过对两幅图像进行harris角点检测，得到包含分支点和交叉点的角点，判断角点的属性并记录眼底彩色图像及眼底荧光造影图像中的特征点并构成两个特征点集，根据两个特征点集进行计算得到进行图像配准的仿射变换参数后，以眼底荧光造影图像作为参考图像，以眼底彩色图像作为浮动图像，通过仿射变换参数将两者进行配准，得到配准后的图像，从而获取更为全面的信息。但当两幅图像存在较大的非刚性畸变，即浮动图像存在病变时，harris固定阈值的特征点提取，会导致提取的内点数量不足，冗余点的存在会影响配准的精度，且当图像间的局部结构相似时，仅使用单一的特征描述符去评估点集之间的对应关系会导致大量的误判。
为解决上述问题，参见图2，是本申请的一个实施例提供的多模态视网膜眼底图像配准方法的流程示意图，各步骤具体如下：
步骤s11，获取多模态的浮动图像和参考图像。
在本实施例中，多模态的浮动图像和多模态的参考图像，包括多视角和多时间所捕获的浮动图像以及多视角和多时间所捕获的参考图像。
步骤s12，根据尺度不变特征转换算法，提取浮动图像中的多个第一特征点组成第一特征点集，以及提取参考图像中的多个第二特征点组成第二特征点集。
具体的，以预设的阈值，根据尺度不变特征转换算法对浮动图像和参考图像进行遍历，获取阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各第一特征点和各第二特征点，直至阈值的迭代次数达到预设次数后，生成包含所有第一特征点的第一特征点集，以及包含所有第二特征点的第二特征点集。
在本实施例中，首先采用一个较小的阈值分别对浮动图像和参考图像进行特征点提取，完成提取后，为阈值加上一个初始值，从而更新阈值，并基于更新后的阈值，重新通过尺度不变特征转换算法对浮动图像和参考图像进行特征点提取。其中，从浮动图像中提取到的特征点为第一特征点，即源点，从参考图像上提取到的特征点为第二特征点，即目标点。随着迭代的进行，阈值逐渐增加，提取的点的数量逐渐减少，此时内点的数量增加，冗余点逐渐减少。直至达到预先设置的最大迭代次数后，停止计算，并将所有提取到的第一特征点作为第一特征点集，即源点集，将所有提取到的第二特征点作为第二特征点集，即目标点集。
步骤s13，根据第一特征点集的第一形状上下文特征，以及第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据第一特征点集的第一纹理特征和第二特征点集的第二纹理特征，获取第二特征差异矩阵。
在本实施例中，形状上下文特征为图像的全局结构特征，纹理特征为图像的局部结构特征，通过第一形状上下文特征和第二形状上下文特征，计算获得两个点集之间的第一特征差异矩阵sc，通过第一纹理特征和第二纹理特征，计算获得两个点集之间的第二特征差异矩阵tf。
步骤s14，根据期望最大化算法，在e步处理中，对第一特征差异矩阵和第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取第一特征差异矩阵与第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数。
其中，e步处理包括：
在d维空间中，根据
在本实施例中，通过期望最大化算法，实现特征点集匹配，其包括两个交替迭代的步骤：对应关系评估和空间变换更新。而在本实施例中，将两个点集的对应关系评估看作是概率密度估计问题，即通过高斯混合模型(gmm)和贝叶斯定律求解所得的后验概率来充当模糊对应。在d维空间中，令源点yj为第j个高斯成员的质心，目标点xi为第i个数据。则第i个数据由第j个高斯成员生成的概率为：
所有高斯成员均被分配以相等的各向同性协方差σ2i和先验概率。其中，i是单位矩阵。由于存在内点和冗余点，因此给它们添加权重
根据贝叶斯定理，得到后验概率：
这属于单一的欧式距离特征对应关系矩阵。将第一特征差异矩阵sc和第二特征差异矩阵tf代入上式，得到基于混和高斯模型的后验概率：
其中参数σ和β分别控制特征的强度，由m步通过最小化完整的负对数似然函数的期望找到的参数值进行迭代更新。
即e步(e-step)用于猜测计算基于混合模型的贝叶斯规则的后验概率分布的参数值，即求解后验概率矩阵ce，m-step通过最小化完整的负对数似然函数的期望来更新参数值。
为了更完美的完成m-step，本实施例在能量方程中加入全局-局部几何结构约束：
其中，第二项和第三项表示约束项,λ和η分别表示约束的强度控制。κ表示高斯核κ(yj,yi)＝exp(-||yi-yj||2/2ψ2)，常数ψ是高斯核的宽度。通过求导就可以得到括号里的参数，每一次更新的都带入e步中。就这样两个步骤不断迭代，直至能量方程收敛或达到设置的最大迭代次数，从而得到点集坐标t(y,w)＝y κw。
步骤s15，根据点集坐标，获取配准后的图像。
具体的，将点集坐标通过反推法进行图像配准，获取配准后的图像。
在本实施例中，采用反推法(backwardapproach)实现图像配准，其中映射函数采用薄板样条(thinplatespline,tps)，双三插值用于提高转换图像的平滑度。
获取配准后的图像后，使用交替显示的配准后的图像和参考图像棋盘格，能够很直观的看出配准结果，如图3所示，其中r表示参考图像，s表示浮动图像，ours表示本实施例的对比结果(棋盘格为参考图像与配准后的图像交替显示的结果)，pr-gls表示现有技术的对比结果。
与现有技术相比，本实施例采用形状上下文特征和纹理特征进行科学计算的方式，形成全局和局部特征的混合特征框架，以使其在配准过程中形成互补关系，从而避免产生大量误判，从而提高图像配准的精准度。
除此之外，通过全局和局部的双约束去指导点集移动，以充分利用利用各自优势，使局部尺度下的任意点具有一定程度的运动自由，从而进一步提升算法在空间变换更新步骤的精度。
进一步的，参见图4，是本申请的一个实施例提供的多模态视网膜眼底图像配准装置的结构示意图。包括：
图像获取模块101，用于获取多模态的浮动图像和参考图像。
特征提取模块102，用于根据尺度不变特征转换算法，提取浮动图像中的多个第一特征点组成第一特征点集，以及提取参考图像中的多个第二特征点组成第二特征点集。
在本实施例中，特征提取模块102具体用于，以预设的阈值，根据尺度不变特征转换算法对浮动图像和参考图像进行遍历，获取阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各第一特征点和各第二特征点，直至阈值的迭代次数达到预设次数后，生成包含所有第一特征点的第一特征点集，以及包含所有第二特征点的第二特征点集。
差异矩阵获取模块103，用于根据第一特征点集的第一形状上下文特征，以及第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据第一特征点集的第一纹理特征和第二特征点集的第二纹理特征，获取第二特征差异矩阵。
特征匹配模块104，用于根据期望最大化算法，在e步处理中，对第一特征差异矩阵和第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取第一特征差异矩阵与第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数。
其中，e步处理包括：
在d维空间中，根据
在本实施例中，通过期望最大化算法，实现特征点集匹配，其包括两个交替迭代的步骤：对应关系评估和空间变换更新。而在本实施例中，将两个点集的对应关系评估看作是概率密度估计问题，即通过高斯混合模型(gmm)和贝叶斯定律求解所得的后验概率来充当模糊对应。在d维空间中，令源点yj为第j个高斯成员的质心，目标点xi为第i个数据。则第i个数据由第j个高斯成员生成的概率为：
所有高斯成员均被分配以相等的各向同性协方差σ2i和先验概率。其中，i是单位矩阵。由于存在内点和冗余点，因此给它们添加权重
根据贝叶斯定理，得到后验概率：
这属于单一的欧式距离特征对应关系矩阵。将第一特征差异矩阵sc和第二特征差异矩阵tf代入上式，得到基于混和高斯模型的后验概率：
其中参数σ和β分别控制特征的强度，由m部通过最小化完整的负对数似然函数的期望找到的参数值进行迭代更新。
即e部(e-step)用于猜测计算基于混合模型的贝叶斯规则的后验概率分布的参数值，即求解后验概率矩阵ce，m-step通过最小化完整的负对数似然函数的期望来更新参数值。
为了更完美的完成m-step，本实施例在能量方程中加入全局-局部几何结构约束：
其中，第二项和第三项表示约束项,λ和η分别表示约束的强度控制。κ表示高斯核，κ(yj,yi)＝exp(-||yi-yj||2/2ψ2)，常数ψ是高斯核的宽度。通过求导就可以得到括号里的参数，每一次更新的都带入e步中。就这样两个步骤不断迭代，直至能量方程收敛或达到设置的最大迭代次数，从而得到点集坐标t(y,w)＝y κw。
图像配准模块105，用于根据点集坐标，获取配准后的图像。
在本实施例中，图像配准模块105具体用于，将所述点集坐标通过反推法进行图像配准，获取配准后的图像。
与现有技术相比，本实施例采用形状上下文特征和纹理特征进行科学计算的方式，形成全局和局部特征的混合特征框架，以使其在配准过程中形成互补关系，从而避免产生大量误判，从而提高图像配准的精准度。
本申请的又一实施例还提供了一种多模态视网膜眼底图像配准终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的多模态视网膜眼底图像配准方法。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
1.一种多模态视网膜眼底图像配准方法，其特征在于，包括：
获取多模态的浮动图像和参考图像；
根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；
根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；
根据期望最大化算法，在e步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；
根据所述点集坐标，获取配准后的图像。
2.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集，包括：
以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。
3.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述e步处理包括：
在d维空间中，根据
为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；
将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。
4.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述根据所述点集坐标，获取配准后的图像，包括：
将所述点集坐标通过反推法进行图像配准，获取配准后的图像。
5.一种多模态视网膜眼底图像配准装置，其特征在于，包括：
图像获取模块，用于获取多模态的浮动图像和参考图像；
特征提取模块，用于根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；
差异矩阵获取模块，用于根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；
特征匹配模块，用于根据期望最大化算法，在e步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在m步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；
图像配准模块，用于根据所述点集坐标，获取配准后的图像。
6.根据权利要求5所述的多模态视网膜眼底图像配准装置，其特征在于，所述特征提取模块具体用于：
以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。
7.根据权利要求5所述的多模态视网膜眼底图像配准装置，其特征在于，所述e步处理包括：
在d维空间中，根据
为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；
将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。
8.根据权利要求5所述的多模态视网膜眼底图像配准装置，其特征在于，所述图像配准模块具体用于：
将所述点集坐标通过反推法进行图像配准，获取配准后的图像。
技术总结