一种基于图片相似度计算的脑纤维视角自动选择方法与流程

专利2022-06-29  107


本发明涉及脑科学领域,是一种基于图片相似度计算的脑纤维视角自动选择方法,通过机器学习技术辅助脑神经纤维分析。



背景技术:

水分子弥散是核磁共振技术的基础,dwi、dti与hardi无创检测技术均以水分子弥散扩散为基础发展而来。人们可以通过对纤维的跟踪获得脑部的大量纤维,但是由于纤维结构错综复杂,并且相互存在遮挡,通常无法直观分析脑纤维的组织结构。如何对大量纤维进行聚类和更直观地渲染是亟待解决的问题。纤维聚类为提升对脑纤维的特征分析提供了参考,更好地展示纤维束之间的空间关系。合理的纤维聚类方式可以在很大程度上去除信息干扰与噪声,准确地描述纤维束的走向,从而帮助人们理解相互混合纤维的空间联系,展示出不同纤维束之间的连接关系。

由于纤维是一种具有密集分布属性的数据,在三维空间中绘制之后通常会出现互相遮挡的情况,这会对寻找纤维异常区域、研究纤维空间结构特征造成巨大的影响。通常需要不停地调整观察的视角来获取最佳的观察角度,而手动旋转视角并观察正常纤维与异常纤维的对比需要耗费大量的时间,而且没有量化准则,不同人、同一个人不同次观察的结果都会有差异,对纤维的分析及疾病诊断都会有很大的影响。如何能够快速寻找最佳视角,使得正常纤维和异常纤维所展现出来的差异最明显,是亟待解决的问题。以这个视角为基准,定位异常区域会更加快捷。



技术实现要素:

为了解决现有技术的不足,本发明提供一种基于图片相似度计算的脑纤维视角自动选择方法,利用图片相似度计算原理计算未知纤维和异常纤维相似度,从而获取适合医生的具有研究价值的观测角度,并通过降维聚类分析来进一步探索纤维结构特征,可以帮助研究人员快速定位纤维异常区域并进行分析。

本发明解决其技术问题所采用的技术方案是:

一种基于图片相似度计算的脑纤维视角自动选择方法,所述方法包括以下步骤:

1)导入异常纤维样本数据和待判定纤维数据,使用paraview软件绘制成三维图像;

2)编写自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;

3)使用直方图计算方式法和尺度不变特征计算方法计算每组图片的相似度,寻找差异最大的视角;

4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;

5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。

进一步,所述步骤3)中,利用图片相似度计算来寻找与标准样本对比差异最大的视角,自动定位最有研究价值的三维空间视角,解决手动寻找最佳研究视角工作繁琐且无法定量的问题。

再进一步,所述步骤3)的过程如下:

3.1)图像直方图包含丰富的图像信息,能够用来描述图像中颜色的全局分布,它统计了每一个强度值具有的像素个数,直方图为图像的灰度直方图,总体分布规则为“左黑右白”,左边代表暗部,右边代表亮部,而中间则代表过度区域,纵向上的高度代表像素密集程度,其越高则代表的就是分布在这个亮度上的像素越多;

3.2)尺度不变特征转换是一种用来描述与检测影响局部性特征的视觉算法,它在空间尺度中寻找相应的极值点,提取旋转不变量、位置、尺度。

更进一步,所述步骤4)的过程如下:

4.1)数据预处理,假设有m条具有不同节点数量的纤维,为了能对其进行矩阵运算,需要将所有纤维的节点数量扩展或缩减成相同数量,系统将所有的纤维延展成相同的长度,但是需要保证添加的节点对现有的信息造成的影响要尽可能小;在扩展每一条纤维时,可按照纤维末端走向延长较小的长度,或者重复增加与末尾端点重合的点,这样在不会引入多余的信息的同时达到扩展数据长度的目的,经过处理后最终可得到n维样本集γn=(x(1),x(2),…,x(m)),为列向量;

4.2)数据中心化,将坐标原点移动到样本数据的中心点,其公式为:

4.3)计算样本的协方差矩阵并进行特征值分解,协方差计算公式为:

4.4)得到特征值之后取出最大的φ个特征值对应的特征向量,将其标准化组成特征向量矩阵w,对样本集中的每个数据进行z(i)=wtx(i)转换即可得新的数据集,也可不指定φ,按照如下公式及设定的比重阈值进行自动计算:

本发明的有益效果:针对纤维数据设计一种面向脑神经纤维的可视化分析方法,重点研究基于脑纤维数据的图片差异分析、自动视角选择等内容,将脑纤维数据以最有研究价值的视角绘制在三维空间中。结合数据筛选、降维聚类等方法对脑纤维进行分析。并根据聚类结果对纤维进行抽象,提取主要结构走向,压缩数据量。另外,对于大量的纤维数据,运用降维的思想进行数据简化,并在此基础之上进行了进一步的聚类探讨。通过这个技术框架,可以帮助研究人员快速定位纤维异常区域并进行分析。

附图说明

图1为基于图片相似度计算的脑纤维视角自动选择方法逻辑框图。

图2为获取的两组不同视角的纤维成像图。

图3为计算所得的最大差异视角图。

图4为脑纤维pca降维与k-means 聚类效果图,其中,(a)为三维空间点,(b)为pca二维平面点图,(c)为三维空间点,(d)为聚类效果还原图。

图5为脑纤维逐步抽象效果图,其中,(a)为原始纤维,(b)为初步抽象结果,(c)为抽象第三类,(d)为最终结果。

具体实施方式

下面结合附图对本发明进一步说明。

本发明主要使用的工具为开源软件paraview进行图像绘制成像,通过python进行数据处理与后续的聚类分析计算。由于本文要处理大量的文本数据,所以需要在研究的同时编写脚本程序处理原始数据,并将各种属性添加到原始数据之后。同时也需要编写对所有文件的降维、聚类批量处理程序,并且将结果用直观的散点图展示。

参照图1~图5,一种基于相似度计算的脑纤维视角自动选择方法,包括以下步骤:

1)导入纤维样本数据和待判定纤维数据,使用paraview软件绘制成三维图像;

2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;

3)通过使用直方图和尺度不变特征计算方法,计算每组图片的相似度,寻找差异最大的视角;

4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;

5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。

图1是基于图片相似度计算的脑纤维视角自动选择方法逻辑图。对于两份空间坐标数据和属性数据的文件,运行脚本进行批量处理,得到vtk格式的数据,可用于计算最大视角差异或者聚类分析。通过自动旋转视角脚本来达到自动保存大量对比数据的目的,并通过计算这些对比图片的相似度差异来选定最大的差异视角,作为辅助研究人员分析的理想视角。

图2是为获取的两组不同视角的纤维成像图。通过编写paraview可以载入的python脚本,实现自动对一组数据自动进行旋转,并保存为对比组数据用于后续的分析。可以设定不同的旋转方向和角度达到采集大量样本数据的目的,此处以采集两组图片对比样本为例。

图3是计算所得的最大差异视角图。进行多方向多角度的视角旋转来获取数据,然后通过计算多组不同视角下正常纤维和异常纤维图片的相似度,获取差异值最大的图片信息,并载入采集图片时的视角状态,从而达到快速定位理想视角的目的。所以可通过计算图3采集的每组对比数据的图片相似度,选取差异最大的一组做为辅助医务人员研究的视角。

图4是脑纤维pca降维与k-means 聚类效果图。针对纤维数据,首先通过对数据进行pca降维达到剔除冗余数据,压缩数据量的目的。并在此基础之上实施改进的k-means 聚类方法,计算每条脑神经纤维对应的投影点到聚类中心的距离,并分配到最近的聚类中心去。并重新计算聚类中心,直到聚类中心不再变化为止。

图5是脑纤维逐步抽象效果图。根据聚类结果,对图片进行逐类抽象,以粗管线来代替复杂的细线,尽管会损失一定精度与数据,但是能够以较小的损失来最直观地提取纤维特征,并压缩数据量,降低研究人员的视觉混杂体验,为大数据处理做铺垫。


技术特征:

1.一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述方法包括以下步骤:

1)导入纤维样本数据和待判定纤维数据,使用paraview软件绘制成三维图像;

2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;

3)通过使用直方图和尺度不变特征计算方法,计算每组图片的相似度,寻找差异最大的视角;

4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;

5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。

2.根据权利要求1所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤3)中,利用图片相似度计算来寻找与标准样本对比差异最大的视角,自动定位最有研究价值的三维空间视角,解决手动寻找最佳研究视角工作繁琐且无法定量的问题。

3.根据权利要求1或2所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤3)的过程如下:

3.1)图像直方图包含丰富的图像信息,能够用来描述图像中颜色的全局分布,它统计了每一个强度值具有的像素个数,直方图为图像的灰度直方图,总体分布规则为“左黑右白”,左边代表暗部,右边代表亮部,而中间则代表过度区域,纵向上的高度代表像素密集程度,其越高则代表的就是分布在这个亮度上的像素越多;

3.2)尺度不变特征转换是一种用来描述与检测影响局部性特征的视觉算法,它在空间尺度中寻找相应的极值点,提取旋转不变量、位置、尺度。

4.根据权利要求1或2所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤4)的过程如下:

4.1)数据预处理,假设有m条具有不同节点数量的纤维,为了能对其进行矩阵运算,需要将所有纤维的节点数量扩展或缩减成相同数量,系统将所有的纤维延展成相同的长度,但是需要保证添加的节点对现有的信息造成的影响要尽可能小;在扩展每一条纤维时,可按照纤维末端走向延长较小的长度,或者重复增加与末尾端点重合的点,这样在不会引入多余的信息的同时达到扩展数据长度的目的,经过处理后最终可得到n维样本集γn=(x(1),x(2),…,x(m)),为列向量;

4.2)数据中心化,将坐标原点移动到样本数据的中心点,其公式为:

4.3)计算样本的协方差矩阵并进行特征值分解,协方差计算公式为:

4.4)得到特征值之后取出最大的φ个特征值对应的特征向量,将其标准化组成特征向量矩阵w,对样本集中的每个数据进行z(i)=wtx(i)转换即可得新的数据集,也可不指定φ,按照如下公式及设定的比重阈值进行自动计算:

技术总结
一种基于图片相似度计算的脑纤维视角自动选择方法,包括以下步骤:1)导入异常纤维样本数据和待判定纤维数据,使用ParaView软件绘制成三维图像;2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;3)通过计算每组图片的相似度,寻找差异最大的视角;4)获取差异最大的视角之后,对图片进行降维处理和聚类分析;5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。本发明可以帮助研究人员快速定位纤维异常区域并进行分析。

技术研发人员:刘义鹏;曾东旭;蒋哲臣;孙国道;蒋莉;梁荣华
受保护的技术使用者:浙江工业大学
技术研发日:2019.12.31
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53198.html

最新回复(0)