本发明涉及手术导航技术领域，尤其是一种智能超声多模态导航系统及方法。
背景技术：
手术微创化是近些年来外科发展的重要趋势，在骨科表现为越来越多的微创治疗技术的出现，如椎间孔镜、髋关节镜、经皮椎弓根钉、经皮椎体成型、以及髓内钉内固定等技术。微创治疗通过尽量小的外科创伤实现精准的手术，为了满足这一需求，通常需要使用术中影像进行引导，临床上最常用的是术中x线和计算机断层(ct)，然而术中大量使用x线，会带来大量辐射，对于患者及医生的健康都造成潜在的威胁，同时由于单次x线与ct的非实时性，造成漂移等误差，也影响了手术的准确性甚至增加了手术并发症的风险。超声是近年来逐渐应用于手术引导的成像工具，具有其独特的优势，在于：(1)超声对于人体无辐射危害，不会影像患者和医生的健康；(2)超声是实时成像的，连续、不间断的追踪，不受术中移位的影响；(3)超声可获得不同组织的显像，特别是骨表面的形态特征，较体外定位装置更直接，更加准确。
当今超声引导的介入性操作，主要应用在超声引导穿刺活检、神经阻滞等手术。然而目前超声引导并未广泛应用于临床，特别是骨科微创治疗中，主要存在以下几个问题：(1)目前的超声引导中，未实现超声图像中关键骨解剖结构的自动识别，需要临床医生掌握超声下各个骨解剖结构的超声影像特征，进行人工解剖结构判别，临床实用性差；(2)超声本身的成像特点决定了遇到气体、骨骼等界面，其后方结构无法显示，只能提供给医生局部的术中三维骨结构信息；(3)现有术前术中结构融合方法，需要操作者或者医生手动找到术前结构匹配的关键点，需要较长的学习曲线，并且配准融合精度有限。
技术实现要素：
本发明所要解决的技术问题在于，提供一种智能超声多模态导航系统及方法，能够实现无辐射的手术环境，通过智能的超声采集、定位及融入空时特征机制的实时影像处理，并以多维导航信息呈现方式为医生提供丰富的引导信息。
为解决上述技术问题，本发明提供一种智能超声多模态导航系统，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
优选的，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。
相应的，一种智能超声多模态导航系统的导航方法，包括如下步骤：
(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；
(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；
(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；
(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中x线辐射成像的情况下，提供实时三维术中导航信息。
优选的，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维超声骨结构模型重建具体为：
将二维超声图像序列s＝[s1,s2,s3,…sn]逐帧通过全卷积神经网络fcn提取单帧高级语义特征，n为输入超声序列帧数，fcn由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，fcn＝{conv1_16,conv2_16,conv3_16，conv4_32,conv5_32,conv6_32,}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络fcn映射为32通道的特征张量fn，且其尺寸为原图的四分之一fn＝fcn(sn)；
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量fn学习其对应的权重系数wn，从而调整连续帧图像的相关性强弱；应用全局平均池化来聚合原特征张量fn，并通过全连接层来学习帧间非线性依赖关系，对n维权重向量进行非线性softmax归一化，得到所有特征张量的权重w＝[w1,w2,w3…wn]，及重加权的特征张量fn′f′n＝fn*wn，wn为第n个特征张量的权重；然后，进行连续帧信息融合，利用卷积长短期记忆网络convlstm对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
在骨结构语义特征解码部分，引入多尺度空间特征重标定机制；骨结构语义特征解码网络由5个convlstm解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测；多尺度空间特征重标定即利用每个解码器单元convlstmk的骨结构预测结果
优选的，步骤(3)中，通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息，具体为：充分利用智能化骨结构分割模块输出的三维关键结构分布图a，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
其中intra代表术中骨结构，mintra代表术中骨结构点数目；
h(pre，intra)表示术中局部骨结构和术前全局骨结构的联合熵，
其中，pre代表术前骨结构，mpre代表术前骨结构点数目，c＝[intra(c),pre(t(c))]t,c∈ts为结构匹配点组成的随机向量，并基于拟牛顿法，进行最优几何变换t的搜索，在得到关键结构点几何位置匹配集的几何变换t后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
优选的，步骤(4)中，显示方式包括普通显示器、虚拟现实及增强现实多种方式。
本发明的有益效果为：可以实现无辐射的手术环境，通过智能的超声采集、定位、时空特征重标定的超声影像识别及结合三维结构分布先验的术前术中信息快速融合，可以通过多维导航信息呈现方式为医生提供实时三维术中信息引导。
附图说明
图1为本发明的系统结构示意图。
图2为本发明在使用时的连接示意图。
图3为本发明的超声智能分析示意图。
图4为本发明的基于结构先验的骨结构配准融合模块结构示意图。
具体实施方式
如图1-图4所示，一种智能超声多模态导航系统，包括：超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息。且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
超声实时采集传输模块中，利用外置式的高清视频传输采集卡，基于rtp/rtcp/rtsp/http等视频流传输协议，以不低于60帧/秒的传输速率，将超声成像设备端的二维超声图像序列实时同步传入到多模态经皮植入导航系统的高性能图像处理工作站，实现超声成像设备与导航工作站间端到端实时的通讯与数据传输。该模块可保证手术过程中骨结构超声图像序列的实时采集与传输。
图像位姿获取模块中，磁场发生器形成一个可知强度和分布的交变电磁场，同时在超声波成像探头上安装一个电磁传感器，当磁场变化时，传感器接收线圈内产生感应电流，通过电流信号放大及模拟数字信号转换，对接收电流信号进行处理，可以获得传感器相对于磁场发生器的三维位置和方位信息。并进一步利用超声探头标定技术，获得传感器与超声探头成像端的相对位姿。结合传感器位姿及传感器与超声探头成像端的相对位姿，可在无手术盲区的要求下，为导航系统提供高精度的二维超声图像序列的空间位姿信息，用于辅助智能三维重建。
自适应空时特征重标定的骨结构分割模块，考虑三维骨结构在固定扫描方向上超声影像序列的连续性特点，提出了结合超声序列信息融合和多尺度空间注意力机制的自适应空时特征重标定的深度卷积神经网络，对连续超声序列中的骨结构进行实时连续分割识别。目前大多数超声图像分割算法独立地对超声序列中的每一帧进行结构检测、分割，忽视了超声成像中实时性和连续性特点。尤其对于沿固定方向扫描的二维超声序列，三维骨结构连续性特点应该被充分利用，以增强三维重建的骨结构在不同切面上的连续性。自适应空时特征重标定的深度卷积神经网络中，骨结构的语义特征提取不再是基于单帧超声图像，而是基于连续的超声序列。通过在时间维度上对连续帧的抽象语义特征加权及融合来提高深度网络模型对三维骨结构连续性的学习能力。该设计机制更加符合术中二维超声图像在固定方向上扫描成像的特点，前后帧骨结构先验信息的引入可以作为当前帧检测、分割的重要辅助信息。
首先，该模块将二维超声图像序列s＝[s1,s2,s3,…sn]逐帧通过全卷积神经网络fcn提取单帧高级语义特征，n为输入超声序列帧数，fcn由6个级联卷积操作构成。为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作。fcn＝{conv1_16,conv2_16,conv3_16,conv4_32,conv5_32,conv6_32,}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络fcn映射为32通道的特征张量fn，且其尺寸为原图的四分之一，fn＝fcn(sn)。
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量fn学习其对应的权重系数wn，从而调整连续帧图像的相关性强弱。应用全局平均池化来聚合原特征张量fn，并通过全连接层来学习帧间非线性依赖关系，对n维权重向量进行非线性softmax归一化，可得到所有特征张量的权重w＝[w1，w2，w3…wn]，及重加权的特征张量f′n＝fn*wn(wn为第n个特征张量的权重)。然后，进行连续帧信息融合，利用卷积长短期记忆网络convlstm对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
在骨结构语义特征解码部分，为了进一步提高解码器网络对目标区域的关注度，引入多尺度空间特征重标定机制。骨结构语义特征解码网络由5个convlstm解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测。多尺度空间特征重标定即利用每个解码器单元convlstmk的骨结构预测结果
术前术中骨结构配准融合模块中，首先，结合超声图像序列位姿信息和骨结构识别结果，实现术中局部骨结构三维重建。虽然，术中超声智能分割重建提供了骨结构的实时信息，但其只涵盖了局部骨结构表面信息。为了获得能体现术中场景的全局骨结构引导信息，该模块提出将术前获取的全局骨模型与术中局部骨结构进行跨模态三维融合，以确保融合后的骨结构能体现完整的术中信息。考虑到术中三维影像融合的实时性是临床应用的重要参考指标，为了实现快速、鲁棒的术中结构信息融合，该模块结合三维关键结构分布图的先验信息，实现关键结构点快速定位，通过曲面匹配，使得校正后全局术前骨模型更加准确、可靠。区别于传统特征点匹配算法，该模块无需额外的特征点检测机制，通常三维影像特征检测算法计算代价较大，特别是对于纹理较少的骨超声图像区域特征密度低，特征提取困难。
该模块充分利用智能化骨结构分割模块输出的三维关键结构分布图a，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
该方法计算简单、且无需人工阈值设定，可实现实时操作，因此，适用于快速的关键结构定位。由于图像的特征点比图像的像素点要少很多，通过关键特征点的融合不仅提高了骨模型校正的准确度，而且大大提高了融合的效率，缩减了融合的时间。
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
，其中intra代表术中骨结构，mintra代表术中骨结构点数目。
h(pre,intra)表示术中局部骨结构和术前全局骨结构的联合熵，
其中，pre代表术前骨结构，mpre代表术前骨结构点数目。c＝[intra(c),pre(t(c))]t,c∈ts为结构匹配点组成的随机向量。基于拟牛顿法，进行最优几何变换t的搜索，在得到关键结构点几何位置匹配集的几何变换t后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
植入器械定位模块中，通过在植入器械远端的电磁传感器和磁场发生器，实现植入器械的实时跟踪定位，该方案在最大程度减少射线辐射要求下，能够为基于超声的导航系统提供快速、高精度三维植入器械位姿信息，实现无手术盲区的高精度定位。
导航信息多维显示模块中，测定病人与术前术中骨结构及植入器械的位置与方向角后，确定各个系统之间的坐标变化关系，使得超声导航系统建模的术前术中骨结构及植入器械模型与真实病人坐标系实现统一。将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，一方面通过多种方式的导航信息呈现方式展示给医生，辅助医生完成手术。不同的导航信息呈现方式可包括基于普通二维显示器的显示方式、基于头戴式或非头戴式的虚拟现实显示方式，以及增强现实显示方式等。另一方面，还可通过5g网络实时传输，将超声导航系统建模的术前术中骨结构及植入器械模型进行远程传输，并结合手术机器人技术，实现远程机器人手术引导。
1.一种智能超声多模态导航系统，其特征在于，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
2.如权利要求1所述的智能超声多模态导航系统，其特征在于，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。
3.一种智能超声多模态导航系统的导航方法，其特征在于，包括如下步骤：
(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；
(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；
(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；
(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中x线辐射成像的情况下，提供实时三维术中导航信息。
4.如权利要求3所述的智能超声多模态导航系统的导航方法，其特征在于，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维超声骨结构模型重建具体为：
将二维超声图像序列s＝[s1，s2，s3，…sn]逐帧通过全卷积神经网络fcn提取单帧高级语义特征，n为输入超声序列帧数，fcn由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，fcn＝{conv1_16，conv2_16，conv3_16，conv4_32，conv5_32，conv6_32，}，其中convi_j表示第i个卷积操作且i表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络fcn映射为32通道的特征张量fn，且其尺寸为原图的四分之一fn＝fcn(sn)；
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量fn学习其对应的权重系数wn，从而调整连续帧图像的相关性强弱；应用全局平均池化来聚合原特征张量fn，并通过全连接层来学习帧间非线性依赖关系，对n维权重向量进行非线性softmax归一化，得到所有特征张量的权重w＝[w1，w2，w3…wn]，及重加权的特征张量fn′f′n＝fn*wn，wn为第n个特征张量的权重；然后，进行连续帧信息融合，利用卷积长短期记忆网络convlstm对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
在骨结构语义特征解码部分，引入多尺度空间特征重标定机制；骨结构语义特征解码网络由5个convlstm解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测；多尺度空间特征重标定即利用每个解码器单元convlstmk的骨结构预测结果
5.如权利要求3所述的智能超声多模态导航系统的导航方法，其特征在于，步骤(3)中，通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息，具体为：充分利用智能化骨结构分割模块输出的三维关键结构分布图a，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
其中intra代表术中骨结构，mintra代表术中骨结构点数目；
h(pre，intra)表示术中局部骨结构和术前全局骨结构的联合熵，
其中，pre代表术前骨结构，mpre代表术前骨结构点数目，c＝[intra(c)，pre(t(c))]t，c∈ts为结构匹配点组成的随机向量，并基于拟牛顿法，进行最优几何变换t的搜索，在得到关键结构点几何位置匹配集的几何变换t后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
6.如权利要求3所述的智能超声多模态导航系统的导航方法，其特征在于，步骤(4)中，显示方式包括普通显示器、虚拟现实及增强现实多种方式。
技术总结