本发明涉及骨科图像三维重建,具体是指一种骨科医疗图像三维重建方法和系统。
背景技术:
1、骨科医疗图像的三维重建是一种将二维医学图像(如ct扫描、mri等)转换为具有三维形状和结构的图像的技术。这种技术在骨科医疗领域中被广泛使用,能够为医生提供更全面的骨骼结构信息和更准确的诊断结果。
2、但是,现有的骨科医疗图像三维重建方法中,存在着骨科图像数据和真实的骨结构对应准确性交底,进而可能影响三维重建的效果,乃至影响后续的顾客手术导航、骨折骨损修复等医疗环节的技术问题;有的骨科医疗图像三维重建方法中,存在着传统的基于回归网络点云特征匹配方法依赖大量的相机姿势数据,从而导致扩展性差且训练不收敛,准确性低,而传统的基于特征的点云特征匹配方法耗时较大,成本高昂,十分依赖图像质量和点云质量,进而容易产生模型重建时无纹理区域的质量较差或丢失的技术问题;现有的骨科医疗图像三维重建方法中,存在着模型构建误差较大,且图像数据可能存在数据不完整、算力需求较大影响计算效率的技术问题。
技术实现思路
1、针对上述情况,为克服现有技术的缺陷,本发明提供了一种骨科医疗图像三维重建方法和系统,针对现有的骨科医疗图像三维重建方法中,存在着骨科图像数据和真实的骨结构对应准确性交底,进而可能影响三维重建的效果,乃至影响后续的顾客手术导航、骨折骨损修复等医疗环节的技术问题,本方案创造性地采用c型臂校准进行参数校准,提高了结构对应准确性,优化了骨科图像数据地可靠性和精确性;针对现有的骨科医疗图像三维重建方法中,存在着传统的基于回归网络点云特征匹配方法依赖大量的相机姿势数据,从而导致扩展性差且训练不收敛,准确性低,而传统的基于特征的点云特征匹配方法耗时较大,成本高昂,十分依赖图像质量和点云质量,进而容易产生模型重建时无纹理区域的质量较差或丢失的技术问题,本方案创造性地采用跨维度描述符匹配的方法进行升维点云特征匹配,采用描述符,结合了二维和三维的图像与点云,并通过模型训练的方法提升了特征匹配和姿势估计的效果,提升了任务效果的稳健性和有效性;针对现有的骨科医疗图像三维重建方法中,存在着模型构建误差较大,且图像数据可能存在数据不完整、算力需求较大影响计算效率的技术问题,本方案创造性地在模型构建阶段采用迭代重建辅助模型参数计算的方法进行三维模型构建,通过同步迭代重建技术改善模型构建的质量,优化了三维重建整体的效果,并减少误差。
2、本发明采取的技术方案如下:本发明提供的一种骨科医疗图像三维重建方法,该方法包括以下步骤:
3、步骤s1:数据采集;
4、步骤s2:数据预处理;
5、步骤s3:参数校准;
6、步骤s4:升维点云特征匹配;
7、步骤s5:三维模型构建;
8、步骤s6:骨科图像三维重建。
9、进一步地,在步骤s1中,所述数据采集,用于从医疗保健系统中收集骨科ct图像,具体为从医疗保健系统中,通过采集得到骨科医疗ct原始图像数据。
10、进一步地,在步骤s2中,所述数据预处理,用于提高数据质量并增强数据稳定性,具体为对所述骨科医疗ct原始图像数据进行噪声去除和异常值去除操作,并采用平滑算法进行数据平滑处理,得到骨科医疗ct增强图像数据。
11、进一步地,在步骤s3中,所述参数校准,用于确保获取的骨科图像数据与真实的解剖结构对应准确性,具体为对所述骨科医疗ct增强图像数据进行c型臂校准,包括以下步骤:
12、步骤s31:校准准备,具体为采用针孔相机模型形成c型臂装置图像;
13、步骤s32:内部参数矩阵构建,用于计算设备坐标中的点在探测器平面中的投影,具体为构建内部参数矩阵k,计算公式为:
14、;
15、式中,k是内部参数矩阵,fx是水平方向各像素单位焦距,fy是垂直方向各像素单位焦距,cx是主点像素水平方向坐标,cy是主点像素垂直方向坐标,所述驻点像素用于进行精准定位;
16、步骤s33:坐标投影,具体为依据所述内部参数矩阵k,通过计算将设备坐标中的像素点投影到探测器平面中,计算公式为:
17、;
18、式中,x是探测器平面上的像素点坐标,用于表示校准后图像的平面像素点位置,x是c型臂设备坐标系中的三维像素点,用于表示三维空间中物体的顶点坐标,k是内部参数矩阵,r是相机方向矩阵,i是单位矩阵,用于保持坐标系前后统一,t是平移向量,用于表示设备坐标系和探测器平面上的坐标系的平移关系;
19、步骤s34:c型臂校准,具体为通过所述校准准备、内部参数矩阵构建和坐标投影进行c型臂校准,得到校准骨科图像数据。
20、进一步地,在步骤s4中,所述升维点云特征匹配,用于将对校准骨科图像数据进行特征点云匹配,并进行相机定位,具体为采用跨维度描述符匹配的方法进行升维点云特征匹配,得到精度匹配骨科图像数据,所述跨维度描述符匹配的方法,包括以下步骤:
21、步骤s41:构建点云集,用于提取关键点和特征描述符,计算公式为:
22、;
23、式中,p是所述校准骨科图像数据中的二维骨科图像的点云集,是并集运算,np是点云集中的点云总数,i是点云索引,xi是第i个点云的水平方向笛卡尔坐标,yi是第i个点云的垂直方向笛卡尔坐标,zi是第i个点云的深度方向笛卡尔坐标;
24、步骤s42:提取关键点,具体为通过密集点云检测,并通过提取得到关键点keyp,计算公式为:
25、;
26、式中,keyp是关键点,nk是密集点云检测到的关键点总数,j是关键点索引,xj是第j个关键点的水平方向笛卡尔坐标,yj是第j个关键点的垂直方向笛卡尔坐标,zj是第j个关键点的深度方向笛卡尔坐标;
27、步骤s43:提取特征描述符,计算公式为:
28、;
29、式中,desp是特征描述符,是并集运算,nk是密集点云检测到的关键点总数,j是关键点索引,j是关键点索引,是具有笛卡尔坐标的关键点的特征描述符,其中,p是特征描述符总数;
30、步骤s44:构造升维点云特征匹配数据集,用于进行粗略匹配和精细匹配,包括以下步骤:
31、步骤s441:反向光线追踪,用于计算二维和三维关键点之间的距离,计算公式为:
32、;
33、式中,是三维关键点距相机的深度,是水平方向三维关键点像素坐标,是垂直方向三维关键点像素坐标,kn是升维特征匹配相机内部参数矩阵,rn是升维特征匹配相机旋转矩阵,tn是升维特征匹配相机平移向量,j是关键点索引,n是二维骨科图像,[]t是矩阵转置运算;
34、步骤s442:深度块过滤,用于处理关键点提取过程中产生的错误投影,具体为借助相机参数,处理所述校准骨科图像数据中的二维骨科图像的点云集p,得到过滤投影点集p1,所述深度块过滤的计算公式为:
35、;
36、式中,是投影点距相机的深度,是水平方向投影点像素坐标,是垂直方向投影点像素坐标,kn是升维特征匹配相机内部参数矩阵,rn是升维特征匹配相机旋转矩阵,tn是升维特征匹配相机平移向量,i是点云索引,n是二维骨科图像,[]t是矩阵转置运算;
37、步骤s443:创建升维关系,具体为计算所述过滤投影点集p1中剩余的投影点之间的欧几里得距离,得到升维特征匹配对,计算公式为:
38、;
39、式中,是升维特征匹配对的数据集合,是并集运算,j是关键点索引,k是二维关键点索引,是三维水平方向像素关键点坐标,是二维水平方向像素关键点坐标,是三维垂直方向像素关键点坐标,是二维垂直方向像素关键点坐标,是升维特征匹配像素距离阈值;
40、步骤s444:升维点云特征匹配数据集构造,具体为依据所述升维特征匹配对的数据集合,构造得到升维点云特征匹配数据集;
41、步骤s45:模型训练,用于分别训练进行粗略匹配和精细匹配的机器学习模型,具体为采用分类树进行粗略匹配模型训练,并采用随机森林分类器进行精细匹配模型训练,得到升维点云特征匹配模型组,所述升维点云特征匹配模型组包括粗略匹配模型modelcm和精细匹配模型modelfm;
42、步骤s46:升维点云特征匹配,具体为采用所述升维点云特征匹配模型组进行特征匹配,得到点云特征匹配图像变换矩阵;
43、步骤s47:姿势估计,用于预估相机在采集图像时的位置和朝向,具体为采用圆形霍夫变换定位标记点,并通过相机旋转矩阵和平移向量进行相机姿势估计,得到相机姿势信息;
44、步骤s48:数据整合,具体为结合所述点云特征匹配图像变换矩阵和相机姿势信息,得到精度匹配骨科图像数据。
45、进一步地,在步骤s5中,所述三维模型构建,用于依据图像和相机参数并结合迭代,进行骨科三维模型构建,具体为计算多种模型构建参数,并进行迭代重建,包括以下步骤:
46、步骤s51:计算模型构建相机方向矩阵,用于描述相机在真实坐标系中的方向,所述模型构建相机方向矩阵的计算公式为:
47、;
48、式中,comt是模型构建相机方向矩阵的转置矩阵,x是水平方向坐标轴,用于表示相机坐标系的水平坐标轴在真实坐标系中的表示,y是垂直方向坐标轴,用于表示相机坐标系的垂直坐标轴在真实坐标系中的表示,z是深度方向坐标轴,用于表示相机坐标系的深度坐标轴在真是坐标系中的表示;
49、步骤s52:计算模型构建平移向量,计算公式为:
50、;
51、式中,tv是模型构建平移向量,用于表示相机反向移动的位置变化,comt是模型构建相机方向矩阵的转置矩阵,t是平移向量,用于表示设备坐标系和探测器平面上的坐标系的平移关系;
52、步骤s53:计算图像偏移向量,计算公式为:
53、io=(tv*z)*z-tv;
54、式中,io是图像便宜向量,tv是模型构建平移向量,z是深度方向坐标轴;
55、步骤s54:计算欧拉旋转矩阵,用于计算欧拉角,计算公式为:
56、;
57、式中,rsource是欧拉旋转矩阵,x是水平方向坐标轴,用于表示相机坐标系的水平坐标轴在真实坐标系中的表示,y是垂直方向坐标轴,用于表示相机坐标系的垂直坐标轴在真实坐标系中的表示,z是深度方向坐标轴,用于表示相机坐标系的深度坐标轴在真是坐标系中的表示;
58、步骤s55:迭代重建,用于重建模型体积,具体为采用同步迭代重建技术对三维模型进行20次迭代;
59、步骤s56:三维模型构建,具体为通过所述计算模型构建相机方向矩阵、计算模型构建平移向量、计算图像偏移向量、计算欧拉旋转矩阵和迭代重建,得到骨科医疗图像三维模型。
60、进一步地,在步骤s6中,所述骨科图像三维重建,用于进行骨科医疗图像三维重建,具体为通过所述参数校准、升维点云特征匹配和三维模型构建,依据所述骨科医疗ct增强图像数据进行三维模型重建,得到骨科医疗三维重建数据集合,所述骨科医疗三维重建数据集合,包括校准骨科图像数据、精度匹配骨科图像数据和骨科医疗图像三维模型。
61、本发明提供的一种骨科医疗图像三维重建系统,包括数据采集模块、数据预处理模块、参数校准模块、升维点云特征匹配模块、三维模型构建模块和骨科图像三维重建模块。
62、所述数据采集模块,用于从医疗保健系统中收集骨科ct图像,从医疗保健系统中,通过采集得到骨科医疗ct原始图像数据,并将所述骨科医疗ct原始图像数据发送至数据预处理模块;
63、所述数据预处理模块,用于提高数据质量并增强数据稳定性,通过数据预处理,得到骨科医疗ct增强图像数据,并将所述骨科医疗ct增强图像数据发送至参数校准模块;
64、所述参数校准模块,用于确保获取的骨科图像数据与真实的解剖结构对应准确性,通过参数校准,得到校准骨科图像数据,并将所述校准骨科图像数据发送至升维点云特征匹配模块和骨科图像三维重建模块;
65、所述升维点云特征匹配模块,用于将对校准骨科图像数据进行特征点云匹配,并进行相机定位,通过升维点云特征匹配,得到精度匹配骨科图像数据,并将所述精度匹配骨科图像数据发送至三维模型构建模块和骨科图像三维重建模块;
66、所述三维模型构建模块,用于依据图像和相机参数,进行骨科三维模型构建,通过三维模型构建,得到骨科医疗图像三维模型,并将所述骨科医疗图像三维模型发送至骨科图像三维重建模块;
67、所述骨科图像三维重建模块,用于进行骨科医疗图像三维重建,具体为通过骨科图像三维重建得到骨科医疗三维重建数据集合,所述骨科医疗三维重建数据集合,包括校准骨科图像数据、精度匹配骨科图像数据和骨科医疗图像三维模型。
68、采用上述方案本发明取得的有益效果如下:
69、(1)针对现有的骨科医疗图像三维重建方法中,存在着骨科图像数据和真实的骨结构对应准确性交底,进而可能影响三维重建的效果,乃至影响后续的顾客手术导航、骨折骨损修复等医疗环节的技术问题,本方案创造性地采用c型臂校准进行参数校准,提高了结构对应准确性,优化了骨科图像数据地可靠性和精确性;
70、(2)针对现有的骨科医疗图像三维重建方法中,存在着传统的基于回归网络点云特征匹配方法依赖大量的相机姿势数据,从而导致扩展性差且训练不收敛,准确性低,而传统的基于特征的点云特征匹配方法耗时较大,成本高昂,十分依赖图像质量和点云质量,进而容易产生模型重建时无纹理区域的质量较差或丢失的技术问题,本方案创造性地采用跨维度描述符匹配的方法进行升维点云特征匹配,采用描述符,结合了二维和三维的图像与点云,并通过模型训练的方法提升了特征匹配和姿势估计的效果,提升了任务效果的稳健性和有效性;
71、(3)针对现有的骨科医疗图像三维重建方法中,存在着模型构建误差较大,且图像数据可能存在数据不完整、算力需求较大影响计算效率的技术问题,本方案创造性地在模型构建阶段采用迭代重建辅助模型参数计算的方法进行三维模型构建,通过同步迭代重建技术改善模型构建的质量,优化了三维重建整体的效果,并减少误差。
1.一种骨科医疗图像三维重建方法,其特征在于:该方法包括以下步骤:
2.根据权利要求1所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s41中,所述构建点云集,用于提取关键点和特征描述符,计算公式为:
3.根据权利要求1所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s44中,所述构造升维点云特征匹配数据集,用于进行粗略匹配和精细匹配,包括以下步骤:
4.根据权利要求3所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s45中,所述模型训练,用于分别训练进行粗略匹配和精细匹配的机器学习模型,具体为采用分类树进行粗略匹配模型训练,并采用随机森林分类器进行精细匹配模型训练,得到升维点云特征匹配模型组,所述升维点云特征匹配模型组包括粗略匹配模型modelcm和精细匹配模型modelfm;
5.根据权利要求4所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s3中,所述参数校准,用于确保获取的骨科图像数据与真实的解剖结构对应准确性,具体为对所述骨科医疗ct增强图像数据进行c型臂校准,包括以下步骤:
6.根据权利要求5所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s5中,所述三维模型构建,用于依据图像和相机参数并结合迭代,进行骨科三维模型构建,具体为计算多种模型构建参数,并进行迭代重建,包括以下步骤:
7.根据权利要求6所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s1中,所述数据采集,用于从医疗保健系统中收集骨科ct图像,具体为从医疗保健系统中,通过采集得到骨科医疗ct原始图像数据;
8.根据权利要求7所述的一种骨科医疗图像三维重建方法,其特征在于:在步骤s6中,所述骨科图像三维重建,用于进行骨科医疗图像三维重建,具体为通过所述参数校准、升维点云特征匹配和三维模型构建,依据所述骨科医疗ct增强图像数据进行三维模型重建,得到骨科医疗三维重建数据集合,所述骨科医疗三维重建数据集合,包括校准骨科图像数据、精度匹配骨科图像数据和骨科医疗图像三维模型。
9.一种骨科医疗图像三维重建系统,用于实现如权利要求1-8中任一项所述的一种骨科医疗图像三维重建方法,其特征在于:包括数据采集模块、数据预处理模块、参数校准模块、升维点云特征匹配模块、三维模型构建模块和骨科图像三维重建模块。
10.根据权利要求9所述的一种骨科医疗图像三维重建系统,其特征在于:所述数据采集模块,用于从医疗保健系统中收集骨科ct图像,从医疗保健系统中,通过采集得到骨科医疗ct原始图像数据,并将所述骨科医疗ct原始图像数据发送至数据预处理模块;
