本发明涉及内窥镜,尤其涉及一种医用内窥镜图像优化系统及方法。
背景技术:
1、医用内窥镜是一种医疗器械,由可弯曲部分、光源及一组镜头组成,内窥镜经人体的天然孔道,或者是经手术做的小切口进入人体内,使用时将内窥镜导入预检查的器官,可直接窥视有关部位的变化,图像质量的好坏直接影响着内窥镜的使用效果,也标志着内窥镜技术的发展水平;
2、在进行内窥镜检查时,医生使用内窥镜探入患者的身体内,内窥镜的镜头回传患者的身体内的内部图像,医生根据内部图像进行有必要地图像抓拍,最后根据抓拍图像进行分析并给出检查结论,在对抓拍图像进行分析时,特别是多器官的检查分析时,由于抓拍的特性,分析流程较为繁琐,需要通过回忆或看图分析,确定抓拍图像对应于患者的身体内的哪个器官,以及对应该器官的哪个位置,由此进行全局分析,比较麻烦,需要耗费大量的时间和精力,因此,本发明提出一种医用内窥镜图像优化系统及方法以解决现有技术中存在的问题。
技术实现思路
1、针对上述问题,本发明提出一种医用内窥镜图像优化系统及方法,该医用内窥镜图像优化系统及方法便于辅助医务人员确定图片所属器官和位置,提高诊疗效率。
2、为实现本发明的目的,本发明通过以下技术方案实现:一种医用内窥镜图像优化系统,包括抓拍储存模块、大数据库和分析模块,所述分析模块包括纹理构造分析模块、对比模块、ai扩图模块、数据集排列模块和打包输出模块;
3、所述抓拍储存模块用于连接内窥镜设备,采集抓拍的图像数据并储存,所述大数据库用于储存内窥镜所需采集的内脏器官影像及其相应器官的纹理构造矢量数据,所述纹理构造分析模块用于分析抓拍储存模块中储存图像的纹理和构造矢量数据,所述对比模块用于将纹理构造分析模块分析的纹理和构造矢量数据与大数据库中数据比对,确定每张抓拍图像所属的内脏器官,所述ai扩图模块以大数据库作为分析基础,用于对抓拍图像进行ai扩图,确定代表相应内脏器官中若干抓拍图像的位置顺序,所述数据集排列模块用于将抓拍图像根据其所代表的内脏器官进行分类集合,在集合中根据每张抓拍图像所表示的位置进行排序,所述打包输出模块用于将各集合输出至显示设备。
4、进一步改进在于:所述抓拍储存模块包括数据传输模块、储存器和时间标定模块,所述数据传输模块用于连接内窥镜设备,模拟rgb、hdmi输入接口,接收内窥镜拍摄的视频和抓拍图像,并转化输出8bit的数字图像数据流,所述储存器用于储存8bit的数字图像数据流,并以原图形式对抓拍图像进行储存。
5、进一步改进在于:所述时间标定模块内置于储存器,用于对储存器中的抓拍图像视频进行时间戳标定,并提供按照时间检索的功能。
6、进一步改进在于:所述大数据库包括nosql数据库和搜索引擎,所述nosql数据库接入医院和相关部门数据网站,采集内窥镜所需拍摄的内脏器官影像及其相应器官的纹理构造矢量数据,所述nosql数据库为mongodb,其作为非关系型数据库,反应数据间的关系,用于数据交互,所述nosql数据库具有hash加密模块,防止数据被盗取,所述搜索引擎利用elasticsearch搜索服务器构建分布式的多用户全文搜索引擎,利用elk技术,实现人机交互在线检索。
7、进一步改进在于:所述纹理构造分析模块包括图像处理模块和矢量数据提取模块,所述图像处理模块用于对抓拍图像进行处理,对图像分辨率、图像刷新率、图像噪声、图像白平衡、图像亮度、图像红、绿、蓝饱和度进行分析和优化,所述矢量数据提取模块用于提取抓拍图像的纹理特征和构造特征,还原出相应的3d模型,输出为特征矢量数据。
8、进一步改进在于:所述对比模块接入纹理构造分析模块和大数据库,采用卷积神经网络将纹理构造分析模块分析出的特征矢量数据与大数据库中的纹理构造矢量数据比对学习,每张图片至少比对三次,取比重最多的比对结果,确定每张抓拍图片所代表的内脏器官,进行标记。
9、进一步改进在于:所述ai扩图模块包括算法模块和排序模块,所述算法模块基于深度学习和神经网络的图像超分辨率算法,根据大数据库中的内脏器官影像训练神经网络模型,该模型用于截取其中局部图像来预测出高分辨率的完整图像,接着将待扩大的抓拍图片输入到已经训练好的神经网络模型中,通过神经网络的推理过程,生成高分辨率的完整图像,所述排序模块在代表相应内脏器官的若干抓拍图像中,将若干抓拍图像生成的完整图像进行重叠比对,选择概率最大的完整图像,确定每张抓拍图像在该内脏器官中的相应位置,按照位置将若干抓拍图像排序在完整图像中。
10、进一步改进在于:所述数据集排列模块包括主集模块和子集模块,所述主集模块接入对比模块,将所有抓拍的图像按照所对应的内脏器官进行分类,集合为多个主集,所述子集模块接入ai扩图模块,将每个主集中,若干抓拍图像在完整图像中的排序集合为子集,所述打包输出模块用于将主集和子集打包为hdmi信号,输出至显示设备。
11、一种医用内窥镜图像优化方法,包括以下步骤:
12、s1:将内窥镜镜头放置入病人待需检查的部位中,进行视频反馈传输,在此过程中,医生操作内窥镜进行抓拍;
13、s2:抓拍储存模块采集抓拍的图像数据并打上时间戳进行储存;
14、s3:纹理构造分析模块对抓拍的图像进行优化处理,并分析出图像的纹理和构造矢量数据;
15、s4:对比模块将分析的纹理和构造矢量数据与大数据库中数据比对,确定每张抓拍图像所属的内脏器官;
16、s5:ai扩图模块对应内脏器官的若干抓拍图像进行ai扩图,生成完整图像进行重叠比对,确定最终完整图像,由此获得每张抓拍图像在该内脏器官中的相应位置;
17、s6:数据集排列模块将所有抓拍的图像按照所对应的内脏器官分类为主集,并在主集中,将包含的若干抓拍图像按照位置排序为子集,由此输出至显示设备,辅助医生治疗。
18、进一步改进在于:所述s2中,在医生需要原图进行数据溯源的时候,在抓拍储存模块中,按照时间检索数据。
19、本发明的有益效果为:
20、1、本发明分析抓拍图像的纹理和构造矢量数据,并与大数据库中数据比对,确定每张抓拍图像所属的内脏器官,同时通过ai扩图技术对抓拍图像进行ai扩图,确定代表相应内脏器官中若干抓拍图像的位置顺序,以此分类集合,输出至显示设备,便于辅助医务人员确定图片所属器官和位置,提高诊疗效率。
21、2、本发明在对比抓拍图片的纹理和构造矢量数据和大数据库中数据时,采用卷积神经网络进行比对学习,每张图片至少比对三次,取比重最多的比对结果,提高器官分析的准确性,在ai扩图的时候,基于深度学习和神经网络的图像超分辨率算法,构建训练神经网络模型,将待扩大的抓拍图片输入到模型中,由此推理生成高分辨率的完整图像,若干抓拍图像生成的完整图像重叠比对,选择概率最大的完整图像,提高位置分析的准确性。
22、3、本发明在医生需要原图进行数据溯源的时候,可以在抓拍储存模块中,按照时间检索数据,功能多样化。
1.一种医用内窥镜图像优化系统,包括抓拍储存模块、大数据库和分析模块,其特征在于:所述分析模块包括纹理构造分析模块、对比模块、ai扩图模块、数据集排列模块和打包输出模块;
2.根据权利要求1所述的一种医用内窥镜图像优化系统,其特征在于:所述抓拍储存模块包括数据传输模块、储存器和时间标定模块,所述数据传输模块用于连接内窥镜设备,模拟rgb、hdmi输入接口,接收内窥镜拍摄的视频和抓拍图像,并转化输出8bit的数字图像数据流,所述储存器用于储存8bit的数字图像数据流,并以原图形式对抓拍图像进行储存。
3.根据权利要求2所述的一种医用内窥镜图像优化系统,其特征在于:所述时间标定模块内置于储存器,用于对储存器中的抓拍图像视频进行时间戳标定,并提供按照时间检索的功能。
4.根据权利要求3所述的一种医用内窥镜图像优化系统,其特征在于:所述大数据库包括nosql数据库和搜索引擎,所述nosql数据库接入医院和相关部门数据网站,采集内窥镜所需拍摄的内脏器官影像及其相应器官的纹理构造矢量数据,所述nosql数据库为mongodb,其作为非关系型数据库,反应数据间的关系,用于数据交互,所述nosql数据库具有hash加密模块,防止数据被盗取,所述搜索引擎利用elasticsearch搜索服务器构建分布式的多用户全文搜索引擎,利用elk技术,实现人机交互在线检索。
5.根据权利要求4所述的一种医用内窥镜图像优化系统,其特征在于:所述纹理构造分析模块包括图像处理模块和矢量数据提取模块,所述图像处理模块用于对抓拍图像进行处理,对图像分辨率、图像刷新率、图像噪声、图像白平衡、图像亮度、图像红、绿、蓝饱和度进行分析和优化,所述矢量数据提取模块用于提取抓拍图像的纹理特征和构造特征,还原出相应的3d模型,输出为特征矢量数据。
6.根据权利要求5所述的一种医用内窥镜图像优化系统,其特征在于:所述对比模块接入纹理构造分析模块和大数据库,采用卷积神经网络将纹理构造分析模块分析出的特征矢量数据与大数据库中的纹理构造矢量数据比对学习,每张图片至少比对三次,取比重最多的比对结果,确定每张抓拍图片所代表的内脏器官,进行标记。
7.根据权利要求6所述的一种医用内窥镜图像优化系统,其特征在于:所述ai扩图模块包括算法模块和排序模块,所述算法模块基于深度学习和神经网络的图像超分辨率算法,根据大数据库中的内脏器官影像训练神经网络模型,该模型用于截取其中局部图像来预测出高分辨率的完整图像,接着将待扩大的抓拍图片输入到已经训练好的神经网络模型中,通过神经网络的推理过程,生成高分辨率的完整图像,所述排序模块在代表相应内脏器官的若干抓拍图像中,将若干抓拍图像生成的完整图像进行重叠比对,选择概率最大的完整图像,确定每张抓拍图像在该内脏器官中的相应位置,按照位置将若干抓拍图像排序在完整图像中。
8.根据权利要求7所述的一种医用内窥镜图像优化系统,其特征在于:所述数据集排列模块包括主集模块和子集模块,所述主集模块接入对比模块,将所有抓拍的图像按照所对应的内脏器官进行分类,集合为多个主集,所述子集模块接入ai扩图模块,将每个主集中,若干抓拍图像在完整图像中的排序集合为子集,所述打包输出模块用于将主集和子集打包为hdmi信号,输出至显示设备。
9.一种医用内窥镜图像优化方法,应用上述权利要求8所述的一种医用内窥镜图像优化系统,其特征在于,包括以下步骤:
10.根据权利要求9所述的一种医用内窥镜图像优化方法,其特征在于:所述s2中,在医生需要原图进行数据溯源的时候,在抓拍储存模块中,按照时间检索数据。
