本申请涉及超声图像分析技术领域，特别是涉及一种医学超声图像辅助诊断系统自动更新的方法，还涉及一种医学超声图像辅助诊断自动更新的系统。
背景技术：
超声波检查(us检查)是利用人体对超声波的反射进行观察。一般称为us的超声波检查，是用弱超声波照射到身体上，将组织的反射波进行图像化处理。相关技术中，超声检查已成为一种重要且无创性显示人体脏器结构和运动功能的检测方法。医用超声设备造价低廉，在各级医院和体检中心均有使用。超声检查费用低廉，已成为多种疾病早期筛查诊断的重要手段。
在整个医学图像领域，利用计算机进行辅助诊断的技术较多，例如：cn109222859a一种带有ai辅助诊断功能的智能内窥镜影像系统，其构建了一套内窥镜系统，能够将图像传递给计算机进行智能分析，并将分析返回给内窥镜系统供医生参考。目前，专门应用于超声检查场景的辅助诊断技术较少。例如：专利cn206365899u一种超声辅助诊断系统，其并不是采用计算机技术进行辅助诊断，而是描述了一套装置用于减轻医生的劳动强度，辅助医生进行诊断。
当前，医疗辅助诊断系统或设备根据检查情况给出相应的诊断结果，医生参考辅助诊断系统给出的综合诊断结果，得出自己的诊断结论。有可能医疗辅助诊断系统得出的结论与患者的实际情况相符合，结论一致；也存在医疗辅助诊断系统得出的结论偏离了患者的实际情况，结论不一致，不能有效的提高诊断效率和准确性。
技术实现要素：
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种医学超声图像辅助诊断系统自动更新的方法及系统，本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
根据本申请实施例的第一方面，提供一种医学超声图像辅助诊断系统自动更新的方法，包括如下步骤：
医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
获取修正信息和对应的原始病灶图像；
根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
进一步的，医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
进一步的，还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
进一步的，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
根据本申请实施例的第二方面，提供一种医学超声图像辅助诊断自动更新的系统，该系统用于实现上述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
进一步的，所述医学超声图像辅助诊断系统中，从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
进一步的，需要对提取的关键帧进行结节性质判断，包括如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。
本申请的实施例提供的技术方案可以包括以下有益效果：本发明中系统将医生给出的修正信息和对应的原始图像发送到模型更新服务器，该服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练。训练结束后将新训练出的模型下发到病灶检测设备和综合诊断设备，新的扫描使用更新后的模型进行计算。系统形成一个模型持续更新的闭环。本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本发明医学超声图像辅助诊断系统自动更新的方法的流程图；
图2是本发明医学超声图像中结节检测方法的流程图；
图3是本发明关键帧提取方法的流程图；
图4是本发明关键帧结节性质判断步骤的流程图；
图5是本发明医学超声图像辅助诊断自动更新的系统结构示意图之一；
图6是本发明医学超声图像辅助诊断自动更新的系统结构示意图之二；
图7是本发明特征向量结构示意图之一；
图8是本发明特征向量结构示意图之二。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的医学超声图像辅助诊断系统自动更新的方法的流程图，如图1所示，一种医学超声图像辅助诊断系统自动更新的方法，包括如下步骤：
步骤s1、医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
步骤s2、获取修正信息和对应的原始病灶图像；
步骤s3、根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
步骤s4、医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
如图2所示，医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；本诊断系统包括结节检测模块，所述结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
如图3所示，本实施例医学超声图像辅助诊断系统中还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
如图4所示，本实施例医学超声图像辅助诊断系统中需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
本实施例中，需要补充说明的是，在诊断阶段，系统得出了以下有意义的诊断结果：
1)提取到了一个或多个结节，针对每一个结节，都有一个针对这个结节的关键帧图像；
2)所有结节都以外接举行的形式标注了结节位置；
3)针对每一个结节，模型都给出了性质判断结果；
4)综合所有来源于图像的结节特征和患者本身的基本信息，模型给出的最终辅助诊断结论。
基于上述诊断结果，医生可全部采纳、部分采纳或不予采纳并形成自己的诊断结论。为此在本实施例中医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
第一步、若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
第二步、若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
另一方面，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
第三步、对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
第一步和第二步得出的纠正信息可以用于重新训练并更新结节提取模型。第三步得出的纠正信息可以用于重新训练并更新结节分类模型。第四步得出的纠正信息可以用于重新训练并更新基于所有信息的最终诊断模型。
根据本申请实施例的第二方面，提供一种医学超声图像辅助诊断自动更新的系统，如图5所示，该系统用于实现上述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像(修正信息对应图像)；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的辅助诊断报告。
本实施例提供的医学超声图像辅助诊断自动更新的系统中，医学超声图像中结节检测方法、括关键帧提取方法和关键帧结节性质判断步骤。在上述方法步骤以及详述，将其引用在此，不做赘述。
请参阅图6所述，本实施例中医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
需要补充说明的是，模型更新服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练，这里的一定数量，比如接收到至少1个修正数据后启动微调训练，可以根据实际情况设定5个、10个或者100个均可，在此不做限制。当然也可以根据时间段启动微调训练，比如设定为非工作时间进行微调训练。新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。如此的反馈捕捉流程，获取医生给出的修正信息，模型才能得到不断的更新，辅助诊断的准确率才能得到不断的提高。
如图7所示，本发明发明部分和系统部分中，需要补充说明的是，对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；
对于多个病灶的情况，比如针对病灶1通过分析得到病灶1的图像分析结构、针对病灶n通过分析得到病灶n的图像分析结构。本实施例中还包括结构化数据模块，用于得到患者结构化数据的特征向量；结构化数据包括患者的身高、体重、性别、病史、化验结果等。利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的图形特征向量均值和图形特征向量标准差与结构化特征向量串联，得到针对患者的综合数据分析结论。
如图8所示，需要补充说明的是，在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：
对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；灰度图为二维，长×宽。彩色图为三维，长×宽×色彩通道，每个像素点的值为整形，是该像素点的灰度值或色彩值，例如rgb值。
图像数据进过预处理后输入模型，模型包括特征提取与变换部分、图像特征向量部分和求解器部分；
所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分利用超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；
利用求解器部分(分类求解器或回归求解器)，以图像特征向量为输入，得到最后的输出结果。图像特征向量是模型生产的重要中间变量，其质量直接决定了最终输出的质量。
本发明中系统将医生给出的修正信息和对应的原始图像发送到模型更新服务器，该服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练。训练结束后将新训练出的模型下发到病灶检测设备和综合诊断设备，新的扫描使用更新后的模型进行计算。系统形成一个模型持续更新的闭环。本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种医学超声图像辅助诊断系统自动更新的方法，其特征在于：包括如下步骤：
医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
获取修正信息和对应的原始病灶图像；
根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
2.根据权利要求2所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
3.根据权利要求3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
4.根据权利要求3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
5.根据权利要求2或3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
6.根据权利要求4所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
7.一种医学超声图像辅助诊断自动更新的系统，其特征在于：该系统用于实现权利要求1至6任一项所述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
8.根据权利要求7所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：所述医学超声图像辅助诊断系统中，从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
9.根据权利要求7所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：需要对提取的关键帧进行结节性质判断，包括如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
10.根据权利要求8所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。
技术总结