1.本发明涉及医学图像识别领域，尤其涉及一种常规超声和超声造影图像乳腺肿瘤识别方法及装置。
背景技术：2.医学图像(例如，超声影像、超声造影图像等)是医学领域一类重要数据，在病理研究等方面有举足轻重的作用。利用人工智能技术对医学图像进行智能、自动分析，对提升医疗效率、提升分析结果准确性等方面有重要意义，将为医疗信息化、智能化建设提供有力保障。
3.但是，目前医学图像的乳腺肿瘤识别任务中，使用常规超声图像、超声造影图像进行乳腺肿瘤识别的相关研究较少。
技术实现要素：4.本发明的目的是提供一种常规超声和超声造影图像乳腺肿瘤识别方法及装置，可以基于双路卷积神经网络，准确实现常规超声和超声造影图像乳腺肿瘤识别任务。
5.本发明的目的是通过以下技术方案实现的：
6.一种常规超声和超声造影图像乳腺肿瘤识别方法，包括：
7.将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本，收集若干组经过标注的样本，构成训练样本集；
8.构建识别网络模型，并使用所述训练样本集进行训练；所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练；
9.将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别网络模型，获得识别结果。
10.一种常规超声和超声造影图像乳腺肿瘤识别装置，包括：
11.训练样本集构造单元，用于将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本，收集若干组经过标注的样本，构成训练样本集；
12.模型构建与训练单元，用于构建识别网络模型，并使用所述训练样本集进行训练；所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练；
13.识别单元，用于将待识别的包含配套的超声图像和对应的和超声造影视频图像输
入至训练后的识别网络模型，获得识别结果。
14.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
15.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
16.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
17.由上述本发明提供的技术方案可以看出，一方面，通过双路卷积神经网络(双路深度卷积神经网络)分别处理二维信息和三维信息，并对处理获得的两类特征进行融合，从而获得更高层次的特征表达，有利于提升识别结果的准确性；并且，利用双路卷积神经网络提取到的互补特征，增强了卷积神经网络的拟合能力和提取特征表达的性能，使得网络模型具有较强的泛化能力。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
19.图1为本发明实施例提供的一种常规超声和超声造影图像乳腺肿瘤识别方法的流程图；
20.图2为本发明实施例提供的识别网络模型的工作流程图；
21.图3为本发明实施例提供的二维卷积网络的结构示意图；
22.图4为本发明实施例提供的三维卷积网络的结构示意图；
23.图5为本发明实施例提供的一种常规超声和超声造影图像乳腺肿瘤识别装置的示意图；
24.图6为本发明实施例提供的一种处理设备的示意图。
具体实施方式
25.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
26.首先对本文中可能使用的术语进行如下说明：
27.术语“和/或”是表示两者任一或两者同时均可实现，例如，x和/或y表示既包括“x”或“y”的情况也包括“x和y”的三种情况。
28.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
29.术语“由
……
组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
30.除另有明确的规定或限定外，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如：可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
31.下面对本发明所提供的常规超声和超声造影图像乳腺肿瘤识别方案进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
32.实施例一
33.本发明实施例提供一种常规超声和超声造影图像乳腺肿瘤识别方法，如图1所示，其主要包括如下步骤：
34.步骤1、收集若干组经过标注的样本，构成训练样本集。
35.本发明实施例中，将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本，也就是说一组样本中的两类图像是对应的数据，且都包含乳腺肿瘤。在实际应用中可以从网络或者历史数据库中收集样本，并进行统一的编号命名。
36.所述样本均为包含标注的样本，一般来说样本可以使用人工标注或者机器标注。所述人工标注是指由专家对图像进行标注，例如，可以通过由两名具有五年以上超声诊断工作经验的医师分别对乳腺目标肿瘤的超声图像及超声造影视频图像进行手动分割，以及对肿瘤类别进行标注。手动分割的过程如下：首先由一名医师进行roi(感兴趣区域)勾画，然后另一名医师对所勾画roi进行审核，意见不统一时由两名医师共同商讨决定勾画范围。每个肿瘤包含三个切面超声图像，对所有图像roi进行边缘勾画，包括肿瘤周边高回声晕环。超声造影视频图像的是视频数据，首先利用超声造影视频后处理软件选取肿瘤内强化均匀区域绘制tic曲线(time-intensity-curve，时间强度曲线)，对峰值强度出现时所对应的图像进行roi勾画，然后利用计算机算法对其进行跟踪处理，完成视频内每秒1帧图像的roi勾画。机器标注是指通过人工标注样本训练得到初步模型后，可以用初步模型自动识别一些未标注样本，并进行标注。
37.步骤2、构建识别网络模型，并使用所述训练样本集进行训练。
38.本发明实施例中，所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，可以实现乳腺肿瘤良恶性及分子亚型识别。
39.优选的，为了保障二维特征提取效果，所述识别网络模型还包括图像预处理模块，其输入为超声图像，对输入的超声图像进行尺度校准并去除伪影后输入至所述二维卷积网络。
40.本发明实施例中，由图像预处理模块与二维卷积网络构成第一支路，用来对超声图像进行处理，构成超声图像的二维特征提取渠道。由三维卷积网络构成第二支路，用来对于超声造影视频图像进行三维特征的提取，以此增加特征提取的多样性，通过二维与三维特征的融合，实现更高层次的特征表达，由于三维特征包含了时间维度信息，因此，在二维特征的基础上增加时间维度信息，可以提高针对乳腺肿瘤的识别准确率。识别网络模型采用单分类器分类，无需考虑多分类器件的权衡问题，利用双路卷积神经网络提取到的互补特征，增强了卷积神经网络的拟合能力和提取特征表达的性能，使得网络具有较强的泛化能力。
41.本发明实施例中，三维特征与二维特征均为张量形式，所述特征融合模块对两类特征进行特征融合时，先将三维特征张量经过降维，得到二维特征张量尺寸相同的张量，再进行拼接，获得拼接后的二维特征张量，再通过依次设置的若干卷积层进行卷积处理，完成特征融合。
42.本发明实施例中，分类器输出的预测结果包括肿瘤位置与类别。示例性的，类别可以设置为良性、恶性两大类，其中恶性又可以细分为luminal a型、luminal b型、her过表达型、三阴型4种分子亚型，最终类别可以设置为以上5类。本发明实施例中，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练，具体的损失函数包含两部分，第一部分为定位损失，即预测结果中肿瘤位置与标注中肿瘤位置的损失；第二部分为分类损失，即预测结果中肿瘤类别与标注中肿瘤类别的损失；用户可以根据实际情况选择所需的损失函数类别(例如，使用后文提供的相关预训练模型中的损失函数)，再通过反向传播更新网络参数，直到损失函数收敛，考虑到此部分可通过常规技术实现，因此，不做赘述。
43.本发明实施例中，引入了迁移学习的方式，即训练起始阶段，将已经在其他类别的大规模数据集上训练的模型中主干网络部分取出，作为预训练模型，这种方法可以加速模型训练，示例性的，所述二维卷积网络可以选择预先训练的yolov3模型，三维卷积网络可以选择与预先训练的c3d模型，识别网络模型的工作流程图如图2所示，为了提升样本多样性，可以对训练样本集进行数据增强，即对每一组样本中的两类图像进行一定程度的变换(如水平翻转、扭曲、旋转、切割等单个操作或多个操作的组合)，同时对标注数据进行相应的变换，再利用增强后的训练样本集进行网络训练；在具体训练过程中，对预先训练的两个网络的参数进行微调(即不进行参数初始化，而是直接在预训练获得的网络参数的基础上进行网络参数的更新)，通过利用数据增强和迁移学习方法，有效避免了深度卷积神经网络受样本量限制时易出现的过拟合问题，从而获得更好的特征提取效果。
44.二维卷积网络的结构如图3所示，主要包括：七部分卷积模块、五部分残差卷积模块、两个拼接模块以及三个张量解码模块；其中：
45.第一部分卷积模块与五部分残差卷积模块依次连接，第一部分卷积模块的输入为所述二维卷积网络的输入；
46.第三部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，最后一个残差卷积模块包含两个输出，第一输出连接第四部分残差卷积模块的输入，第二输出、第一拼接模块、第二部分卷积模块、第三部分卷积模块以及第一张量解码模块依次连接；
47.第四部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，第一个残差
卷积模块的输入为第四部分残差卷积模块的输入，最后一个残差卷积模块包含两个输出，第一输出连接第五部分残差卷积模块的输入，第二输出、第二拼接模块、第四部分卷积模块、第五部分卷积模块以及第二张量解码模块依次连接；第四部分卷积模块的输出还连接所述第一拼接模块；
48.第五部分残差卷积模块、第六部分卷积模块、第七部分卷积模块以及第三张量解码模块依次连接；第五部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，第一个残差卷积模块的输入为第五部分残差卷积模块的输入，最后一个残差卷积模块的输出为第五部分残差卷积模块的输出；
49.将三个张量解码模块的输出结果融合在一起作为二维卷积网络的输出。
50.图2中a*a*b的a*a表示尺寸，b表示通道数，例如，608*608*3表示输入图像的尺寸是608*608(即宽度与高度均为608)，3为通道数。图2中的
×
c表示相应模块的堆叠数目为c，例如，第二类残差卷积模块末尾的
×
2表示堆叠数目为2个，当然，图2中所涉及的各个具体数值均为举例，并非构成限制，在实际应用中，用户可根据需要进行设定。
51.此外，残差卷积模块与卷积模块均为现有模块，故不做赘述。
52.三维卷积网络的结构如图4所示，主要包括：多个三维卷积层、多个池化层与多个全连接层；其中，三维卷积层与池化层数量相同，三维卷积层与池化层交替设置，所有全连接层依次设置，第一个三维卷积层的输入为所述三维卷积网络的输入，最后一个池化层与第一个全连接层连接，最后一个全连接层的输出为所述三维卷积网络的输出。
53.图4中提供了三维卷积层与池化层的数量为5，全连接层为2的示例；图4中，d*e*f*f中，d表示图像数目，e表示通道数目，f
×
f表示尺寸，例如，16*3*608*608代表了16张608宽608高的3通道图像；全连接层部分的数值表示一维向量的长度，例如4096表示全连接层输出的长度为4096的一维向量。
54.步骤3、将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别网络模型，获得识别结果。
55.此流程与前述训练流程类似，将超声图像和对应的和超声造影视频图像输入至图2所示的识别网络模型，通过双路卷积网络提取二维特征与三维特征后进行特征融合与分类，获得肿瘤位置与类别。
56.本发明实施例上述方案，主要获得如下优点：
57.(1)使用双路卷积网络(双路深度卷积神经网络)进行乳腺肿瘤鉴别，与基于颜色、纹理等特征的传统识别方法相比，识别结果更加准确，双路卷积网络实现了二维信息和三维信息的通化融合，进一步提高了识别准确率。
58.(2)在训练过程中使用图像样本预处理技术，利用数据增强和迁移学习方法，有效避免了训练的过拟合问题，提高了鉴别网络的泛化能力。
59.(3)使用三维卷积网络可以提取超声造影视频图像的动态信息特征，在二维图像信息的基础上增加了时间维度信息，提高了针对乳腺肿瘤的识别准确率。
60.实施例二
61.本发明还提供一种常规超声和超声造影图像乳腺肿瘤识别装置，其主要基于前述实施例提供的方法实现，如图5所示，该装置主要包括：
62.训练样本集构造单元，用于将配套的包含乳腺肿瘤的超声图像和对应的和超声造
影视频图像作为一组样本，收集若干组经过标注的样本，构成训练样本集；
63.模型构建与训练单元，用于构建识别网络模型，并使用所述训练样本集进行训练；所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练；
64.识别单元，用于将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别网络模型，获得识别结果。
65.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
66.实施例三
67.本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
68.进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
69.本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
70.输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
71.输出设备可以为显示终端；
72.存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
73.实施例四
74.本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
75.本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
76.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
技术特征：1.一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，包括：将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本，收集若干组经过标注的样本，构成训练样本集；构建识别网络模型，并使用所述训练样本集进行训练；所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练；将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别网络模型，获得识别结果。2.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，所述识别网络模型还包括图像预处理模块，其输入为超声图像，对输入的超声图像进行尺度校准并去除伪影后输入至所述二维卷积网络。3.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，该方法还包括：对所述训练样本集进行数据增强，即对每一组样本中的两类图像进行变换，同时对标注数据进行相应的变换，再利用增强后的训练样本集对所述识别网络模型进行训练；其中，变换包括水平翻转、扭曲、旋转、切割中的单个操作或多个操作的组合。4.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，结合所述预测结果与样本对应的标注计算损失函数包括：所述预测结果与样本对应的标注均包含两类信息，一类为肿瘤类别，另一类为种类位置；计算损失函数包含两部分，第一部分为定位损失，即预测结果中肿瘤位置与标注中肿瘤位置的损失；第二部分为分类损失，即预测结果中肿瘤类别与标注中肿瘤类别的损失。5.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，该方法还包括：引入迁移学习的方式，即所述二维卷积网络与三维卷积网络均使用预训练模型，训练时，对预训练模型的参数进行微调。6.根据权利要求1或5所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，所述二维卷积网络包括：七部分卷积模块、五部分残差卷积模块、两个拼接模块以及三个张量解码模块；其中：第一部分卷积模块与五部分残差卷积模块依次连接，第一部分卷积模块的输入为所述二维卷积网络的输入；第三部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，最后一个残差卷积模块包含两个输出，第一输出连接第四部分残差卷积模块的输入，第二输出、第一拼接模块、第二部分卷积模块、第三部分卷积模块以及第一张量解码模块依次连接；第四部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，第一个残差卷积模块的输入为第四部分残差卷积模块的输入，最后一个残差卷积模块包含两个输出，第一输出连接第五部分残差卷积模块的输入，第二输出、第二拼接模块、第四部分卷积模块、第五部分卷积模块以及第二张量解码模块依次连接；第四部分卷积模块的输出还连接所述第一拼接模块；
第五部分残差卷积模块、第六部分卷积模块、第七部分卷积模块以及第三张量解码模块依次连接；第五部分残差卷积模块中残差卷积模块的数目为多个，且依次连接，第一个残差卷积模块的输入为第五部分残差卷积模块的输入，最后一个残差卷积模块的输出为第五部分残差卷积模块的输出；将三个张量解码模块的输出结果融合在一起作为二维卷积网络的输出。7.根据权利要求1或5所述的一种常规超声和超声造影图像乳腺肿瘤识别方法，其特征在于，所述三维卷积网络包括：多个三维卷积层、多个池化层与多个全连接层；其中，三维卷积层与池化层数量相同，三维卷积层与池化层交替设置，所有全连接层依次设置，第一个三维卷积层的输入为所述三维卷积网络的输入，最后一个池化层与第一个全连接层连接，最后一个全连接层的输出为所述三维卷积网络的输出。8.一种常规超声和超声造影图像乳腺肿瘤识别装置，其特征在于，基于权利要求1～7任一项所述方法实现，系统包括：训练样本集构造单元，用于将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本，收集若干组经过标注的样本，构成训练样本集；模型构建与训练单元，用于构建识别网络模型，并使用所述训练样本集进行训练；所述识别网络模型包括：二维卷积网络、三维卷积网络、特征融合模块与分类器，每一组样本中的超声图像输入至二维卷积网络，超声造影视频图像输入至三维卷积网络，二维卷积网络与三维卷积网络输出的二维特征与三维特征经所述特征融合模块融合后由所述分类器输出预测结果，结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进行训练；识别单元，用于将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别网络模型，获得识别结果。9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
技术总结本发明公开了一种常规超声和超声造影图像乳腺肿瘤识别方法及装置，一方面，通过双路卷积神经网络(双路深度卷积神经网络)分别处理二维信息和三维信息，并对处理获得的两类特征进行融合，从而获得更高层次的特征表达，有利于提升识别结果的准确性；并且，利用双路卷积神经网络提取到的互补特征，增强了卷积神经网络的拟合能力和提取特征表达的性能，使得网络模型具有较强的泛化能力。络模型具有较强的泛化能力。络模型具有较强的泛化能力。
技术研发人员：李林 王雪 杜欢 李阳 孙医学 祝子祎 都晓英 解郑 张盼盼 张艳 张顺花 胡阳慧 刘德顺 沈东
受保护的技术使用者：蚌埠医学院第一附属医院
技术研发日：2022.09.26
技术公布日：2022/12/16
