本发明涉及超声图像模拟的技术领域，尤其涉及一种利用生成对抗网络的三维超声模拟方法，还涉及一种利用生成对抗网络的三维超声模拟装置。
背景技术：
超声(us)图像和磁共振(mr)图像在各种医学病例中都很重要，应用广泛，如：头部缺损和肿瘤定位，肝脏急慢性变化检测，其它脏器手术导航等。超声扫描仪由于其实时性和无创成像等特点，在临床手术中得到了广泛的应用，然而超声图像的质量相对mr图像来说较低。磁共振图像是一种安全的成像协议，当用于临床诊断时，它能够提供比超声图像更多的解剖细节，但不幸的是它不是实时成像的。
为了使影像引导手术成为可能，通常需要将术前mr和术中us图像对齐。mr和us图像配准的一种方法是将mr图像合成us图像，然后和真实us图像进行配准。另外，由于同时获得超声图像和磁共振图像在实际中是很困难的，所以将磁共振图像合成超声图像是获取数据和扩展数据的一种方式。图像合成定义为一个可能的非线性生成强度转换过程，该模型应用于给定一组输入模态图像，生成一个新的模态图像。图像合成可以应用在很多临床试验中，例如，在超声图像导航过程中，术前将超声图像和高质量的磁共振图像进行配准融合是很重要的。然而，直接将磁共振图像和超声图像进行配准在技术上是很困难的，因为磁共振和超声图像之间的外观都可能发生剧烈的变化。一种方法是从磁共振图像中模拟或合成超声图像，然后将合成的超声图像和对应的超声图像进行配准，完成最终的图像融合工作。然而，这两种模态图像有很大的不同，磁共振图像比超声图像包含更丰富的纹理信息等，这些问题都使这一合成工作具有挑战性。
目前有许多关于从一种模态图像合成另一个模态图像的相关报道，如：从mr图像合成ct图像，从ct图像合成pet图像。这些方法主要分为以下三类。第一类方法是基于分割的方法，zaidi等人将密度和组成成分明显不同的组织分为不同的组织类别，然后手动细化分割。然而，这些方法在很大程度上依赖分割的准确性，并且往往需要手动操作才能得到最终的准确结果。第二类方法是基于图谱配准的方法，这些方法首先将所有的图谱配准到一个新的对象图像，使用所得的形变场将图谱的相应对象图像包装到新的空间，然后可以将通过融合图谱的主观图像来合成对象图像。fuerst等人首先将ct或mr图像模拟生成us图像，然后提出了利用线性组合的线性相关相似性度量来实现mr或ct图像与us图像的自动配准算法。该方法的高计算负担使其不能应用于实时的手术导航。同时，缺失肿瘤切除区域的解剖对应关系，采用直接自由形变的配准方法可能会导致切除前后配准不稳定性。然而，上述方法的性能在很大程度上取决于配准的精度，而且可能会耗费大量的配准时间。第三类是基于学习的方法，这些方法学习的是同一部位一种模态到另一种模态的复杂映射关系。为了解决系数学习方法中计算量大的问题，tri等人采用结构化随机森林直接预测一个ct的小块作为结构化输出，同时采用新的自上下文模型来保证预测的鲁棒性。vemulapalli等人提出了一种无监督方法来同时最大化全局互信息代价函数和局部空间一致性代价函数。由于从mr到us的合成不是一对一的映射任务，只使用强度值不能有效地区分结构细节，上述提到的方法的性能在很大程度上取决于所提出特征的质量以及这些特征在多大程度上代表了目标模态图像的自然属性。
近年来，基于深度学习的方法在跨模态医学图像合成领域得到了巨大的普及并取得了良好的效果。在这些工作中，不同的卷积神经网络(cnn)结构被用来学习从一种模态到另外一种模态的端到端的非线性映射。nie等人提出利用对抗训练策略和在上下文模型中嵌入图像梯度损失函数来从mr图像中合成ct图像。avi等人提出将全卷积网络(fcn)和条件生成对抗网络(cgan)相结合，从给定的输入ct图像生成合成pet图像。bi等人提出基于人工标注肺肿瘤的多通道生成对抗网络(mgan)从ct数据中合成pet数据。虽然这些方法可以生成良好的合成图像，但它们依赖于大量的成对图像，这些图像在实践中是很难获得的。为了放宽对成对数据的要求，wolterink等人提出了cyclegan模型，对非成对的mr到ct图像进行合成。在模型训练过程中，在mr到ct和ct到mr合成的过程中明确规定了循环一致性。然而，由于合成图像和输入图像之间缺乏直接的约束，cyclegan不能保证两个图像之间的结构一致性。上面所提到的方法都是用gans来完成合成工作，但它们只是在gan网络中加入了一些传统的方法，并没有解决gan训练困难的事情。gan的稳定性是首先需要考虑的问题。另外，目前还没有人做过利用深度学习进行核磁图像到超声图像的转换问题。
技术实现要素：
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种利用生成对抗网络的三维超声模拟方法，其基于三维自适应实例归一化层的生成对抗式网络来学习mr到us的非线性映射，并将该技术应用于超声图像模拟中来，生成模拟的三维超声图像与真实超声图像高度拟真。
本发明的技术方案是：这种利用生成对抗网络的三维超声模拟方法，其包括以下步骤：
(1)将磁共振mr图像和超声us图像同时输入基于谱正则化的最小二乘生成对抗网络中的生成器中的编码器中；
(2)将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像的特征的均值和方差与us图像特征的均值和方差保持一致；
(3)在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
(4)将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
(5)构建谱正则化的最小二乘生成对抗式网络。
本发明通过将磁共振mr图像和超声us图像同时输入基于谱正则化的最小二乘生成式对抗网络中的生成器中的编码器中，将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像特征的均值和方差与us图像特征的均值和方差保持一致，在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块，将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数，构建谱正则化的最小二乘生成对抗式网络，从而能够基于三维自适应实例归一化层的生成对抗式网络来学习mr到us的非线性映射，并将该技术应用于超声图像模拟中来，生成模拟的三维超声图像与真实超声图像高度拟真。
还提供了一种利用生成对抗网络的三维超声模拟装置，其包括：
图像输入模块，其配置来将mr图像和us图像同时输入基于谱正则化的最小二乘生成式对抗网络中的生成器中的编码器中；
嵌入模块，其配置来将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像特征的均值和方差与us图像特征的均值和方差保持一致；
网络架构设计模块，其配置来在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
损失函数构建模块，其配置来将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
网络构建模块，其配准来构建谱正则化的最小二乘生成对抗式网络。
附图说明
图1是根据本发明的利用生成对抗网络的三维超声模拟方法的流程图。
图2是根据本发明的利用生成对抗网络的三维超声模拟方法的一个实施例的流程示意图。
图3是根据本发明实施的生成器中的编码器和解码器的具体网络架构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
如图1所示，这种利用生成对抗网络的三维超声模拟方法，其包括以下步骤：
(1)将磁共振mr图像和超声us图像同时输入基于谱正则化的最小二乘生成对抗网络中的生成器中的编码器中；
(2)将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像的特征的均值与方差与us图像特征的均值和方差保持一致；
(3)在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
(4)将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
(5)构建谱正则化的最小二乘生成对抗式网络。
本发明通过将磁共振mr图像和超声us图像同时输入基于谱正则化的最小二乘生成式对抗网络中的生成器中的编码器中，将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像的特征的均值与方差与us图像特征的均值和方差保持一致，在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块，将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数，构建谱正则化的最小二乘生成对抗式网络，从而能够基于三维自适应实例归一化层的生成对抗式网络来学习mr到us的非线性映射，并将该技术应用于超声图像模拟中来，生成模拟的三维超声图像与真实超声图像高度拟真。
优选地，所述步骤(2)中，三维自适应实例归一化层定义为公式(1)：
其中，μ(imr)和σ(imr)分别是磁共振mr图像平均值和标准偏差，用σ(imr)来对输入us图像ius进行简单的尺度归一化，用μ(imr)对其进行平移，这些统计数据都是跨空间位置进行计算的。
优选地，所述步骤(2)中，三维自适应实例归一化层通过传递通道均值和方差特征统计量来实现特征空间的模态转移；利用前馈的解码器将模态特征转化到输出图像空间，该特征通道的方差编码更多的模态信息，并将其传输到三维自适应实例归一化层输出和最终生成的图像中。
优选地，所述步骤(3)中，res-u-net网络架构的模态转移网络以一个mr图像imr和一个模态us图像ius作为输入，合成一个图像g(imr)，该图像结合了前者的内容信息和后者的模态信息；这两个输入图像传递到一个特征编码模块，其中带有瓶颈的残差块被用来替换原始u-net编码器中的块。
优选地，所述步骤(3)中，残差块连接两个3×3×3的卷积层和一个额外的1×1×1卷积层；将两幅图像编码到特征空间后，将两个特征映射都输入到3dadain层中，该层将输入特征映射的均值和方差与模态特征映射的均值和方差对齐，生成目标特征映射t；然后将t输入特征解码模块，最后将其映射回图像空间；解码器是编码器的镜像，在解码块中添加两个dropout层，以防止训练过程中过拟合。
优选地，所述步骤(3)中，来自等分辨率的跳跃连接为生成器g提供一种绕过信息瓶颈的方法，在训练网络过程中，为了平衡生成器和判别器两者训练速度，对生成器和判别器设置不同的学习率。
优选地，所述步骤(4)中，
生成器的输出图像g(imr)再次通过编码器(e)，并且与经过编码器的输入mr图像imr在潜在空间进行比较；通过测量潜在空间中输入图像imr和生成图像g(imr)内容上的相似性，仅仅关注与模态相关的细节信息。由于编码器的训练与解码器的训练相结合，解码器产生特定模态的图像，因此输入图像imr产生的潜在向量z看作是其模态相关的内容的表示，该潜在的空间表示形式在训练过程中不断发生变化，从而最终适应模态图像ius的表示；模态感知内容损失的定义为公式(2)：
其中，d表示潜在空间的维数，模态感知内容损失计算imr和g(imr)之间的标准化平方欧式距离；在上面的方程式中，e和g耦合在一起进行训练，e根据g进行调整，e是一个自适应的内容编码器；
特征匹配损失比较的是判别器中间层的激活映射，特征匹配损失通过定义判别器的激活映射之间的距离度量来惩罚生成图像g(imr)与真实图像ius不相似性，特征匹配损失定义为公式(3)：
其中，l为判别器最后一层卷积层，ni是第i层激活层的元素个数，
谱正则化的对抗损失为公式(4)：
其中，dsn表示谱归一化后的判别器，gsr表示谱正则化后的生成器，g是输入图像imr的模态合成网络；
整体损失函数为公式(5)：
l＝λclc λflf λadvladv(5)
其中，λc,λf和λadv分别为权重参数。
优选地，所述步骤(4)中，采用最小二乘生成对抗式网络上施加谱正则化，
基于lsgan模型的目标函数定义为公式(6)：
其中，imr是输入mr图像，ius是输入模态us图像，g(imr,ius)是生成的us图像。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种利用生成对抗网络的三维超声模拟装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
图像输入模块，其配置来将mr图像和us图像同时输入基于谱正则化的最小二乘生成式对抗网络中的生成器中的编码器中；
嵌入模块，其配置来将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像的特征的均值与方差与us图像特征的均值和方差保持一致；
网络架构设计模块，其配置来在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
损失函数构建模块，其配置来将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
网络构建模块，其配准来构建谱正则化的最小二乘生成对抗式网络。
以下更详细地说明本发明。
本发明采用一个编码-解码的网络架构，利用一个设计好的编码器来提取输入的mr图像和模态us图像的特征。利用三维自适应实例归一化层在特征空间中进行模态转移。然后学习一个对称的编码器网络，通过将三维自适应实例归一化层的输出转换回图像空间来生成最终的输出图像。生成器g从输入的mr图像中产生输出的模态us图像。采用标准的对抗性判别器d对生成的us图像g(imr)和真实的us图像进行判别。此外，利用判别器来计算特征匹配损失，利用编码器来计算模态感知的内容损失。
三维自适应实例归一化层定义如下：
其中，μ(imr)和σ(imr)分别是输入mr图像的平均值和标准偏差。我们用σ(imr)来对输入模态us图像ius进行简单的尺度归一化，用μ(imr)对其进行平移。与in类似，这些统计数据都是跨空间位置进行计算的。
由上述公式可知，三维自适应实例归一化层通过传递通道均值和方差特征统计量来实现特征空间的模态转移。三维自适应实例归一化层产生的输出对模态图像编码生成的特征具有较高的平均激活度，同时还可以保留输入图像的结构信息。然后，利用前馈的解码器将模态特征转化到输出图像空间。该特征通道的方差可以编码更多的模态信息，并将其传输到三维自适应实例归一化层输出和最终生成的图像中。此外，三维自适应实例归一化层和归一化层一样简单，并且不增加计算成本。
提出的网络架构是3dres-u-net的网络架构，模态转移网络以一个mr图像imr和一个模态us图像ius作为输入，合成一个图像g(imr)，该图像结合了前者的内容信息和后者的模态信息。这两个输入图像传递到一个特征编码模块，其中带有瓶颈的残差块被用来替换原始u-net编码器中的块。残差块连接两个3×3×3的卷积层和一个额外的1×1×1卷积层。将两幅图像编码到特征空间后，将两个特征映射都输入到3dadain层中，该层将输入特征映射的均值和方差与模态特征映射的均值和方差对齐，生成目标特征映射t。然后将t输入特征解码模块，将其映射回图像空间。解码器主要是编码器的镜像，在解码块中添加两个dropout层，以防止训练过程中过拟合。此外，来自等分辨率的跳跃连接为生成器g提供了一种绕过信息瓶颈的方法。在训练网络过程中，为了平衡生成器和判别器两者训练速度，可以对生成器和判别器设置不同的学习率。
为了提高重建的质量，提出了一种模态感知内容损失的优化方法，同时网络学习合成图像。生成器的输出图像g(imr)再次通过编码器(e)，并且与经过编码器的输入图像imr进行比较。因此，通过测量潜在空间中输入图像imr和生成图像g(imr)内容上的相似性，仅仅关注与模态相关的细节信息。由于编码器的训练与解码器的训练相结合，解码器产生特定模态的图像，因此输入图像imr产生的潜在向量z可以看作是其模态相关的内容的表示。该潜在的空间表示形式在训练过程中不断发生变化，从而最终适应模态图像ius的表示。因此，模态感知内容损失的定义如下：
其中，d表示潜在空间的维数，模态感知内容损失计算imr和g(imr)之间的标准化平方欧式距离。不同的模式输入不同程度的内容保留，因此使用固定网络测量内容差别违反了这一经验原则。在上面的方程式中，e和g耦合在一起进行训练，e会根据g进行调整，所以e是一个自适应的内容编码器。
接下来，最终损失是特征匹配损失lfm，其类似于测量图像之间感知差异的感知损失。感知损失的激活映射是由利用预先训练好的vgg19网络计算得来的。特征匹配损失比较的是判别器中间层的激活映射，特征匹配损失通过定义判别器的激活映射之间的距离度量来惩罚生成图像g(imr)与真实图像ius不相似性。特征匹配损失定义为：
其中，l为判别器最后一层卷积层，ni是第i层激活层的元素个数，
在生成器上加上了附加约束，明确地解决了谱归一化梯度爆炸的问题。
谱正则化权重w可定义为：
w＝w-max(0,σ0-σclamp)v0u0
其中，σclamp设置为一个固定值σreg，σ0是权重矩阵的最大奇异值，v0和u0为w对应的奇异向量。可以观察到，在g上加上附加约束后能提高训练的稳定性，并能比权重归一化和梯度惩罚更好地提高生成图像的质量。因此，谱正则化的对抗损失可以设计为：
其中，dsn表示谱归一化后的判别器，gsr表示谱正则化后的生成器。g是输入图像imr的模态合成网络。在本文中，选择在mao等人提出的最小二乘生成对抗式网络上施加谱正则化，因为发现与其它形式的gans相比，lsgan生成的图像质量更好，其网络收敛的速度更快。基于lsgan模型的目标函数定义如下：
其中，imr是输入mr图像，ius是输入模态us图像，g(imr,ius)是生成的us图像。
加上谱正则化的对抗损失函数，整体损失函数为：
l＝λclc λflf λadvladv
其中，λc,λf和λadv分别为权重参数。
由此可见，生成对抗式网络的训练过程为：根据生成器的输出结果及对应的真实超声图像得到真实超声图像的模态感知损失函数和特征匹配损失函数；基于谱正则化的生成对抗式网络中生成器和判别器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的内容损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。
通过上述深度网络学习的方法生成对抗式网络，向训练好的对抗式网络的生成器同时输入带有mr和us图像，然后生成模拟的三维超声图像，该模拟超声图像为与真实超声图像的高度拟真的超声图像。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
1.一种利用生成对抗网络的三维超声模拟方法，其特征在于：其包括以下步骤：
(1)将磁共振mr图像和超声us图像同时输入基于谱正则化的最小二乘生成对抗网络中的生成器中的编码器中；
(2)将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像特征的均值和方差与us图像特征的均值和方差保持一致；
(3)在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
(4)将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
(5)构建谱正则化的最小二乘生成对抗式网络。
2.根据权利要求1所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(2)中，三维自适应实例归一化层定义为公式(1)：
其中，μ(imr)和σ(imr)分别是磁共振mr图像平均值和标准偏差，用σ(imr)来对输入超声us图像ius进行简单的尺度归一化，用μ(imr)对其进行平移，这些统计数据都是跨空间位置进行计算的。
3.根据权利要求2所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(2)中，三维自适应实例归一化层通过传递通道均值和方差特征统计量来实现特征空间的模态转移；利用前馈的解码器将模态特征转化到输出图像空间，该特征通道的方差编码更多的模态信息，并将其传输到三维自适应实例归一化层输出和最终生成的图像中。
4.根据权利要求3所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(3)中，res-u-net网络架构的模态转移网络以一个mr图像imr和一个模态us图像ius作为输入，合成一个图像g(imr)，该图像结合了前者的内容信息和后者的模态信息；这两个输入图像传递到一个特征编码模块，其中带有瓶颈的残差块被用来替换原始u-net编码器中的块。
5.根据权利要求4所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(3)中，残差块连接两个3×3×3的卷积层和一个额外的1×1×1卷积层；将两幅图像编码到特征空间后，将两个特征映射都输入到3dadain层中，该层将输入特征映射的均值和方差与模态特征映射的均值和方差对齐，生成目标特征映射t；然后将t输入特征解码模块，将其映射回图像空间；解码器是编码器的镜像，在解码块中添加两个dropout层，以防止训练过程中过拟合。
6.根据权利要求4所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(3)中，来自等分辨率的跳跃连接为生成器g提供一种绕过信息瓶颈的方法，在训练网络过程中，为了平衡生成器和判别器两者训练速度，对生成器和判别器设置不同的学习率。
7.根据权利要求6所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(4)中，
生成器的输出图像g(imr)再次通过编码器(e)，并且与经过编码器的输入图像imr在潜在空间进行比较；通过测量潜在空间中输入图像imr和生成图像g(imr)内容上的相似性，仅仅关注与模态相关的细节信息。由于将编码器的训练与解码器的训练相结合，解码器可以产生特定模态的图像，因此将输入图像imr产生的潜在向量z看作是其模态相关的内容的表示，该潜在的空间表示形式在训练过程中不断发生变化，从而最终适应模态图像ius的表示；模态感知内容损失的定义为公式(2)：
其中，d表示潜在空间的维数，模态感知内容损失计算imr和g(imr)之间的标准化平方欧式距离；在上面的方程式中，e和g耦合在一起进行训练，e根据g进行调整，e是一个自适应的内容编码器；
特征匹配损失比较的是判别器中间层的激活映射，特征匹配损失通过定义判别器的激活映射之间的距离度量来惩罚生成图像g(imr)与真实图像ius不相似性，特征匹配损失定义为公式(3)：
其中，l为判别器最后一层卷积层，ni是第i层激活层的元素个数，
谱正则化的对抗损失为公式(4)：
其中，dsn表示谱归一化后的判别器，gsr表示谱正则化后的生成器，g是输入图像imr模态合成网络；
整体损失函数为公式(5)：
l＝λclc λflf λadvladv(5)
其中，λc,λf和λadv分别为权重参数。
8.根据权利要求7所述的利用生成对抗网络的三维超声模拟方法，其特征在于：所述步骤(4)中，采用最小二乘生成对抗式网络上施加谱正则化，
基于lsgan模型的目标函数定义为公式(6)：
其中，imr是输入mr图像，ius是输入模态us图像，g(imr,ius)是生成的模拟的us图像。
9.一种利用生成对抗网络的三维超声模拟装置，其特征在于：其包括：
图像输入模块，其配置来将mr图像和us图像同时输入基于谱正则化的最小二乘生成式对抗网络中的生成器中的编码器中；
嵌入模块，其配置来将网络的编码器和解码器中间嵌入一个三维自适应实例归一化层，将mr图像特征的均值和方差与us图像特征的均值和方差保持一致；
网络架构设计模块，其配置来在生成器的网络架构设计中，设计一种res-u-net网络架构，其中设计带有瓶颈的残差块来替代原来u-net网络架构中编码器和解码器中的块；
损失函数构建模块，其配置来将包括模态感知的内容损失和特征匹配损失和谱正则化的对抗损失相结合，构建新的针对超声模拟的损失函数；
网络构建模块，其配准来构建谱正则化的最小二乘生成对抗式网络。
技术总结