本发明位于人工神经网络的领域中，所述人工神经网络是受构成动物大脑的生物神经网络启发的计算系统。更具体地，其涉及一种方法，所述方法防止被训练为在医学图像上执行分割任务的人工神经网络在后续使用相同的网络训练新的和不同的分割任务——但是它以在不同的模态或具有稍微不同的特性的数据（例如，来自不同医院的数据）上分割不同的对象类或相同的对象类为目标——时，遗忘其完成原始训练的任务的能力。
背景技术：
灾难性干扰（也称为灾难性遗忘）通常指代经训练的神经网络在继先前的任务之后而在新任务上进行训练时无法记住先前学习的信息。针对连接主义网络的该问题最初是在cohen等人的著作（m.mccloskey和n.j.cohen，“catastrophicinterferenceinconnectionistnetworks:thesequentiallearningproblem”，学习和动机心理学，第24卷，第109-165页，1989年）和ratcliff等人（r.ratcliff，“connectionistmodelsofrecognitionmemory:constraintsimposedbylearningandforgettingfunctions”，心理学评论，第97卷，第2期，第285-308页，1990年）的著作中揭示的。
在人工神经网络的上下文中，近年来已经有许多致力于该问题的著作。jung等人（h.jung、j.ju、m.jung和j.kim，“less-forgettinglearningindeepneuralnetworks”，arxiv预印本arxiv：1607.00122，2016年）和li等人（z.li和d.hoiem，“learningwithoutforgetting”，欧洲计算机视觉会议，springer，2016年，第614-629页）提出了当应用于许多分类任务时减轻灾难性干扰问题的方法。kirkpatrick等人（j.kirkpatrick、r.pascanu、n.rabinowitz、j.veness、g.desjardins、a.a.rusu、k.milan、j.quan、t.ramalho、a.grabska-barwinska等人，“overcomingcatastrophicforgettinginneuralnetworks”，国家科学院学报，p.201611835，2017年）训练了人工神经网络，其能够依次学习分类任务和玩雅达利游戏两者。在医学成像中，当现有神经网络的参数被转移学习到新任务或者具有在不同的医院中利用其他成像设备或协议获取的图像的数据集时，域灾难性干扰可能发生。
在关于分类网络的开发和研究中，从头开始训练神经网络是相当特殊的，更常见的是使用预先训练的网络（例如，在根据wordnet层次结构（http：//www.image-net.org/）组织的imagenet图像数据库上训练的预先训练的网络）来进一步应用特征提取或以微调进行实验。然而，在分割网络中、并且更特别地在医学成像领域中，归因于这样的大量自由可用数据集的不可用性，使用这样的预先训练的神经网络不是很常见。分割是对医学图像中的结构进行标识和轮廓描画的过程。针对特定对象类（或解剖结构）的分割任务的结果是所谓的基础事实掩模（groundtruthmask），其覆盖图像中表示所寻找的解剖结构的肯定标识的表面。针对特定医学图像的分割对象类的所得基础事实掩模被表示为具有0或1的像素值的二进制图像，1表示分割结构在图像中的位置。因此，二进制图像充当掩模，所述掩模可以叠加在原始图像上以标识原始图像中存在检测到的结构的区域。
预先训练的神经网络不常用于分割目的的另一个原因是，即使没有大的图像集合，全卷积网络通常也可以从头开始训练。因此，联合学习是分割网络中更常见的方法，尽管也可以有效地使用微调和特征提取。这是真的，前提是新数据集与在其上原始预先训练网络的数据集并非完全不同。
在分割网络的微调的情况下，网络参数可能在附加地训练新对象类的过程期间显著改变，使得即使新图像属于相同模态（例如，cxr图像），旧任务也可能潜在地被部分（或完全）遗忘。针对该“遗忘”的根本原因可能是双重的：新分割任务与初始分割任务相比可能是非常不同的（例如肺和锁骨分割），以及归因于不同的源成像模态或不同的采集协议，数据集之间的强度分布可能显著不同。两个问题均可能导致分割中的灾难性干扰。
在用于联合训练的目标对象在数据集的所有图像中具有相同类型的条件下，联合训练可以有效地用于不同数据集（例如，来自不同数据源）中的分割。然而，当要在相同类型的图像上分割性质非常不同的不同目标对象时情况并非如此，并且因此，用于目标对象的相应基础事实掩模在类型或大小方面可能覆盖非常不同的区域。例如，考虑锁骨和肺的联合分割；用于锁骨的基础事实掩模的预期表面积与肺的基础事实的表面相比将小得多。
此外，当一些目标对象针对一个类将存在于特定图像中的基础事实掩模中但针对其他（一个或多个）类不存在时，可能出现问题。作为示例，在cxr图像中，如下情况可能发生：在一个任务中，将需要将两个肺同时作为一个类进行分割，但在另一个任务中，分离地作为两个类进行分割。另一个示例可以是，在一个任务中，锁骨的分割仅在肺域内进行，而在另一个任务中，完整的锁骨要在全图像内被分割。
另一个可能出现的问题是，缺失和重叠的目标分割对象可能使评估分割质量的损失函数的构建成为一个非常具有挑战性的问题。除了所提到的问题，当更多的图像被添加到训练集时，训练时间增加。在大的2d和3d医学扫描的情况下，并且该时间差可能是显著的。
技术实现要素：
我们发明的目的是要在有能力执行新任务并且在不遗忘旧任务的情况下，扩展已经在旧任务上被训练的现有图像分割神经网络。该新任务可以包括处理新的图像分割目标或处理新类型的图像数据集的能力。这意味着新训练的神经网络仍然能够紧接着新任务执行旧任务。即使当旧任务和新任务中的目标对象不匹配或仅部分匹配时亦如此。
所描述的方法的优点是，与其中将必须并行训练个体神经网络以独立执行不同任务的情况相比，所述方法更加资源高效得多。该效果来自如下事实：即当图像分割神经网络被训练用于附加的任务时，必须添加一数量的新参数，这增加网络的复杂性。然而，针对每个新任务添加到神经网络的新参数的该数量显著小于网络中参数的总数量。
在机器学习中以及在本发明的上下文中，卷积神经网络是一类深度前馈人工神经网络，其已经成功地应用于分析视觉图像。卷积神经网络受到生物过程的启发，其中神经元之间的连接性模式受到动物视觉皮层组织的启发。个体皮质神经元只在被称为感受域的视野受限区中对刺激做出反应。不同神经元的感受域部分重叠，使得它们覆盖整个视野。
神经网络由多个所谓的层（在我们的情况下是卷积层）和权重（或参数）组成，其中大多数层是“隐藏”层，针对所述“隐藏”层，与数据的输入或输出没有直接接触。图像分割任务是要通过图像分割神经网络实现的目的，并且包括将某个图像内的部分标识为所谓的分割类（或表示所谓的分割类）的部分。因此，图像分割网络尝试标识表示所谓的分割类的部分的那些图像部分。医学成像上下文中的这样的分割任务的示例可以是例如肺的标识或脊柱椎骨的标识。
另一种类型的神经网络是所谓的分类网络，其中目的是要将图像的部分标识为某个结构，并且从而在多个结构之间肯定地标识或区分。在分类神经网络的训练阶段中，针对每个记录的正确类是已知的（这称为监督训练），并且因此输出节点可以被分配“正确”的值——针对对应于正确类的节点为“1”，并且针对其他节点为“0”。因此，将针对输出节点的网络计算值与这些“正确”值进行比较并为每个节点计算误差项是可能的。然后，这些误差项用于调整隐藏层中的权重，使得下一次输出值将有希望更接近“正确”值。这些权重的调整归结为最小化所谓的损失函数。
针对分割网络的训练选择类似的方法；针对分割任务的期望或参考成果是利用期望的可检测分割类来标记区域的注释图像。这样的结果图像然后被表示为所谓的基础事实掩模。
具体实施方式
从以下描述中，本发明的另外的优点和实施例将变得清楚。本发明可以实现为适于施行如描述中阐述的步骤的计算机程序产品。
为了描述本发明，多类分割方法在数学上被描述如下。
对于给定的整数k和分割任务
令
令g为基础事实序列
对于给定的图像
出于训练和评估目的，数据集
在单个步骤中，
其估计由神经网络生成的结果与基础事实（或期望成果）之间的偏差。
给定具有权重参数
因为在多类分割中，目标对象类的大小可能非常不同，所以具有较大预期大小的对象类可以预期对损失函数的较高贡献。该效果是不合期望的，因为它可能抑制神经网络参数在训练期间在其针对较小大小的对象类的性能上的改进。为了对此进行补偿，对比率中的每个语义类l实现加权系数
其中
对于距离函数
针对训练图像
其中
其中
并且
在本发明的上下文中，多类分割任务必须被理解为这样的分割任务，其接续地处置不同类分割目标的分割。简单的图像分割任务是这样的图像处理方法，其试图准确地确定数字图像中包括表示特定“类”的像素的区域。所谓的“类”指代作为分割算法的目标的结构、器官或特征。因此，多类分割任务必须被理解为以不同类为目标的一系列依次执行的分割任务。
神经网络
关于本领域公开的方法，我们的方法意图借助于根据以下方法步骤应用多类分割任务序列来进一步减轻灾难性干扰的问题：
-将先前训练的神经网络
-通过向已经训练的神经网络
-随机初始化对应于所述新的（1，1）卷积层的新添加的参数
其中
并且其中
在我们的方法中提出的解决方案的一个方面是，针对任务
上面的发明方法优选地由运行在提供一般数据处理功能的构件上的计算机程序来施行。例如，这样的构件可以嵌入在个人计算机、智能电话、主机等……中。
作为上面解释的方法的结果的经训练的卷积神经网络可以被捕获并作为数据的集合存储在存储器中，所述数据的集合包括神经网络的结构和在所述神经网络的训练步骤期间已经计算的参数。因此可以设想到，所得的经训练的神经网络模型和数据包括能够执行所述分类任务的神经网络的功能定义。该功能限定（其本质上是权重和连接的集合）可以被拷贝和复制或传播到其他计算构件上。我们在本专利下寻求保护的也是该功能限定。因此，所述神经网络数据可以在权重和连接的集合的形式下可转移。
上述方法将提供未经处理的神经网络的改进性能，但是与未经处理的网络相比，经训练的神经网络本身可以用于以改进的方式施行任务。因此，在本申请中使用新公开的方法训练的神经网络可以用于以改进的方式执行分割任务。
1.一种用于训练先前训练的神经网络
其中
其中所述附加分割任务
并且其中所述先前训练的神经网络
其特征在于，
所述方法包括以下步骤：
-将先前训练的神经网络
-通过向已经训练的神经网络
-随机初始化对应于所述新的（1，1）卷积层的新添加的参数
其中
并且其中
2.用于根据权利要求1所述的方法在多类医学图像分割任务集合上训练神经网络的方法。
3.根据权利要求1所述的方法，其中特征映射的数量l对应于附加分割任务
4.一种数据处理装置，其包括用于施行权利要求1、2或3的步骤的构件。
5.对从根据权利要求1、2或3所述的方法获得的经训练的神经网络的使用。
6.用于使用通过权利要求1、2或3所述的方法获得的经训练的神经网络
7.一种包括指令的计算机程序，所述指令在所述程序由计算机执行时引起计算机施行权利要求1、2、3或6所述的方法。
技术总结