基于深度的图像比较装置、方法及存储于计算机可读介质的计算机程序与流程

专利2022-06-29  74

本发明涉及图像处理,更具体地,涉及基于深度学习的图像比较。
背景技术
::深度学习(deeplearning)可以被定义为通过多种非线性变换工法的组合来试图进行高级抽象化(抽象(abstracton),在多种数据或复杂的资料中概括特征、核心内容或功能的作业)的机器学习(machinelearning)算法的集合,是在计算机中学习人类的思考方式的机器学习的一个领域。深度学习与意味着从机器形成的智能的人工智能一同用于整个产业。韩国公开专利第10-2017-0083805揭示了利用用草书体或草体书写的文字的神经网的辨别方法。技术实现要素:技术问题本发明与上述
背景技术
:对应地提出,本发明的目的在于,提供基于深度学习的图像处理解决方案。解决问题方案用于解决上述问题的本发明一实施例揭示图像比较方法。上述图像比较方法包括:预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据的步骤;以接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息的步骤;以及通过上述网络函数来输出所确定的异常有关信息的步骤。在图像比较方法的代替性实施例中,上述网络函数可包括:第一子网络,输入上述第一图像数据;以及第二子网络,输入上述第二图像数据。在图像比较方法的代替性实施例中,上述网络函数还可包括与上述第一子网络及上述第二子网络中的至少一个串联(inseries)的比较模型。在图像比较方法的代替性实施例中,上述第一子网络、上述第二子网络及上述比较模型中的至少一个可包括深度神经网络(deepneuralnetwork,dnn)结构。在图像比较方法的代替性实施例中,上述第一子网络及上述第二子网络中的至少一个可包括上述深度神经网络结构中的卷积神经网络(convolutionalneuralnetwork,cnn)结构。在图像比较方法的代替性实施例中,上述比较模型可包括上述深度神经网络结构中的反卷积神经网络(deconvolutionalneuralnetwork)结构。在图像比较方法的代替性实施例中,上述比较模型可构成上述第一子网络及上述第二子网络中的至少一个子网络和u网络(u-net)结构的至少一部分。在图像比较方法的代替性实施例中,上述第一子网络及上述第二子网络可共享至少一个具有相同加权值(weight)的链接。在图像比较方法的代替性实施例中,上述第一子网络及上述第二子网络可构成孪生网络(siamesenetwork)的至少一部分。在图像比较方法的代替性实施例中,确定上述异常有关信息的步骤可包括:以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础来生成至少一个层比较信息的步骤;以及以所生成的上述层比较信息为基础来运算上述异常有关信息的步骤。在图像比较方法的代替性实施例中,运算上述异常有关信息的步骤可包括向上述比较模型的对应的层提供所生成的上述层比较信息的步骤。在图像比较方法的代替性实施例中,上述对应的层能够以上述第一子网络的层或上述第二子网络的层的位置为基础来确定,上述第一子网络的层或上述第二子网络的层的位置为生成上述层比较信息的基础。在图像比较方法的代替性实施例中,上述第一图像数据可以为仅包含不具有异常数据的正常状态图像数据的主图像,上述第二图像数据可以为从属图像。在图像比较方法的代替性实施例中,上述异常有关信息可包含上述第二图像数据中存在异常的像素的位置信息有关数据。在图像比较方法的代替性实施例中,上述第一图像数据及第二图像数据可具有相同大小。发明效果本发明可提供基于深度学习的图像处理解决方案。附图说明图1示出本发明一实施例的执行图像比较方法的计算装置的框结构图。图2为示出本发明一实施例的人工神经网络的一部分的简图。图3为示出本发明一实施例的卷积神经网络(convolutionalnerualnetwork)的简图。图4为示出本发明一实施例的孪生网络(siamesenetwork)的图。图5为简要示出本发明一实施例的图像比较方法示意图。图6为示出用于体现本发明一实施例的图像比较方法的神经网络结构的例示图。图7为用于体现本发明一实施例的图像比较方法的神经网络的学习数据的例示。图8为示出用于体现本发明一实施例的图像比较方法的神经网络学习方式的示意图。图9为示出用于体现本发明再一实施例的图像比较方法的神经网络学习方式的示意图。图10为示出用于体现本发明另一实施例的图像比较方法的神经网络学习方式的示意图。图11为示出用于体现本发明一实施例的图像比较方法的网络结构的图。图12为用于体现本发明一实施例的图像比较方法的u网络(unetwork)的例示图。图13为用于体现本发明还有一实施例的图像比较方法的孪生网络(siamesenetwork)的例示图。图14为示出用于体现本发明一实施例的图像比较方法的单元的框结构图。图15为示出用于体现本发明一实施例的图像比较方法的模块的框结构图。图16为示出用于体现本发明一实施例的图像比较方法的逻辑的框结构图。图17为示出用于体现本发明一实施例的图像比较方法的电路的框结构图。图18为本发明一实施例的计算装置的框结构图(blockdiagram)。具体实施方式参照附图,说明多种实施例。在本说明书中,多种说明为了提供本发明的理解而揭示。但是,这种实施例在没有这种具体说明的情况下也可以执行。在另一例中,公知的结构及装置为了轻松说明实施例而以框图形态提供。在本说明书中所使用的术语“组件”、“模块”、“系统”等是指计算机有关实体、硬件、固件、软件、软件及硬件的组合或软件的执行。例如,组件可以为在处理器上执行的处理过程(procedure)、处理器、客体、执行线程、程序和/或计算机,但并不局限于此。例如,可以为在计算装置中执行的应用及计算装置所有组件。一个以上组件可内置于处理器和/或执行线程,一组件可以在一个计算机内逻辑化,或者可以在2个以上的计算机之间分配。并且,这种组件可以从具有在内部存储的多种数据结构的多种计算机可读介质执行。例如,组件可根据具有一个以上数据包的信号(例如,通过来自在逻辑系统、分散系统中与其他组件相互作用的一个组件的数据和/或通过信号来与其他系统通过如互联网的网络传送的数据),通过逻辑和/或远程处理进行通信。同时,“包括”和/或“包括”术语意味着对应特征和/或结构要素的存在,但并未排除一个以上的其他特征、结构要素和/或这些组合的存在或追加。并且,只要并未特别定义或者文脉上并未明确示出,在本说明书和发明要求保护范围中,单数一般意味着“一个或一个以上”。提供对于所揭示的实施例的说明,以使本发明所属
技术领域
:的普通技术人员可以利用或实施本发明。对于这种实施例的多种变形对本发明所属
技术领域
:的普通技术人员来说是显而易见的,在此定义的一般原理在不超出本发明的范围的情况下可适用于其他实施例。因此,本发明并不局限于在此揭示的实施例,可以在与在此揭示的原理及新特征一贯的最广的范围中解释。图1示出本发明一实施例的执行图像比较方法的计算装置的框结构图。图1所示的计算装置100的结构为简化示出的例示,在本发明一实施例中,计算装置100可包括用于执行计算装置100的计算环境的其他结构。计算装置100可包括处理器110、存储器130、网络模块150、摄像头模块170。处理器110可由一个以上的芯片构成,可包括计算装置的中央处理装置(cpu,centralprocessingunit)、通用图形处理单元(gpgpu,generalpurposegraphicsprocessingunit)、张量处理单元(tpu,tensorprocessingunit)等的数据分析、深度学习的处理器。处理器110可读取存储于存储器130的计算机程序来执行本发明一实施例的图像比较方法。根据本发明一实施例,处理器110可执行用于神经网络的学习的计算。处理器110可执行在深度学习(dn,deeplearning)中用于学习的输入数据的处理、在输出数据中的特征(feature)提取、误差计算、利用反向传播(backpropagation)的神经网络的加权值更新等的用于神经网络的学习的计算。在处理器110的cpu、gpgpu及tpu中的至少一个可以处理网络函数的学习。例如,cpu和gpgpu一同处理利用网络函数的学习、网络函数的数据分类。并且,在本发明的一实施例中,可一同使用多个计算装置的处理器来处理利用网络函数的学习、网络函数的数据分类。并且,在本发明一实施例的计算装置中执行的计算机程序可以为cpu、gpgpu或tpu可执行程序。在本发明的一实施例中,计算装置100可以利用cpu、gpgpu及tpu中的至少一个来分散处理网络函数。并且,在本发明的一实施例中,计算装置100与其他计算装置一同分散处理网络函数。在本发明的一实施例中,利用网络函数处理的图像可以为存储于计算装饰100的存储介质的图像、通过计算装置100的摄像头模块170拍摄的图像和/或通过网络模块150从图像数据库等其他计算装置传送的图像。并且,在本发明的一实施例中,利用网络函数处理的图像可以为存储于计算机可读存储介质(例如,包括闪存等,但并不局限于此)的图像。计算装置100可通过输出输入接口(未图示)接收存储于计算机可读存储介质的图像文件。存储器130可以存储用于执行本发明一实施例的图像比较方法的计算机程序,所存储的计算机程序可被处理器110读取并驱动。网络模块150可以与其他计算装置、服务器等手法用于执行本发明一实施例的图像比较方法的数据等。网络模块150可以与其他计算装置、服务器等收发图像数据等本发明的实施例所需要的数据。例如,网络模块150可以在学习图像数据库等中接收学习图像数据。并且,网络模块150可以使多个计算装置之间进行通信,以在多个计算装置中分散执行网络函数的学习,可分散处理使用网络函数的数据分类。摄像头模块170为了执行本发明一实施例的图像比较方法而可以拍摄检查对象来生成图像数据。在本发明一实施例中,计算装置100可包括一个以上的摄像头模块170。图2为示出本发明一实施例的人工神经网络的一部分的简图。在本说明书中,神经网络、网络函数、神经网络(neuralnetwork)可以为相同含义。通常,神经网络可以由能够被称为“节点”的相互连接的计算单位的集合构成。这种“节点”也可以被称为“神经元(neuron)”。神经网络包括至少一个节点。构成多个神经网络的多个节点(或神经元)可通过一个以上的“链接”相互连接。在神经网络内,通过链接连接的一个以上节点可以相对形成输入节点及输出节点的关系。输入节点及输出节点的概念为相对的,对一个节点具有输出节点关系的任意节点在与其他节点的关系中具有输入节点关系,反之亦然。如上所述,输入节点与输出节点关系能够以链接为中心生成。一个以上的输出节点可通过链接与一个输入节点相连接,反之亦然。在通过一个链接连接的输入节点及输出节点关系中,输出节点的值能够以向输入节点输入的数据为基础来确定。其中,相互连接输入节点与输出节点的节点可以具有加权值。加权值可以改变,神经网络为了执行所需要的功能而可以通过用户或算法改变。例如,在一个以上输入节点通过各个链接与一个输出节点相互连接的情况下,输出节点能够以向与上述输出节点连接的多个输入节点输入的多个值及在与各个输入节点对应的链接设定的加权值为基础来确定输出节点值。如上所述,在神经网络中,一个以上的节点通过一个以上的链接相互连接,从而在神经网络内形成输入节点及输出节点关系。在神经网络内,可根据多个节点和多个链接的数量及多个节点与多个链接之间的连接关系、向多个链接赋予的加权值确定确定神经网络的特性。例如,存在相同数量的节点及链接,在存在多个链接之间的加权值不相同的神经网络的情况下,所识别的两个神经网络不相同。如图2所示,神经网络可包括一个以上的节点。构成神经网络的多个节点中的一部分能够以从最初输入节点的多个距离为基础来构成一个层(layer)。例如,从最初输入节点的距离为n的多个节点的几何可以构成n层。从最初输入节点的距离可以通过为了从最初输入节点到达对应节点而需要经过的多个链接的最少数量定义。但是,这种层的定义为用于说明的任意层,在神经网络内,层的次数与通过与上述不同的方法定义。例如,多个节点的层可通过从最终输出节点的距离定义。最初输入节点可以为在神经网络内的多个节点中,在与其他节点的关系中不经过链接直接输入数据的一个以上的节点。或者,可以为在神经网络内,在以链接为基准的节点之间的关系中,不具有通过链接连接的其他输入节点的多个节点。与此类似地,最终输出节点可以为在神经网络内的多个节点中,在与其他节点的关系中,不具有输出节点的一个以上节点。或者,隐藏节点可以为并非是构成最初输入节点及最后输出节点的神经网络的多个节点。在图2的图示中省略了输出节点。在本发明一实施例的神经网络中,输入层的节点的数量可大于接近输出层的隐藏层的节点的数量,在输入层中,随着向隐藏层进行,节点的数量逐渐减少。深度神经网络(dnn,deepneuralnetwork)可以为包括除输入层和输出层之外的多个隐藏层。若利用深度神经网络,则可以把握数据的潜在结构(latentstructures)。即,可以把握照片、字、视频、语音、音乐的潜在结构(例如,照片中存在哪种物体,字的内容和感情是什么以及语音的内容和感情是什么等)。深度神经网络可包括卷积神经网络(cnn,convolutionalneuralnetwork)、递归神经网络(rnn,recurrentneuralnetwork)、受限玻尔兹曼机(rbm,restrictedboltzmannmachine)、蛇毒新年网络(dbn,deepbeliefnetwork)、q网络、u网络、孪生网络等。图3所示的卷积神经网络为深度神经网络的一种,包括具有卷积层的神经网络。卷积神经网络为以使用最少限度的预处理(preprocess)的方式设计的多层感知器(multilayerperceptorns)的一种。卷积神经网络可以由一个或多个卷积层和与此结合的人工神经网络阶层构成,可以追加使用加权值和池化层(poolinglayer)。由于这种结构,卷积神经网络可以充分使用二维结构的输入数据。卷积神经网络可用于在图像中识别对象。例如,在通过红绿蓝(rgb,red-green-blue)编码的图像数据的情况下,按红绿蓝颜色分别以二维(例如,在二维图像的情况下)行列呈现。即,图像数据的个像素的颜色值可以为行列的成分,行列的大小可以与图像的大小相同。因此,图像数据可通过3个二维行列(三维数据阵列)呈现。在卷积神经网络中,通过移动卷积滤波器,通过将卷积滤波器和图像的各个位置中的行列成分相乘来执行卷积过程(卷积层的输出输入)。卷积滤波器能够以n×n形态的行列构成,通常,可以由比图像的整个像素的数量小的固定形态的滤波器构成。即,在将m×m图像以卷积层(例如,卷积滤波器的尺寸为n×n的卷积层)输入的情况下,表示包括图像的各个像素的n×n像素的行列可以与卷积滤波器相乘(即,行列的各个成分相乘)。通过与卷积滤波器相乘,可以在图像中提取与卷积滤波器匹配的成分。例如,在图像提取上下直线成分的3×3卷积滤波器可以如[[0,1,0],[0,1,0],[0,1,0]]构成,若这种卷积滤波器适用于输入图像,则可以在图像中提取与卷积滤波器匹配的上下直线成分来输出。卷积层可在与表示图像的各个通道有关的各个行列(即,在r,g,b编码图像的情况下,r,g,b颜色)适用卷积滤波器。卷积层在输入图像适用卷积滤波器来在输入图像中提取与卷积滤波器匹配的图像特征。卷积滤波器的滤波器值(即,行列的各个成分的值)可在卷积神经网络的学习过程中通过反向传播(backpropagation)更新。卷积层的输出与子采样层相连接,可通过将卷积层的输出简单化来减少存储器使用量和运算量。例如,在向2×2最大池化滤波器所具有的池化层输入卷积层的输出的情况下,在图像的各个像素中,每个2×2块输出包含在块的最大值来压缩图像。上述池化可以为在块中输出最小值,或者输出块的平均值的方式,任意池化方式包含在本发明中。卷积神经网络可包括一个以上卷积层、子采样层。卷积神经网络可通过反复执行卷积过程和子采样过程(例如,上述最大池化等)来在图像中提取特征。可通过反复的卷积过程和子采样过程,神经网络可以提取图像的全部特征。卷积层或子采样层的输出可以向全连接层(fullyconnectedlayer)输入。全连接层与和在一个层的所有神经元相邻层的所有神经元连接的层。全连接层为在神经网络中,各个层的所有节点与其他层的所有节点相连接的结构。在本发明的一实施例中,为了执行图像数据的分割(segmentation),神经网络可包括反卷积神经网络(dcnn,deconvolutionalneuralnetwork)。反卷积神经网络执行向逆方向计算卷积神经网络类似的动作,可以将在卷积神经网络提取的特征以与原本数据相关的特征图输出。图4为示出本发明一实施例的孪生网络(siamesenetwork)的图。孪生网络200为用于各个类别的学习数据(traingdata)不充分的识别器所使用的神经网络。孪生网络可以从数据学习类似性测定。如图4所示,孪生网络可以包括从贡献至少一部分加权值的2以上的神经网络210、230(多个子网络)和神经网络接收输出的比较模型250。向孪生网络200可以输入至少2个图像。孪生网络200可以输出判断所输入的2个图像的类似度的结果。为了处理图像,孪生网络可包括接收图像的2个卷积神经网络。在孪生网络中接收图像的2个卷积神经网络可以共享加权值的至少一部分。在孪生网络中的多个子网络可通过加权值共享模块220共享加权值,多个子网络可以共享加权值,由此,孪生网络可以对所输入的两个数据通过相同的加权值提取特征来进行比较。孪生网络结构为可以测定输入数据的类似性的可学习网络结构,可以在类别多且用于训练的数据不充分的情况下使用。输入数据类似性测定的学习方法可以包括搜索将输入图案匹配在对象空间的函数的过程,以使对象空间中的简单距离接近在输入空间的理论距离(semanticdistance)。孪生网络的输入数据类似性测定的学习方法可包括在具有子网络的加权值w的函数中gw(x)运算加权值w的过程。具体地,可包括运算加权值w的过程,以在子网络的函数gw(x)中,在输入数据x1、x2为相同类别的情况下,类似度函数ew(x1,x2)=||gw(x1)-gw(x2)||具有小的值,在输入数据x1、x2为相同类别的情况下,类似度函数具有大的值。子网络的加权值w可通过加权值共享模块220分别进行共享。孪生网络结构可通过具有共享子网络的加权值的函数gw(x)处理各个输入数据。在两个卷积神经网络中,相对应的节点可以共享加权值。在卷积神经网络输出的多个特征可以在比较模型250中比较类似度。在此情况下,比较能够以在两个卷积神经网络输出的特征的数学距离为基础执行。作为比较两个图像的方式,在学习数据不充分的情况下,孪生网络200可以在图像数据中识别对象等,对图像数据的旋转、变形等不敏感,从而可具有一般(general)的识别性能。神经网络可通过监督学习(supervisedlearning)、非监督学习(unsupervisedlearning)及半监督学习(semisupervisedlearning)中的至少一个方式进行学习。神经网络的学习用于将输出的错误最小化。在神经网络的学习中,向神经网络反复输入学习数据,计算对于学习数据的神经网络的输出和对象的错误,作为用于减少错误的方向,将神经网络的错误从神经网络的输出层向输入层方向反向传播(backpropagation)来更新神经网络的各个节点的加权值的过程。在监督学习的情况下,使用在各个学习数据标有答案的学习数据(即,标记的学习数据),在非监督学习的情况下,有可能未在各个学习数据标有答案。即,例如,在与数据分类有关的监督学习的情况下,学习数据可以为标有分类的数据。向标有学习数据的神经网络输入,对神经网络的输出(类别)和学习数据的标签进行比较来计算误差(error)。所计算的误差从神经网络向反方向(即,从输出层相输入层方向)反向传播,随着反向传播,神经网络的各个层的各个节点的连接加权值可以得到更新。得到更新的各个节点的连接加权值可根据学习率(learingrate)确定变化量。对于输入数据的神经网络的计算和错误的反向传播可以构成学习循环(epoch)。学习率可根据神经网络的学习循环的反复次数不同地使用。例如,在神经网络的学习初期,可使用高的学习率来使神经网络迅速确保规定水平的性能并提高效率性,在学习后期,可使用低的学习率来提高准确度。在神经网络的学习中,通常,学习数据可以为实际数据(即,利用学习的神经网络来进行处理的数据)的部分集合,因此,可存在对于学习数据的误差减少或对于实际数据的误差增加的学习循环。如上所述,过拟合(overfitting)过度学习了学习数据而增加对于实际数据的误差的现象。例如,看到黄色的猫而学习猫的神经网络看到除黄色之外的猫之后无法将其识别成猫的现象为过拟合的一种。过拟合有可能增加机器学习算法的误差。为了防止这种过拟合而可以使用多种最优化方法。为了防止过拟合,可以增加学习数据,或者可使用在规范化(regulaization)、学习过程中,省略网络的节点一部分的随机失活(dropout)等的方法。图5为简化示出本发明一实施例的图像比较方法的示意图。本发明的图像比较方法可通过计算装置100的一个以上的处理器110执行。本发明的计算装置100的一个以上的处理器110可执行本发明的神经网络的运算处理。本发明的图像比较方法的所有运算处理(即,神经网络学习、特征提取、特征比较等)可通过计算装置100的处理器执行。即,在神经网络中处理数据的表现可意味着计算装置100的处理器110执行神经网络来处理数据的过程。在本发明的图像比较方法中,计算装置100可向神经网络200输入主图像310及从属图像330,以在神经网络200计算的两个图像的类似度及计算结果为基础来输出结果。本发明的神经网络可用于数据的分类。例如,本发明的神经网络可用于异常检测(anomalydetection)。异常数据可以为数据的正常图案脱离的非正常数据。数据可具有非定型图案,异常数据可以为从这种非定型图案脱离的数据。例如,在生产工序中,与生产品的图像有关的数据可以具有称为正常产品的非定型图案,异常数据可以为从作为正常产品的非定型图案脱离的数据(即,例如,不良产品的图像等)。与本发明的正常数据、非定型图案、异常数据有关的记载仅是例示,本发明并不局限于此。更具体地,本发明的神经网络可以在生产工序中用于分类异常产品和正常产品。并且,本发明的神经网络可用于图像分割(imagesegmantation)。图像分割可以为将图像的一部分与另一部分分割来区分的过程。例如,图像分割可包括以在图像中提取的边缘、颜色等来分离图像的一部分与另一部分来区分的过程。并且,图像分割可以为在图像中提取异常部分的位置信息来从图像的另一部分识别异常数据的位置的过程。并且,图像分割也可以包括将与其他一部分区分的图像的一部分视觉化来表现的过程。例如,本发明的神经网络可用于在图像中显示异常部分。主图像310为用于判断输入数据的异常(anomaly)的基础。从属图像330为用于判断异常的图像。在本发明中,异常数据可以为从数据的正常图案脱离的非正常数据。主图像310可以为仅包含不具有异常数据的正常状态的图像数据的图像。从属图像330可以为正常图案,也可以为非正常数据,可以为神经网络对其进行判断的对象图像。例如,主图像310可以为正常产品的图像,从属图像330可以为作为检查对象的产品图像。向神经网络200输入的多个图像可具有相同大小。并且,向神经网络输入的图像可以使神经网络的处理轻松,为了通过块重叠提高分类的准确度而被分类成规定大小的块(patch)。例如,主图像310和从属图像330可以为分别具有256×256像素大小的图像,这些为了向神经网络200的子网络输入而被分离成具有32×32像素大小的块。在图像中的块提取可以对图像的各个像素执行,各个块可以具有相互重叠的部分。例如,可以从图像的最左侧上方像素提取32×32像素的块,在对应像素中,在与右侧相邻的像素提取32×32像素的块的情况下,各个块可以具有重叠部分。计算装置100可以分别在向神经网络200输入的主图像310及从属图像330提取特征。计算装置100可对各个特征进行比较来判断主图像310与从属图像330的类似度。计算装置100可以求出主图像310的特征与从属图像330的特征之间的数学距离来判断类似度。例如,在主图像310与从属图像330的类似度为预先确定的阈值以下的情况下,计算装置100可以将从属图像330判断为包含异常数据的图像。并且,计算装置100对主图像310的特征与从属图像330的特征进行比较,可以生成在两个图像中,通过像素单位表现实际哪个像素不相同的逐像素分割输出(pixelbypixelsegmentationoutput)。计算装置100可通过任意的比较算法对子网络的输出相互进行比较。计算装置100并非仅简单比较两个特征的差异,而是在两个特征的比较使用神经网络来提取两特征的差异程度、差异部分的像素位置等。图6为示出用于体现本发明一实施例的图像比较方法的神经网络结构的例示图。图6为示出具体化图5的简图的例示图。主图像310及从属图像330可分别向神经网络200的子网络210、230输入。计算装置100可分别运算利用各个子网络210、230输入的图像来分别提取所输入的图像的特征。多个子网络210、230可构成孪生网络的至少一部分。多个子网络210、230可以相互共享加权值的至少一部分,比较模型250可对主图像310及从属图像330通过相同的加权值提取特征来进行比较。其中,多个子网络210、230可包括深度神经网络结构。例如,多个子网络210、230中的至少一个可以具有卷积神经网络结构,但本发明并不局限于此。比较模型250可具有卷积神经网络或任意的比较算法结构。在本发明的图像比较方法输出存在于从属图像330的异常部分的像素的位置信息的情况下,比较模型250可具有深度神经网络结构。在本发明的比较方法输出在从属图像330是否存在异常部分的情况下,比较模型250可以构成数学比较算法。比较模型250可以与各个子网络210、230串联(inseries)。其中,串联可以为子网络的输出的至少一部分为比较模型250的输入,或者子网络的一部分与比较模型250重叠。比较模型250可以对多个图像、图像的特征进行比较,比较模型250对在各个子网络中输出的特征进行比较来生成比较信息。比较模型250可以具有对两个特征的数学距离进行比较的函数的形态,也可以由深度神经网络构成来判断两个特征的类似。在比较模型250由深度神经网络构成的情况下,比较模型250可通过从第一子网络210及第二子网络230接收的数据计算与图像的类似性有关的特征。比较模型250可通过任意的数据比较算法比较在子网络提取的特征,本发明并不局限于比较算法。比较模型250可具有深度神经网络结构,其中,可以包括反卷积神经网络结构。以比较模型250的比较结果为基础,神经网络200可以输出异常有关信息。异常有关信息可以包括图像是否包含异常数据或者在包含异常数据的情况下的存在异常的像素的位置信息。图7的标记图像450为将存在异常的像素的位置信息视觉化来表示的图像。在图像中存在异常的像素的位置信息能够以与在图像中存在异常的部分重叠的形状显示并视觉化。在另一实施例中,存在异常的像素的位置信息可以包含能够特定存在异常的数据领域的轮廓线的信息。本发明包括用于表示图像中存在异常的部分的任意方法。图7为用于体现本发明一实施例的图像比较方法的神经网络的学习数据的例示。用于体现本发明一实施例的图像比较方法的神经网络的学习数据400可包括正常图像410、对象图像430、标记图像450。正常图像410为输入数据的异常的判断基础图像,可以为仅包含不具有异常数据的正常状态图像数据的图像。正常图像410可以与学习后神经网络的主图像310对应。即,例如,正常图像410可以为具有正常产品的非定型图案的没有异常的图像。对象图像430作为异常对象的图像,可以包含异常数据。对象图像430可以与学习后神经网络的从属图像330对应。标记图像450为在对象图像430标有存在异常的像素的图像。图7所示的图像为与纤维加工领域有关的产品图像,但本发明并不局限于此。图8至图10为示出用于体现本发明的图像比较方法的神经网络学习方式的示意图。如图8所示,在本发明的一实施例中,神经网络200通过学习数据420(即,标有非正常的存在与否的数据)学习正常图像410及对象图像430来判断输入数据是否包含异常数据。其中,对象图像430可以为标有是否存在异常的图像。即,在图8的学习方式中,正常图像410及对象图像430向神经网络200输入,神经网络200可以输出与在对象图像430中是否存在异常数据有关的输出351。对于神经网络的输出和在对象图像430标记的异常数据的存在与否,计算装置100通过比较信息来求出误差,通过将误差反向传播来将使神经网络200分类在从属图像330中是否存在异常。即,计算装置100利用标有是否存在异常数据的学习数据420来使神经网络200进行学习,以输出与异常数据的存在与否有关的输出351。如图9所示,在本发明的再一实施例中,神经网络200通过学习数据440(即,正常数据和标有存在异常的像素的非正常图像)学习正常图像410及标记图像450,来输出与在输入数据存在异常的像素的位置信息有关的输出353。其中,如上所述,标记图像450可以为在图像标有存在异常的像素的位置信息的数据。即,在图9所示的学习方式中,正常图像410及标记图像450向神经网络200输入,神经网络200可以输出在标记图像450存在异常的像素的位置信息有关数据。计算装置100对神经网络的输出与在标记图像450存在标记异常的像素的位置信息有关数据进行比较来求出误差,通过将误差反向传播来使神经网络200输出在从属图像330存在异常的像素的位置信息有关数据。即,计算装置100可利用标有在图像数据中存在异常的像素的位置信息的学习数据440来使神经网络200进行学习,以输出与在图像数据存在异常的像素的位置信息有关的输出353。如图10所示,在本发明的另一实施例中,神经网络200可通过学习数据420学习正常图像410及对象图像430,来输出与在输入数据存在异常的像素的位置信息有关输出353。即,在图10所示的学习方式中,正常图像410及对象图像430向神经网络200输入,神经网络200可以输出在对象图像430中存在异常的像素的位置信息有关数据。计算装置100对神经网络的输出与目标(例如,在对象图像430是否存在标有的异常)进行比较来求出误差,通过将误差反向传播来使神经网络200输出在从属图像330存在异常的像素的位置信息有关数据。即,计算装置100利用标有异常数据的存在与否的学习数据420来使神经网络200进行学习,以输出与在图像数据中存在异常的像素的位置信息有关的输出353。图11为更加详细示出图6的神经网络200的结构的图。图11为示出用于体现本发明的图像比较方法的孪生网络的图。孪生网络200可构成图6的神经网络200。在多个子网络210、230中的至少一个可包括卷积神经网络结构。多个子网络210、230可通过加权值共享模块220相互共享一个以上加权值。加权值共享模块220可以为连接多个子网络210、230的结构,以使两个子网络210、230可以共享一个以上加权值。比较模型250可包括卷积网络结构。多个子网络210、230可相互共享加权值的至少一部分。因此,多个子网络210、230可以通过对主图像310及从属图像330相同的加权值提取特征,来使比较模型250对其进行比较。比较模型250可以构成各个子网络中的至少一个和u网络结构的至少一部分。有关u网络500,将参照图12进行说明。多个子网络210、230的全部或一部分和比较模型250的全部或一部分可以构成u网络。而且,多个子网络210、230和比较模型250的组合可以为u网络的一部分。u网络500可以具有能够执行图像分割的深度神经网络结构。图12所示的u网络的左侧部分具有可以减少输入数据的维数的深度神经网络结构,右侧部分可以具有能够增加输入数据的维数的深度神经网络结构。更具体地,u网络500的维数减少网络510可具有卷积神经网络结构,维数增加网络530可具有反卷积神经网络结构。图12所示的通过矩形表示的部分可以为u网络500的各个层。图12所示的各个层501细部的数字可以为各个层的例示性通道的数量。图12所示的各个层的503部分的数字可以为在各个层中处理的图像的例示性像素的数量。若沿着图12所示的u网络500的运算的箭头方向,则图像的例示性像素的数量减少并增加,从而可以确认图像的维数减少并再次增加。图12所示的箭头511可以为在图像适用卷积滤波器的卷积动作。例如,箭头511可以为将3×3卷积滤波器适用于图像的卷积动作,但本发明并不局限于此。图12所示的箭头513可以为向在维数减少网络510中对应的维数增加网络530传送用于增加维数减少的图像的维数的信息的动作。图12所示的箭头515可以为用于减少图像的像素的池化动作。例如,箭头515可以为提取最大值的最大池化(maxpooling),但本发明并不局限于此。图12所示的箭头517可以为增加图像的维数的卷积动作。例如,箭头517可以为利用2×2卷积滤波器的卷积动作,但本发明并不局限于此。图12所示的箭头519可以为用于向全连接层传递输出的卷积动作。例如,箭头519可以为利用1×1卷积滤波器的卷积动作。在图12中的维数增加网络530中的阴影线矩形可以为从维数减少网络510的对应层接收用于增加图像的维数的信息。u网络500可以具有如下结构(图12中的箭头513),即,为了图像分割,在减少图像的维数的过程中,用于增加维数的信息(例如,像素的位置信息及高等级特征等)在增加图像维数的过程中传递。即,u网络500的维数减少网络510的各个层可以向与维数增加网络530的对应的层传递特征的位置信息。由此,可以复原在减少图像的维数并增加维数的过程中有可能流失的像素的位置信息。因此,在像素的位置信息增加图像维数的过程中可以复原,因此,u网络500可用于像素的位置信息必要的图像分割。具体地,如图12所示的例示,在u网络500的维数减少网络510中,第一层(与输入最接近的层)可以向维数增加网络530的最后层(与输出最接近的层)传递信息。所传递的信息可包含为了在维数增加网络530中增加维数减少的图像的维数而需要的信息。例如,所传递的信息可以为特征、特征的位置信息、提取各个特征的像素的位置信息、原本图像的像素位置信息等,本发明并不局限于此。但是,在u网络500的维数减少网络中,第二层(从输入第二个层)可以向维数增加网络530的最后第二层(从输出第二个层)传递信息。通过这种过程,u网络500的各个子网络(维数增加网络530、维数减少网络510)可向以层的位置为基础来确定的对应的层传递信息。比较模型250可包括维数增加网络来构成多个子网络210、230中的至少一个和u网络结构的至少一部分。图13为用于体现本发明的图像比较方法的孪生网络的例示图,是示出多个子网络210、230构成比较模型250和u网络结构的图。图13的例示中,一组的矩形可以为神经网络的1层。图13中的神经网络仅是简单的一例,层的数量、图像的大小等可以改变,本发明并不局限于图13的记载。图13中,虚线左侧可以为减少u网络的输入数据的维数的维数减少网络510,虚线右侧为复原输入数据的维数的维数增加网络530。在图13的例示中,主图像310可向第一子网络210输入,从属图像330可向第二子网络230输入。第一子网络210可以在主图像310中提取特征,第二子网络230可以在从属图像330提取特征。在此情况下,第一子网络210及第二子网络230可以相互共享加权值。可以相互比较第一子网络210及第二子网络230的各个层的特征。图13所示的箭头255可以为从第一子网络210及第二子网络230导出数据的动作。例如,箭头255可以为对在第一子网络210及第二子网络230中计算的数据进行比较的动作。并且,例如,箭头255可以为主图像特征与从属图像特征的差异计算或主图像特征与从属图像特征的深度神经网络比较等动作。在第一子网络210及第二子网络230的各个层中提取的特征可分别通过比较模型250比较。处理器110分别对在第一子网络210及第二子网络230的各个层中提取的特征进行比较来生成层比较信息。层比较信息可以包含与主图像特征和从属图像特征的差异有关的信息。处理器110能够以层比较信息为基础运算异常有关信息。为此,处理器110可以向比较模型250的对应的层提供生成的层比较信息、特征、信息。所提供的信息可以为特征、特征的位置信息、提取各个特征的像素的位置信息、原本图像的像素位置信息、层比较信息等。对应的层以第一子网络的层或第二子网络的层的位置为基础生成,上述第一子网络的层或第二子网络的层的位置为生成层比较信息的基础。更具体地,接近第一子网络的输入层及第二子网络的输入层的层与接近比较模型250的输出的层对应。在图13所示的矩形所示的图案可以为相互对应的层。即,图13所示的第一子网络的第一层211及第二子网络的第一层231可以与比较模型250的第三层对应。即,以第一子网络的输入层及第二子网络的输入层为基准的层的位置和以比较模型250的输出层为基准的层的位置可以相互对应。即,图13所示的第一层比较信息251可以向比较模型250的维数增加网络530的第三层253传递。图13所示的箭头257可以为向维数增加网络530中的对应的层传递从第一子网络及第二子网络导出的信息的动作。并且,箭头257可以为用于增加所减少的图像的维数的信息的传递。意味着层比较信息、特征信息的传递及连接的动作与和图12的u网络有关地示出的箭头513的动作类似。图13的孪生网络可以复原多个孪生网络的子网络(子网络及比较模型)形成u网络结构,这种层比较信息251向维数增加网络530侧传递来减少图像的维数并在增加维数的过程中有可能流失的像素的位置信息。因此本发明的图像比较方法具有如图13所示的神经网络结构,由此,可以执行对于异常部分图像分割。在本发明中,神经网络200能够以主图像310与从属图像330的差异为基础来分类从属图像330中是否包含异常数据。并且,在本发明中,神经网络200能够以主图像310与从属图像330的差异和层比较信息来表示存在于从属图像330的异常部分的像素。使用应用孪生网络的神经网络,本发明一实施例的图像比较方法均可学习在主图像与从属图像的一部分不相同的情况(两个图像大部分类似或一部分存在异常而导致细部一部分不相同的情况等)和大部分不相同的情况(因镜头变形、照明变化、纹理差异等,两个图像的相当部分不相同或不存在异常而细部类似的情况等)来分类。在本发明的图像比较方法中,在主图像与从属图像属于相同域名的情况下,可通过细部的差异判断在从属图像中是否存在异常数据。具体地,在主图像和从属图像均为包含花纹的织物有关的图像的情况下(纹理相同、质感相同的情况),两个图像中发生差异的部分为异常数据。并且,在本发明的图像比较方法中,主图像和从属图像属于相同域名的情况下,对细部进行比较来判断在从属图像中是否存在异常数据。具体地,在主图像为与包括花纹的织物有关的图像,从属图像为与包括星纹的皮革有关的图像的情况下(纹理、质感不相同的情况),无视在两个图像中发生不同的域名的很大的差异部分,通过观察细部来判断在从属图像中是否存在异常数据。因此,本发明的图像比较方法具有如下的效果,即,克服了即使在图像数据的旋转、变形、基于镜头变形误差、域名变更等情况下,也可以具有一般的识别性能,从而按域名确保学习数据,并按域名进行学习的以往神经网络的限制。图14为示出用于体现本发明一实施例的图像比较方法的单元的框结构图。根据本发明的一实施例,图像比较方法可通过如下单元体现。根据本发明的一实施例,图像比较方法可通过如下模块体现:单元610,预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据;单元630,以所接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息;以及单元650,输出通过上述网络函数确定的异常有关信息。作为代替性实施例,上述网络函数可包括:第一子网络,输入上述第一图像数据;以及第二子网络,输入上述第二图像数据。作为代替性实施例,上述网络函数还可包括与上述第一子网络及上述第二子网络中的至少一个串联(inseries)的比较模型。作为代替性实施例,上述第一子网络、上述第二子网络及上述比较模型中的至少一个可包括深度神经网络(deepneuralnetwork,dnn)结构。作为代替性实施例,上述第一子网络及上述第二子网络中的至少一个可包括上述深度神经网络结构中的卷积神经网络结构。作为代替性实施例,上述比较模型可包括上述深度神经网络结构中的反卷积神经网络结构。作为代替性实施例,上述比较模型可以构成上述第一子网络及上述第二子网络中的至少一个子网络和u网络结构的至少一部分。作为代替性实施例,上述第一子网络及上述第二子网络可以共享至少一个具有相同加权值的链接。作为代替性实施例,上述第一子网络及上述第二子网络可以构成孪生网络的至少一部分。作为代替性实施例,用于确定异常有关信息的单元630可包括:以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础生成至少一个层比较信息的单元;以及以所生成的上述层比较信息为基础运算上述异常有关信息的单元。作为代替性实施例,用于运算异常有关信息的单元可包括向上述比较模型的对应的层提供所生成的上述层比较信息的单元。作为代替性实施例,上述对应的层能够以上述第一子网络的层或上述第二子网络的层的位置为基础来确定,上述上述第一子网络的层或上述第二子网络的层的位置为生成上述层比较信息的基础。作为代替性实施例,上述第一图像数据可以为仅包含不具有异常数据的正常状态图像数据的主图像,上述第二图像数据可以为从属图像。作为代替性实施例,上述异常有关信息可包含上述第二图像数据中存在异常的像素的位置信息有关数据。作为代替性实施例,上述第一图像数据及第二图像数据可具有相同大小。图15为示出用于体现本发明一实施例的图像比较方法的模块的框结构图。根据本发明的一实施例,图像比较方法可通过如下模块体现。根据本发明的一实施例,图像比较方法可通过如下模块体现:模块710,预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据;模块730,以所接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息;以及模块750,输出通过上述网络函数确定的异常有关信息。作为代替性实施例,用于确定异常有关信息的模块730可包括:以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础生成至少一个层比较信息的模块;以及以所生成的上述层比较信息为基础运算上述异常有关信息的模块。作为代替性实施例,用于运算异常有关信息的模块可包括向上述比较模型的对应的层提供所生成的上述层比较信息的模块。图16为示出用于体现本发明一实施例的图像比较方法的逻辑的框结构图。根据本发明一实施例,图像比较方法可通过如下的逻辑体现。根据本发明的一实施例,图像比较方法可通过如下逻辑体现:逻辑810,预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据;逻辑830,以所接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息;以及逻辑850,输出通过上述网络函数确定的异常有关信息。作为代替性实施例,用于确定异常有关信息的逻辑830可包括:以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础生成至少一个层比较信息的逻辑;以及以所生成的上述层比较信息为基础运算上述异常有关信息的逻辑。作为代替性实施例,用于运算异常有关信息的逻辑可包括向上述比较模型的对应的层提供所生成的上述层比较信息的逻辑。图17为示出用于体现本发明一实施例的图像比较方法的电路的框结构图。根据本发明一实施例,图像比较方法可通过如下的电路体现。根据本发明的一实施例,图像比较方法可通过如下逻辑体现:电路910,预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据;电路930,以所接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息;以及电路950,输出通过上述网络函数确定的异常有关信息。作为代替性实施例,用于确定异常有关信息的电路930可包括:,以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础生成至少一个层比较信息的电路;以及以所生成的上述层比较信息为基础运算上述异常有关信息的电路。作为代替性实施例,用于运算异常有关信息的电路可包括向上述比较模型的对应的层提供所生成的上述层比较信息的电路。本发明所属
技术领域
:的普通技术人员知道与在此追加揭示的实施例有关地说明的多种例示性逻辑块、结构、模块、电路、单元、逻辑及算法步骤通过电子硬件、计算机软件或两者的组合体现。为了明确例示硬件及软件的相互交换性,多种例示性组件、块、结构、单元、逻辑、模块、电路及步骤已在上述说明中说明了这些的功能性侧面。但是,是否体现为功能性硬件或软件取决于在整体系统附加的特定应用(application)及设计限制。本发明所属
技术领域
:的普通设计人员为了各个特定应用而可以体现通过多种方法说明的功能性,这些体现的确定不超出本发明的领域。图18为本发明一实施例的计算装置的框结构图。图18示出可以体现对于本发明实施例的例示性计算装置的简单且一般的示意图。如上所述,通常,本发明与可以在一个以上的计算机上执行的计算机可执行指令有关,只要是本发明所属
技术领域
:的普通技术人员就可以理解本发明可以与其他程序模块结合和/或硬件和软件的组合体现。通常,程序模块包括执行特定人物或者体现特定抽象数据类型的例程、程序、组件、数据结构、其他等。并且,只要是本发明所属
技术领域
:的普通技术人员就可以知道本发明的方法可通过包括单一处理器或多处理器计算机系统、微计算机、中心计算机、个人计算机、手持计算装置、基于微处理器或可编程家用电器、其他等(这些可以与一个以上有关的装置连接来工作)在内的其他计算机系统结构实施。本发明中说明的实施例也可以在通过某种任务以通过通信网络连接的远程处理装置执行的分散计算环境中实施。在分散计算环境中,程序模块可均位于逻辑及远程存储装置。通常,计算机包括多种计算机可读介质。可通过计算机接入的介质均可以为计算机可读介质,这种计算机可读介质包括易失性介质及非易失性介质、暂时性(transitory)介质及非暂时性(non-transitory)介质、移动式介质及非移动式介质。作为非限定性实施例,计算机可读介质可包括计算机可读存储介质及计算机可读传送介质。计算饥可读存储介质包括通过存储如计算机可读指令、数据结构、程序模块或其他数据的信息的任意方法或技术体现的易失性介质及非易失性介质、暂时性介质及非暂时性介质、移动式介质及非移动式介质。计算机存储介质包括随机存储器、只读存储器、带电可擦可编程只读存储器、闪存或其他存储技术、cd-只读存储器、数字光盘(dvd,digitalvideodisk)或其他光盘存储装置、磁带、磁带、磁盘存储装置或其他磁存储装置或可通过计算机接入并存储所需要的数据的任意其他介质,但并不局限于此。通常,计算机可读记录介质在如载波(carrierwave)或其他传送机制(transportmechanism)的非调制数据信号(modulateddatasignal)体现计算机可读指令、数据结构、程序模块或其他数据等并包括所有信息传递介质。非调制数据信号为以对信号内的信息进行编码的方式设定或改变信号的特性中的一个以上的信号。作为非限定例,计算机可读传送介质包括如有线网络或直接配线连接(direct-wiredconnection)的有线介质、音响、rf、红外线及其他无线介质。上述介质中的任意组合也包括在计算机可读传送介质的范围内。示出体现包括计算机1102的本发明的多个实施方式的例示性环境1100,计算机1102包括处理装置1104、系统存储器1106及系统总线1108。系统总线1108将包括系统存储器1106(并不局限于此)在内的系统组件与处理装置1104相连接。处理装置1104可为多种常用处理器中的任意处理器。双处理器及其他多处理器也可以被用成处理装置1104。系统总线1108可以为使用可以与存储总线、周边装置总线及多种常用总线中的任意总线的逻辑总线追加相互连接的多个类型的总线结构中的一种。系统存储器1106包括制度存储器1110及随机存储器1112。基本输入输出系统(bios)存储于只读存储器、电子程序控制只读存储器、带电可擦可编程只读存储器等的非易失性存储器1110,上述输入输出系统包括当启动时用于传送计算机1102内的结构要素之间的信息的基本程序。随机存储器1112也可以包括用于缓存数据的适当随机存储器等的高速随机存储器。计算机1102还包括内置型硬盘驱动器1114(hdd)(例如,eide,sata)、软盘驱动器1116(fdd)(例如,从可移动软盘1118读取或者在其进行记录)及光盘驱动器1120(例如,读取cd-rom盘1122或者从dvd等其他高容量光介质读取或者在其进行记录),上述内置型硬盘驱动器1114也可以在适当的框架(未图示)以外置型用途使用。硬盘驱动器1114、磁盘驱动器1116及光盘驱动器1120可分别通过硬盘驱动器接口1124、磁盘驱动器接口1126及光驱动器接口1128与系统总线1108相连接。用于体现外置型驱动器的接口1124包括通用串行总线(usb,universalserialbus)及ieee1394接口技术中的至少一个或两者。这些驱动器及与此连接的计算机可读介质提供数据、数据结构、计算机可执行指令、其他等的非易失性存储。在计算机1102的情况下,驱动器及介质以适当的数字形式存储任意数据。在对于上述计算机可读介质的说明中提及了硬盘驱动器、可移动软盘及cd或dvd等的可移动光介质,只要是本发明所属
技术领域
:的普通技术人员就可以知道极碟(zipdrive)、磁带、闪存卡、磁盘盒、其他等的可通过计算机读取的其他类型的介质也可以在例示性操作环境中使用,并且,任意介质可包括用于执行本发明的方法的计算机可执行指令。包括操作系统1130、一个以上的应用程序1132、其他程序模块1134及程序数据1136在内的多个程序模块可存储于驱动器及随机存储器1112。操作系统、应用、模块和/或数据的全部或其一部分也可缓存在随机存储器1112。本发明可以在多个商业可利用的操作系统或操作系统的组合中体现。用户可通过一个以上的有线、无线输入装置,例如,键盘1138及鼠标1140等点装置向计算机1102输入指令及信息。其他输入装置(未图示)可以为麦克风、ir遥控器、操作杆、游戏板、触控笔、触摸屏、其他等。这些及其他输入装置一般通过与系统总线1108相连接的输入装置接口1142与处理装置1104相连接,也可以通过并联端口、ieee1394串口、游戏端口、usb端口、ir接口、其他等接口连接。显示器1144或其他类型的显示装置也通过视频适配器1146等的接口与系统总线1108连接。除显示器1144之外,计算机通常包括扬声器、打印机、其他等周边输出装置(未图示)。计算机1102可使用通过有线和/或无线通信的多个远程计算机1148等的一个以上远程计算机的逻辑连接来在网络化的环境下工作。多个远程计算机1148可以为工作站、计算设备计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等装置或其他通常的网络节点,通常,包括对计算机1102记述的结构要素中的多个或全部,为了简化,仅示出了存储器存储装置1150。所示的逻辑连接包括近场通信网1152(lan)和/或更大的网络,例如,与远程通信网1154(wan)的有线、无线连接。这种近场通信网及远程通信网网络环境通常用在事务所及公司,减少内部网等的企业范围的计算机网络(enterprise-widecomputernetwork)的负担,这些均可以与全世界计算机网络,例如,互联网相连接。当在近场通信网网络环境中使用时,计算机1102通过有线和/或无线通信网络接口或适配器1156与本地网络1152相连接。适配器1156使近场通信网1152的有线或无线通信变得简单,上述近场通信网1152还包括为了与无线适配器1156进行通信而设置于其的无线接入点。当在远程通信网网络环境中使用时,计算机1102可包括调制解调器1158,或者包括与远程通信网1154上的通信计算设备相连接,或者通过互联网等通过远程通信网1154设定通信的其他单元。可以为内置型或外置型及有线或无线装置的调制解调器1158通过串口接口1142与系统总线1108相连接。在网络化的环境下,对计算机1102说明的多个程序模块或其一部分可存储于远程存储器存储装置1150。所示的网络连接为例示,可以使用在多个计算机之间设定通信链接的其他单元。计算机1102与通过无线通信配置来进行工作的任意无线装置或个体,例如,打印机、扫描仪、台式计算机和/或便携式计算机、个人数据助理(pda,portabledataassistant)、通信卫星、可无线检测标记有关的任意装置或场所及电话进行通信。这至少包括wi-fi及蓝牙无线技术。因此,如上所述,通信为预先定义的结构或者简单的至少2个装置之间的临时通信(adhoccommunication)。无线保真(wi-fi,wirelessfidelity)在没有有线的情况下也可以连接互联网等。wi-fi为可以使这些装置,例如,计算机可以在室内及室外,即,基站的接通圈内的任何位置可以收发数据的如单元电话的无线技术。wi-fi网络安全且可靠,为了提供高速的无线连接而使用称为ieee802.11(a,b,g,其他)的无线技术。为了使计算机与网络及有线网络(使用ieee802.3或以太网)连接而可以使用wi-fi。wi-fi网络在未授权2.4及5ghz无线频,例如,以11mbps(802.11a)或54mbps(802.11b)数据率进行工作,或者可以在包括两个频(双频)的产品中进行工作。本发明所属
技术领域
:的普通技术人员可以理解信息及信号可以利用任意多种不同的技术及工法来表现。例如,可以在上述说明中参照的数据、指示、指令、信息、信号、比特、符号及芯片可通过电压、电流、电磁波、磁场或粒子、光学场或粒子或这些的任意结合表现。本发明所属
技术领域
:的普通技术人员可以理解在此揭示的实施例有关的说明的多种例示性逻辑块、处理器、单元、电路及算法步骤通过电子硬件(为了便利,在此称之为“软件”)、多种形态的程序或设计代码或这些所有的组合体现。为了明确说明硬件及软件的这种相互互换性,多种例示性组件、块、模块、电路及步骤和这些有关的功能已进行了说明。这种功能是否在硬件或软件体现受到对特定应用及整个系统分配的设计约束的影响。本发明所属
技术领域
:的普通技术人员可以体现对各个特定应用程序以多种方式说明的功能,这种体现确定并不超出本发明的范围。在此揭示的多种实施例可通过方法、装置或标准编程和/或使用工程技术的制造物品(article)体现。术语“制造物品”包括可以从任意计算机可读装置接入的计算机程序、载体或介质(media)。例如,计算机可读介质包括磁存储装置(例如,硬盘、软盘、磁条等)、光盘(例如,cd、dvd等)、智能卡及闪存装置(例如,带电可擦可编程只读存储器、卡、棒、秘钥驱动器等),但并不局限于此。并且,在此揭示的多种存储介质包括用于存储信息的一个以上的装置和/或其他机械可读介质。在所揭示的处理器中的步骤的特定顺序或阶层结构为例示性访问的一例。基于设计优先顺序,在本发明的范围内,处理步骤的特定顺序或阶层结构可以再排列。附加的发明要求保护范围按采样顺序提供多种步骤的元素,并不局限于揭示的特定顺序或阶层结构。提供对于所揭示的实施例的说明,以使本发明所属
技术领域
:的普通技术人员可以利用或实施本发明。对于这种实施例的多种变形对本发明所属
技术领域
:的普通技术人员来说是显而易见的,在此定义的一般原理在不超出本发明的范围的情况下可适用于其他实施例。因此,本发明并不局限于在此揭示的实施例,可以在与在此揭示的原理及新特征一贯的最广的范围中解释。如上所述,在用于本发明的实施的最优形态记述了相关内容。产业上的可利用性本发明可用于在通过利用计算装置来对输入图像进行比较的领域中所使用的人工神经网络的训练。当前第1页1 2 3 当前第1页1 2 3 
技术特征:

1.一种图像比较方法,,其特征在于,包括:

预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据的步骤;

以上述接收的第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息的步骤;以及

通过上述网络函数来输出所确定的异常有关信息的步骤。

2.根据权利要求1所述的图像比较方法,其特征在于,上述网络函数包括:

第一子网络,输入上述第一图像数据;以及

第二子网络,输入上述第二图像数据。

3.根据权利要求2所述的图像比较方法,其特征在于,上述网络函数还包括与上述第一子网络及上述第二子网络中的至少一个串联的比较模型。

4.根据权利要求3所述的图像比较方法,其特征在于,上述第一子网络、上述第二子网络及上述比较模型中的至少一个包括深度神经网络结构。

5.根据权利要求4所述的图像比较方法,其特征在于,上述第一子网络及上述第二子网络中的至少一个包括上述深度神经网络结构中的卷积神经网络结构。

6.根据权利要求4所述的图像比较方法,其特征在于,上述比较模型包括上述深度神经网络结构中的反卷积神经网络结构。

7.根据权利要求4所述的图像比较方法,其特征在于,上述比较模型构成上述第一子网络及上述第二子网络中的至少一个子网络和u网络结构的至少一部分。

8.根据权利要求3所述的图像比较方法,其特征在于,上述第一子网络及上述第二子网络共享至少一个具有相同加权值的链接。

9.根据权利要求8所述的图像比较方法,其特征在于,上述第一子网络及上述第二子网络构成孪生网络的至少一部分。

10.根据权利要求3所述的图像比较方法,其特征在于,确定上述异常有关信息的步骤包括:

以上述第一子网络的至少一个层及上述第二子网络的至少一个层为基础来生成至少一个层比较信息的步骤;以及

以所生成的上述层比较信息为基础来运算上述异常有关信息的步骤。

11.根据权利要求10所述的图像比较方法,其特征在于,运算上述异常有关信息的步骤包括向上述比较模型的对应的层提供所生成的上述层比较信息的步骤。

12.根据权利要求11所述的图像比较方法,其特征在于,上述对应的层以上述第一子网络的层或上述第二子网络的层的位置为基础来确定,上述第一子网络的层或上述第二子网络的层的位置为生成上述层比较信息的基础。

13.根据权利要求1所述的图像比较方法,其特征在于,

上述第一图像数据为仅包含不具有异常数据的正常状态图像数据的主图像,

上述第二图像数据为从属图像。

14.根据权利要求13所述的图像比较方法,其特征在于,上述异常有关信息包含上述第二图像数据中存在异常的像素的位置信息有关数据。

15.根据权利要求1所述的图像比较方法,其特征在于,上述第一图像数据及第二图像数据具有相同大小。

技术总结
本发明的一实施例揭示图像比较方法。上述图像比较方法包括:预先学习的网络函数接收具有相互关联性的第一图像数据及第二图像数据的步骤;以接收的上述第一图像数据及第二图像数据为基础来确定第二图像数据的异常有关信息的步骤;以及通过上述网络函数来输出所确定的异常有关信息的步骤。

技术研发人员:宋基永;康鎣辛
受保护的技术使用者:SUALAB有限公司
技术研发日:2018.07.30
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-47688.html

最新回复(0)