本发明涉及机器视觉领域，具体涉及一种基于深度学习和聚类的语义图像分割方法和系统。
背景技术：
语义图像分割的目的是分类出每一块区域的语义，即这块区域是什么物体，也就是从图像中把所有物体都指出它们各自的类别，并分割出来。目前通常采用分割的方式有采用深度学习神经网络工具实现图像分割和子空聚类方式。但他们各自存在优缺点。
深度学习神经网络方式通过让计算机自动学习方式提取特征数据，将特征学习融入到建立模型过程中，减少了人为设计特征造成的不完备，已达到了分类性能较优的特点，但是往往为了达到很好的精度，需要大数据支撑，尤其全连接层的网络参数量非常大，甚至比多个卷积层的参数量还要大得多，导致系统计算的时间复杂度急剧提升。
子空间聚类是实现高维数据聚类的而有效途径，预先进行降维，常利用子空间聚类方法构建出有利于分割的图来解决复杂图像分割问题，复杂图像区域特征数据维度较高且存在大量无关属性，难以形成簇，即数据丰富而信息贫乏问题。但是，子空间聚类方法要求数据之间线性表示，可现实图像数据通常不能在输入空间中互相线性地表示，此时子空间分割就变得困难，目前一般采用基于内核的方法，但内核方法类似于基于模板的方法，其性能在很大程度上取决于内核函数的选择，内核函数选择又具有经验性，且非线性变换不明确，不能确定预定义内核是否会产生适合子空间聚类的隐式特征空间，给处理大规模数据集时带来困难。
技术实现要素：
本发明所要解决的技术问题是现有语义图像分割技术中，系统数据量大且计算复杂和特征数据难以形成簇，不便于提取特征数据的问题，目的在于提供一种基于深度学习和聚类的语义图像分割方法和系统，解决如何避免复杂计算和更好提取特征数据的问题。
本发明通过下述技术方案实现：
一种基于深度学习和聚类的语义图像分割方法，其特征在于，包括以下步骤：
s1:通过卷积神经网络，对原图像进行卷积和池化，得到原图像的线性特征矩阵；
s2:将所述线性特征矩阵，进行子空间聚类，得到聚类后的特征数据；
s3:将所述聚类后的特征数据，通过反卷积和上采样，处理至与原图像相同的像素，得到分割后的图像。
首先采用深度学习方法通过卷积神经网络，对原图像特征数据进行多层卷积和池化，也就是一个分层非线性变换的过程，得到原图像的线性特征矩阵，并通过最高池化层传输到子空间聚类层，由于通过卷积和池化后的图像特征具有线性，使得子空间分割就变得容易。通过对子空间进行重构稀疏后，得到一个亲和度矩阵，再用谱聚类的方式进行聚类。本发明用子空间聚类层替代卷积神经网络的全连接层，减少了全连接层分类模式带来的计算时间长和计算难度大。再通过稀疏子空间聚类方法实现了对特征数据的聚类，最后为了提高分割精度，本发明采用由深度神经网络中的反卷积和上采样的方式，将分割后的图像恢复至原像素后输出。
进一步的，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤s1包括以下子步骤：
所述卷积神经网络的低层网络，使用m卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用n卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述m卷积核的数量少于所述n卷积核的数量；
所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；
所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
本发明是基于深度学习和聚类的语义图像分割，通过学习一个明确的映射，使子空间更加可分。即首先采用深度学习方法通过卷积神经网络实现对特征数据分层非线性变换提取，即依次从低层网络通过较少卷积核卷积运算提取简单共性的特征，到高层网络选用较多卷积核实现对复杂特征的提取，然后将最高层池化层提取的特征通过稀疏子空间聚类方法实现特征数据聚类，最后经由深度神经网络构成的解码层将分割后的图像恢复原像素后输出。
进一步的，所述子空间聚类为稀疏子空间聚类，所述步骤s2包括以下子步骤：将所述线性特征矩阵通过子空间进行稀疏化处理，得到稀疏系数矩阵，根据所述稀疏系数矩阵，计算图像各接点之间的相似度，得到亲和度矩阵，对所述亲和度矩阵进行谱聚类，得到聚类后的特征数据。优选的，通过稀疏系数将所述线性特征矩阵分割成不同的子空间。优选的，所述谱聚类采用k均值聚类算法。
进一步的，步骤s3所述反卷积的卷积层数与步骤s1所述卷积的卷积层数相同。当图像特征数据映射被修复为，与原输入图像分辨率相同的时候，即可停止卷积操作，得到分割后的图像。
另外，一种基于深度学习和聚类的语义图像分割系统，包括：
输入单元：用于输入原图像；
编码单元：用于通过卷积神经网络，对原图像进行卷积和池化，得到原图像的线性特征矩阵；
聚类单元：用于将所述线性特征矩阵，进行子空间聚类，得到聚类后的特征数据；
解码单元：用于将所述聚类后的特征数据，通过反卷积和上采样，处理至与原图像相同的像素，得到分割后的图像；
输出单元：用于输出所述分割后的图像。
本发明与现有技术相比，具有如下的优点和有益效果：
卷积神经网络具有提取图像数据特征，而且是监督学习，同时在神经网络中引入子空间聚类方法可通过谱聚类的输出，监督卷积编码层各层特征学习模块，减少卷积神经网络工作时需要的大量标记数据，实现对卷积神经网络的无监督学习，避免了卷积神经网络全连接层对大量数据的运算。通过卷积神经网络学习一组显式非线性映射函数，以将输入映射到另一个空间，并使用新空间中的样本表示来计算亲和度矩阵，从而实现子空间聚类方法。通过神经网络训练后降低特征数据噪声，提高子空间聚类模型对噪声的鲁棒性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明示意图。
图2为实施例2的设计框图。
图3为全连接层神经网络。
图4为子空间聚类层替代全连接层设计原理图。
图5为实施例4的特征分类结果。
图6全连接层分类示意图。
图7为实施例5卷积神经网络解码层设计框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例是一种基于深度学习和聚类的语义图像分割方法，设计原理如图1所示。即首先采用深度学习方法通过卷积神经网络(cnn)的编码层，实现对原图像的特征数据进行分层非线性变换，并通过最高池化层传输到子空间聚类层，通过稀疏子空间聚类方法实现特征数据聚类，最后为了提高分割精度，本发明采用由深度神经网络构成的解码层将分割后的图像恢复原像素后输出。
实施例2
本实施例是在实施例1的基础上，详细阐述深度神经网络编码层的原理。此编码层的深度神经网络可选bp神经网络、rnn神经网络、cnn等神经网络架构。本发明中利用卷积神经网络(cnn)从图像信息中提取数据特征的强大功能，在深度神经网络编码器层采用卷积神经网络(cnn)架构，卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-卷积层4-池化层4…..卷积层n-池化层n等层构成，通过多卷积核等实现对输入图片进行数据特征提取和信息过滤，直到得到信息价值更高更干净的数据即可停止卷积操作。此设计方法相对于通常用原始数据直接作为输入，具有数据分层多线性变化、降低子空间表示误差，提高子空间聚类模型对噪声的鲁棒性。卷积神经网络编码层设计框图如图2所示。
实施例3
本实施例是在实施例1的基础上，详细阐述子空间聚类层设计方法，用稀疏子空间聚类方法替代cnn深度神经网络的全连接层。全连接层的网络参数量非常大，甚至比多个卷积层的参数量还要大得多，以图3为例，若最大池化成输出20个12*12的图像，经过全连接第一层100个神经元作用后，整张图就有100*20*12*12＝288000个参数，这无疑增加了计算时间和难度。本发明避免了全连接产生分类模式，采用了在深度神经网络结构中引入稀疏子空间聚类方法，对前端顶层卷积层输出的特征矩阵利用稀疏子空间聚类方法实现对特征数据的分类，使子空间更加可分，如本设计中将整张图片的图像特征分成k个子空间
子空间表示模型：min||c||1s.t.x＝xc,cii＝0。
使用交替双向乘子法令f(c)＝x-xc，
计算步骤：1、
2、λk 1＝λk μkh(ck 1)
结果：通过子空间表示系数计算，得到系数矩阵c
相似度矩阵计算方法：w＝(|c| |ct|)/2
本发明使用子空间聚类层代替全连接层设计方法的好处是减少cnn工作时需要的大量标记数据，实现对神经网络的无监督学习。
实施例4
本实施例是在实施例3的基础上，以对6组特征数据矩阵实现对2类数据划分为例，说明子空间聚类层替代全连接层的过程。利用稀疏矩阵计算公式：min||c||1s.t.x＝xc,cii＝0；其中x表示最高池化层输出的6个特征数据矩阵，c表示系数矩阵且为稀疏矩阵，如式(1)所示：
通过采用交替双向乘子法对式(1)中的系数矩阵
该矩阵中含0的系数比较多，即可以用很少的数据量表示特征中的数，以式(1)中的x11用6组数据中相应的其他数据表示如式(3)所示：
x11＝x12*0 x13*1/2 x14*1/2 x15*0 x16*0
x12＝x11*0 x13*0 x14*0 x15*1/4 x16*3/4
………………………..
………………………..
………………………..
x16＝x11*0 x12*1/2 x13*0 x14*0 x15*1/2
即通过很少数据量计算就可将
在对其特征值进行聚类前并不需要知道有a和b类，仅需知道类别数量即可完成分类，他并不需要像神经网络学习一样分类之前需要确切知道每类的类别。
实施例5
本实施例是以实施例4的计算条件下，采用全连接方式对6组特征数据矩阵实现对a、b两类数据分类过程：
第一步：需要给定a、b标签
第二步：建立全连接层，并构建隐含层，6组特征值中的所有向量共30个向量与隐含层中的每一层每一个神经元都要用权值连接并反复调整连接权权值。如图6所示。
实施例6
本实施例是在实施例1的基础上，详细阐述深度神经网络解码层的原理。输入图像经过深度神经网络编码器层的卷积和池化操作后输出的数据已经被压缩为较低像素的图像，如果直接用最高层图像特征进行分割，分割的目标图像边缘细节会比较模糊，因为cnn越高层的特征较复杂，语义信息更丰富，但cnn底层特征通常包含很多共性特征，包含更多的边缘、位置等信息。因此，为了提高图像分割精度在输出层输出清晰的分割图像，此时设计深度神经网络解码层，通过上采样和反卷积操作将特征图处理成原始图像大小。解码层具体由上采样层1-卷积层n 1-上采样层2-卷积层n 2-上采样层3-卷积层n 3…..等层构成。为了防止过拟合现象，解码器中卷积层的层数可与编码层中卷积层层数相同，当特征映射被修复为与原输入图像分辨率相同的时候即可停止卷积操作，最后在输出层输出分割后的图像。深度神经网络解码层设计框图如图7所示。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种基于深度学习和聚类的语义图像分割方法，其特征在于，包括以下步骤：
s1:通过卷积神经网络，对原图像进行卷积和池化，得到原图像的线性特征矩阵；
s2:将所述线性特征矩阵，进行子空间聚类，得到聚类后的特征数据；
s3:将所述聚类后的特征数据，通过反卷积和上采样，处理至与原图像相同的像素，得到分割后的图像。
2.根据权利要求1所述的基于深度学习和聚类的语义图像分割方法，其特征在于，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤s1包括以下子步骤：
所述卷积神经网络的低层网络，使用m卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用n卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述m卷积核的数量少于所述n卷积核的数量；
所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；
所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
3.根据权利要求1所述的基于深度学习和聚类的语义图像分割方法，其特征在于，所述子空间聚类为稀疏子空间聚类，所述步骤s2包括以下子步骤：将所述线性特征矩阵通过子空间进行稀疏化处理，得到稀疏系数矩阵，根据所述稀疏系数矩阵，计算图像各接点之间的相似度，得到亲和度矩阵，对所述亲和度矩阵进行谱聚类，得到聚类后的特征数据。
4.根据权利要求3所述的基于深度学习和聚类的语义图像分割方法，其特征在于，通过稀疏系数将所述线性特征矩阵分割成不同的子空间。
5.根据权利要求3所述的基于深度学习和聚类的语义图像分割方法，其特征在于，所述谱聚类采用k均值聚类算法。
6.根据权利要求1所述的基于深度学习和聚类的语义图像分割方法，其特征在于，步骤s3所述反卷积的卷积层数与步骤s1所述卷积的卷积层数相同。
7.一种基于深度学习和聚类的语义图像分割系统，其特征在于，包括：
输入单元：用于输入原图像；
编码单元：用于通过卷积神经网络，对原图像进行卷积和池化，得到原图像的线性特征矩阵；
聚类单元：用于将所述线性特征矩阵，进行子空间聚类，得到聚类后的特征数据；
解码单元：用于将所述聚类后的特征数据，通过反卷积和上采样，处理至与原图像相同的像素，得到分割后的图像；
输出单元：用于输出所述分割后的图像。
8.根据权利要求7所述的基于深度学习和聚类的语义图像分割系统，其特征在于，所述编码单元包括由低到高的多层网络，每层网络均包括卷积和池化，包括：
所述编码单元的低层网络，使用m卷积核进行卷积运算，通过池化提取到简单共性特征数据，所述编码单元的高层网络，使用n卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述m卷积核的数量少于所述n卷积核的数量；
所述编码单元的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述编码单元的最低层网络卷积和池化的对象，为原图像；
所述编码单元的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。
9.根据权利要求7所述的基于深度学习和聚类的语义图像分割系统，其特征在于，所述聚类单元为稀疏子空间聚类单元，用于：将所述特征矩阵通过子空间进行稀疏化处理，得到亲和度矩阵，对所述亲和度矩阵进行谱聚类，得到聚类后的特征数据。
10.根据权利要求7所述的基于深度学习和聚类的语义图像分割系统，其特征在于，所述解码单元进行反卷积的卷积层数与所述编码单元进行卷积的卷积层数相同。
技术总结