本发明涉及垃圾分类领域，具体涉及一种基于深度学习的垃圾分类装置。
背景技术：
垃圾分类是对垃圾收集处置传统方式的改革，是对垃圾进行有效处置的一种科学管理方法。人们面对日益增长的垃圾产量和环境状况恶化的局面，如何通过垃圾分类管理，最大限度地实现垃圾资源利用，减少垃圾处置量，改善生存环境质量，是当前世界各国共同关注的迫切问题之一。垃圾分类概念虽早已提出，但在中国并没有真正实施。
深度学习是机器学习领域中的一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。深度学习作为机器学习中神经网络技术进一步的发展思想，以分布式的结构自动地学习数据的特征表征，利用深度学习算法实现对垃圾的分类为新亮点。
技术实现要素：
为了克服人工对部分物品分类情况不了解，分类效率低下，分类实施情况不理想的不足，本发明提供一种可以通过五种查询方式实现垃圾分类的基于深度学习的垃圾分类装置。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的垃圾分类装置，所述垃圾分类装置包括：
图像采集模块，用于采集待分类垃圾的图像；
垃圾名称识别模块，用于利用垃圾名称识别模型对待分类垃圾图像进行识别，获得待分类垃圾的垃圾名称，所述垃圾名称识别模型以卷积神经网络分类器为基础构建获得；
垃圾类别分类模块，用于利用知识图谱确定所述垃圾名称所属的垃圾类别以实现垃圾分类，所述知识图谱表达垃圾名称与垃圾类别所属关系。
优选地，所述垃圾名称识别模型的构建过程包括：
以mobilenet_v2为基础，限定输入图像尺寸为224×224×3；
以预测识别结果和样本标签的交叉熵为损失函数，利用训练样本对所述mobilenet_v2进行训练，以获得垃圾名称识别模型。
优选地，在训练时，采用小批量梯度下降方法进行训练，并采用十折交叉验证。
优选地，所述图像采集模块包括图像获取模块，所述图像获取模块通过访问系统相册或文件获得待分类垃圾的图像。
优选地，所述图像采集模块包括拍照获取模块，所述拍照获取模块用于通过移动设备的摄像头对垃圾进行拍照，获得待分类垃圾的图像。
优选地，所述图像采集模块包括图片实时获取模块，所述图片实时获取模块通过移动设备的摄像功能对垃圾进行实时摄像，并访问移动设备的摄像头预览的图像，以获得待分类垃圾的图像。
优选地，所述垃圾分类装置还包括文本采集模块，所述文本采集模块用于采集用户输入的垃圾名称，或者通过扫描文本框扫描获取垃圾名称。
优选地，所述垃圾分类装置还包括语音采集模块，所述语音采集模块采集语音数据，并将所述语音数据转化成文字表示的垃圾名称。
本发明的技术构思为：基于深度学习算法，利用mobilenet_v2网络模型实现垃圾的分类。首先进行数据集的获取，再构建卷积神经网络分类器，根据样本数据集对分类器进行训练，实现对垃圾的分类。并且构建垃圾分类知识图谱，实现可以通过相册图片识别、拍照识别、图片实时识别、文本搜索识别和语音识别这五种查询方式获取各种生活垃圾的类别及相应处理办法。
本发明的有益效果主要表现在：提出了通过深度学习算法实现对垃圾的分类的思想，并且提供了相册图片识别、拍照识别、图片实时识别、文本搜索识别和语音识别五种查询方式获取垃圾的类别及相应处理办法，有效方便地给用户提供了生活垃圾的分类方法。在实际情况中，提高了分类效率，解决了人工对部分物品分类情况不了解，垃圾类别的划分模糊等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明的实施例中基于深度学习的垃圾分类装置的结构示意图；
图2是本发明的实施例中mobilenet_v2网络具体结构图；
图3是本发明的实施例中mobilenet_v2网络模型图；
图4是本发明的实施例中有害垃圾所构成的知识图谱；
图5是本发明的实施例中干垃圾所构成的知识图谱；
图6是本发明的实施例中湿垃圾所构成的知识图谱；
图7是本发明的实施例中可回收物所构成的知识图谱；
图8是本发明的实施例中文本搜索识别流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
针对当前垃圾类别的划分模糊，分类效率低下，分类实施情况不理想等问题设计了一种基于深度学习的垃圾分类装置，将生活垃圾分成干垃圾、湿垃圾、可回收垃圾和有害垃圾四种垃圾，利用深度学习技术可以实现垃圾的自动识别并分类。用户可以通过文字搜索、实物拍摄、语音等方法查询各种生活垃圾的具体分类情况及相应处理办法，有效解决了人们对部分垃圾难以分辨，分类效率低下的问题。
参见图1～图8，实施例提供的基于深度学习的垃圾分类装置，包括
图像采集模块，用于采集待分类垃圾的图像；
垃圾名称识别模块，用于利用垃圾名称识别模型对待分类垃圾图像进行识别，获得待分类垃圾的垃圾名称，所述垃圾名称识别模型以卷积神经网络分类器为基础构建获得；
垃圾类别分类模块，用于利用知识图谱确定所述垃圾名称所属的垃圾类别以实现垃圾分类，所述知识图谱表达垃圾名称与垃圾类别所属关系。
其中，所述垃圾名称识别模型主要用于识别垃圾的名称，具体的构建过程包括：
(1)收集imagenet数据集，数据以“.bmp”后缀的图像文件类型保存，作为训练集。
使用的数据集是imagenet数据集的一个子集，其中训练集为128167张图片 标签，验证集为50000张图片 标签，用于最终的测试集为100000张图片，数据为1000个不同的类别。
(2)模型的构建
卷积神经网络作为经典的深度学习网络，被广泛地应用在计算机视觉和图像分类任务中，要在移动端部署深度学习模型，为了减小app的体积和加快图片的识别速度，决定采用mobilenet_v2网络模型(新的轻量级网络)，请参考图2和图3；对输入大小为224×224×3的初始样本图像，长、宽都为224个像素，通道数为3，构建卷积神经网络分类器，具体包括：
(a)将获取的样本图像经过1层卷积层(conv2d)，在初始的卷积层中使用长度为2的步幅，快速降低图像在网络训练过程中各层输出的特征图的大小，在卷积层中，使用relu6激活函数来避免sigmoid等激活函数可能带来的梯度饱和问题，改善网络的训练过程；
(b)再经过1层卷积层后依次经过17层bottleneck层；
参考图2，图中t是输入通道的倍增系数(即中间部分的通道数是输入通道数的多少倍)，n是该模块重复次数，c是输出通道数，s是该模块第一次重复时的步长。可知7层bottleneck分别重复了1、2、3、4、3、3、1次，累加共经过了17层bottleneck层。
(c)在经过17层bottleneck层后送入一层卷积层(conv2d)，步长为1，输出为7×7×1280的图像。再通过一层池化层(avgpool)，输出为1×1×1280的图像。
(d)最后将步骤2.3)获取的1×1×1280的图像通过1层卷积层(conv2d)，输出为k个类别的分类值，k表示垃圾名称。
(3)根据样本数据集对分类器进行训练，具体包括：
获取损失函数；选取的损失函数基于预测分类和样本标签的交叉熵，其格式采用one-hot编码表示，如[0,0,1,0,0,0]表示的样本的标签为6个类别中的第3个；交叉熵表达式如下：
其中yi是样本i的标签，yi'是样本i的预测值，hi是样本i的交叉熵。
首先将样本的预测分类和样本标签的log函数相乘取反，one-hot各维度的熵值累加得到交叉熵；
通过计算所有样本交叉熵的平均值达到当前训练数据的损失函数，表达式如下：
对构建好的卷积神经网络分类器进行训练，训练时采用小批量梯度下降(mini-batchgradientdescent，mbgd)的训练方法，每次从训练集中随机选择一批数据用于模型的训练，既可避免随机梯度下降(stochasticgradientdescent，sgd)产生的训练震荡，也可避免批量梯度下降(batchgradientdescent，bgd)对资源的过度消耗，批的大小选择128。考虑到网络更新的稳定性，学习率定为0.045，使用超参数自适应调整的adam优化器进行训练，训练目标是通过梯度的前向和反向传播调整网络的结构参数，不断降低模型的损失函数值；
为避免实验偶然性的干扰，实验采用十折交叉验证，即将数据集分成10份，每次选取其中的9份用于训练，一份用于测试。
实施例中，知识图谱主要用于垃圾分类，参考图4～图7，对1000类垃圾按照国家分类标准进行分类，共分为4类：干垃圾、湿垃圾、可回收垃圾和有害垃圾。
在一个实施例中，所述图像采集模块包括图像获取模块，通过相册图片识别方式实现垃圾分类，主要是访问系统相册或文件中的图片并对其进行垃圾类别识别，并给出相应的投放建议。该模块涉及的技术主要包括：
访问系统相册或文件中的图片，将获取的图片输入至垃圾名称识别模型中获得该图片垃圾名称以实现垃圾识别；然后垃圾分类知识图谱对获得的垃圾名称进行匹配，获取垃圾类别及相应的介绍与投放要求。
在一个实施例中，所述图像采集模块包括拍照获取模块，通过拍照识别方式实现垃圾分类，主要是通过移动设备的摄像头对垃圾进行拍照，并对获得的图片进行垃圾类别识别，并给出相应的投放建议。该模块涉及的技术主要包括：
使用移动设备的摄像头对垃圾进行拍照，并将拍照获得的图片保存到一个文件中，将获取的图片输入垃圾名称识别模型中获得该图片的垃圾名称以实现垃圾识别，根据垃圾分类知识图谱对获取的垃圾名称进行匹配，获取垃圾类别及相应的介绍与投放要求。
在一个实施例中，所述图像采集模块包括图片实时获取模块，通过图片实时识别方式实现垃圾分类，主要是访问移动设备的摄像头预览的图像，并对获得的图像进行垃圾类别实时识别并输出结果，适用于大量垃圾需要分类的场景，可以加快分类的进度。在该功能上，采用mobilenetv2轻量化模型和tensorflowlite(tensorflow针对移动和嵌入式设备的轻量级解决方案)大大提高了实时识别的效果。具体包括：
使用移动设备的摄像功能对物品进行实时摄像，访问移动设备的摄像头预览的图像，将获取的图片输入至垃圾名称识别模型中获得该图片的垃圾名称以实现垃圾识别，根据垃圾分类知识图谱对获取的垃圾名称进行匹配，获取垃圾类别及相应的介绍与投放要求。
在一个实施例中，所述垃圾分类装置还包括文本采集模块，通过文本搜索识别方式实现垃圾分类，请参照图8，主要是通过文本搜索的方式，对获取的文本与建立的数据库进行匹配实现垃圾名称识别，并给出相应的投放建议。该模块涉及的技术主要包括：
利用建立的垃圾分类知识图谱构建垃圾分类数据库；初始化，并读取数据库数据；用户在用户端输入想要分类的物品名称；扫描文本框内容，获取扫描到的垃圾名称；将扫描到的垃圾名称与数据库数据对比，直到匹配成功，获取检索到物品所对应的图片及垃圾类别图片，并给出相应的投放建议。
在一个实施例中，所述垃圾分类装置还包括语音采集模块，通过语音识别方式实现垃圾分类，主要是通过语音的方式，对获取的语音进行识别并转化为文本，将文本与建立的数据库进行匹配实现垃圾名称识别，并给出相应的投放建议。该模块涉及的技术主要包括：
用户对移动端说出想要分类的物品名称，进行语音记录，用麦克风录音，录音的数据用speex语音压缩并保存在一个文件中，并录入垃圾名称，完成记录，利用aipspeech模块(百度语音识别模型)实现语音转文字功能将收集到的语音进行解析，转成文字，初始化，并读取数据库数据，将获取到的垃圾名称与数据库数据对比，直到匹配成功，获取检索到物品所对应的图片及垃圾类别图片，并给出相应的投放建议。
该深度学习的垃圾分类装置提高了分类效率，解决了人工对部分物品分类情况不了解，垃圾类别的划分模糊等问题。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
1.一种基于深度学习的垃圾分类装置，其特征在于，所述垃圾分类装置包括：
图像采集模块，用于采集待分类垃圾的图像；
垃圾名称识别模块，用于利用垃圾名称识别模型对待分类垃圾图像进行识别，获得待分类垃圾的垃圾名称，所述垃圾名称识别模型以卷积神经网络分类器为基础构建获得；
垃圾类别分类模块，用于利用知识图谱确定所述垃圾名称所属的垃圾类别以实现垃圾分类，所述知识图谱表达垃圾名称与垃圾类别所属关系。
2.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述垃圾名称识别模型的构建过程包括：
以mobilenet_v2为基础，限定输入图像尺寸为224×224×3；
以预测识别结果和样本标签的交叉熵为损失函数，利用训练样本对所述mobilenet_v2进行训练，以获得垃圾名称识别模型。
3.如权利要求2所述的基于深度学习的垃圾分类装置，其特征在于，在训练时，采用小批量梯度下降方法进行训练，并采用十折交叉验证。
4.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述图像采集模块包括图像获取模块，所述图像获取模块通过访问系统相册或文件获得待分类垃圾的图像。
5.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述图像采集模块包括拍照获取模块，所述拍照获取模块用于通过移动设备的摄像头对垃圾进行拍照，获得待分类垃圾的图像。
6.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述图像采集模块包括图片实时获取模块，所述图片实时获取模块通过移动设备的摄像功能对垃圾进行实时摄像，并访问移动设备的摄像头预览的图像，以获得待分类垃圾的图像。
7.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述垃圾分类装置还包括文本采集模块，所述文本采集模块用于采集用户输入的垃圾名称，或者通过扫描文本框扫描获取垃圾名称。
8.如权利要求1所述的基于深度学习的垃圾分类装置，其特征在于，所述垃圾分类装置还包括语音采集模块，所述语音采集模块采集语音数据，并将所述语音数据转化成文字表示的垃圾名称。
技术总结