1.本实用新型属于垃圾分类技术领域，具体涉及一种基于深度学习和无线串行通信的垃圾分类识别控制结构。
背景技术：2.垃圾分类作为资源回收利用的重要环节之一，可以有效地提高资源回收利用效率，减轻环境污染带来的危害。传统的图像分类算法很难满足垃圾分拣设备的要求，利用卷积神经网络检测出垃圾的类别及位置，借助舵机自动打开对应的垃圾桶，可以降低人工成本，提高分拣效率。例如董子源.基于深度学习的垃圾分类系统设计与实现[d].中国科学院大学(中国科学院沈阳计算技术研究所),2020一文中，以resnet101作为检测的主干网络,网络中加入注意力机制与特征融合机制的技术方案,并选择了ssd作为检测网络的baseline,配置多目标视频追踪的方法—sort法与deep sort法。又如张文博.基于深度卷积神经网络的生活垃圾分类方法研究[d].西京学院,2021一文中，公开了基于注意力机制的垃圾分类模型，通过引入注意力机制对模型进行改进,选定res net50+cbam作为目标检测模型的主干网络。
[0003]
这些方案的缺点在于，神经网络算法过于复杂，运行时间长，占用内存过大。在低计算、低功耗设备上进行部署时，模型的内存占用必须要小。文中使用的resnet101、vgg16、inceptionv3、inceptionresnetv2等神经网络在部署时需要耗费大量的乘法器，分时复用时会产生很高的延时，因此只有实验价值，没有实践价值。且神经网络算法准确率较低，神经网络算法准确率仅为90％。采用跟踪算法和目标检测算法，其局限性较大，可移植性弱，需要随着社会不断发展实时更新且仅适用于固定的垃圾种类的判别。
[0004]
杨皓文等.基于nb-iot的智能垃圾分类系统[j].物联网技术,2020,10(08):47-51.将利用神经网络算法训练的模型数据搭载在树莓派(raspberry pi)上,对读取的图像进行分类检测,通过控制电机将垃圾送入其所属分类的收纳桶中。李美锟等.基于gpu深度学习的家用智能垃圾桶设计[j].电子测试,2021(01):8-11，使用gpu加速，并结合硬件树莓派处理垃圾的图像信息，通过单片机控制步进电机实现垃圾分类。这些方案的缺点在于：树莓派单片机成本过高，单个树莓派单片机成本近千元，部署到垃圾桶上价格昂贵，没有实用价值。
技术实现要素：[0005]
本实用新型的目的是用较为简单的神经网络，在低内存占用的情况下获得更好的准确率，解决树莓派单片机部署成本较高的问题，用简单的控制电路代替树莓派单片机使得单个垃圾桶成本可控。
[0006]
为了解决上述技术问题，本实用新型采用如下方案实现：
[0007]
基于深度学习和无线串行通信的垃圾分类识别控制结构，包括图像采集模块、图像处理模块、主控芯片、无线串口通信模块以及安装在相应类别垃圾筒上的舵机，图像采集
模块采集所投垃圾的照片并传送给图像处理模块，图像处理模块识别所投垃圾的种类，并将识别结果转化成字符串，由无线串口通信模块发送至主控芯片，主控芯片接收无线串口通信模块通过串口发送的字符串信息，并进行协议解析，提取出垃圾所属类别，并根据相应的类别，控制不同类别垃圾筒上的舵机工作。
[0008]
进一步地，图像采集模块包括设置在垃圾投放区域的摄像头，图像处理模块包括上位机和训练好的用于垃圾分类的神经网络算法，主控芯片为mm32f3277单片机，无线串口通信模块实现外设与单片机的信息交互。
[0009]
进一步地，主控芯片的a0-a3引脚负责输出pwm波，端子p4-p7分别连接四个舵机，通过改变信号的占空比来调整舵机的转动角度；主控芯片的c10-c12引脚负责输出串口控制信号，无线串口通信模块与端子wireless相连接。
[0010]
优选地，还包括dc-dc直流可调降压模块和线性稳压模块，7.2v的锂电池作为电源，经过dc-dc直流可调降压模块后为舵机和无线串口通信模块供电，再经过线性稳压模块后为单片机供电。
[0011]
本产品采用7.2v的锂电池作为电源。由于舵机驱动以及无线串口通信模块需要5v供电，所以需要采用一个直流降压模块进行电压转换。由于从直流降压模块输出的电压为5v，单片机的芯片却需要3v3的电压驱动。故本产品采用ams1117-3.3线性稳压芯片，并结合电路进行线性降压。
[0012]
优选地，线性稳压模块为ams1117-3.3线性稳压芯片。
[0013]
本控制结构的具体实施过程：
[0014]
1.用户将待检测垃圾放于识别区。
[0015]
2.摄像头对有固定背景的识别区拍照，通过matlab软件调用摄像头拍照并把数字图像以矩阵的形式存储在matlab的变量区域。
[0016]
3.将图像采集模块得到的数字图像矩阵输入到我们已经训练好的神经网络中，神经网络输出垃圾种类的结果。结果以浮点数1、2、3、4输出。
[0017]
神经网络输出规则：“1”代表可回收垃圾、“2”代表不可回收垃圾、“3”代表有害垃圾、“4”代表厨余垃圾。
[0018]
4.将识别结果转化成字符串的形式并将其作为无线串口通信的数据部分封装进协议帧。最后通过无线串口通信模块将该字符串发送给单片机。
[0019]
字符串转化协议：1转化成字符串“rec”,2转化成字符串“ueec”,3转化成字符串“haz”,4转化成字符串“kit”。
[0020]
5.单片机接收上位机通过串口传来的信息后，进行协议解析，提取出垃圾所属类别，并根据相应的类别控制不同的舵机工作。
[0021]
协议解析的过程：串口数据传输时选用字符串的形式。可回收垃圾采用“rec”，不可回收垃圾采用“ueec”，厨余垃圾采用“kit”，有害垃圾选用“haz”。当单片机接受到字符串时，先确认接收到的是完整帧，再判断接收到的字符串所指哪一类垃圾。根据垃圾种类，点亮主控芯片上的指示灯并打开相应的垃圾桶。
[0022]
6.舵机连接与垃圾桶盖的转轴处，可以控制垃圾桶盖的开合。舵机根据单片机的指令，进行相应角度的转动，打开相应类别的垃圾桶盖。再经过3秒的延时，自动将垃圾盖闭合。
[0023]
7.工作过程结束，可进行下一次的垃圾识别。
[0024]
与现有技术相比，本实用新型具有如下有益效果：
[0025]
本实用新型技术方案没有采用跟踪算法和目标检测算法，仍得到了高达97.1％的垃圾分类正确率，超过现有技术中的神经网络。
[0026]
本实用新型技术方案中，没有使用昂贵的树莓派单片机，使用mm32f3277作为mcu的核心板，经过编程后专门用于垃圾分类任务，专用性强且成本低。
附图说明
[0027]
图1为实用新型单片机主控芯片结构；
[0028]
图2为电源与dc-dc直流可调降压模块电性连接示意图；
[0029]
图3为线性稳压芯片的电路图；
[0030]
图4为电压核验电路的电路图；
[0031]
图5为主控芯片与无线串口通信模块电性连接示意图；
[0032]
图6为主控芯片与舵机电性连接示意图，其中6a-6d分别为端子p4-p7各连接一个舵机。
具体实施方式
[0033]
为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0034]
如图1-6所示，基于深度学习和无线串行通信的垃圾分类识别控制结构，包括图像采集模块、图像处理模块、主控芯片、无线串口通信模块以及安装在相应类别垃圾筒上的舵机。
[0035]
图像采集模块包括设置在垃圾投放区域的摄像头，本实施例中摄像头的型号为aoni anc酷晶，通过matlab软件调用摄像头对有固定背景的识别区拍照，用户将要投递的垃圾放在该区域拍照，数字图像以矩阵的形式存储在matlab的变量区域。
[0036]
图像处理模块包括上位机和训练好的用于垃圾分类的shufflenet神经网络算法，该模块主要作用是训练一个用于垃圾分类的神经网络算法，并将图像采集模块得到的数字图像矩阵输入到已经训练好的神经网络中，神经网络输出垃圾种类的结果，即可回收垃圾、不可回收垃圾、有害垃圾、厨余垃圾四种种类之一。垃圾的种类在计算机中以双精度浮点数1、2、3、4存储(1代表可回收垃圾、2代表不可回收垃圾、3代表有害垃圾、4代表厨余垃圾)。而后通过if语句，将识别结果转化成字符串的形式(1转化成字符串“rec”,2转化成字符串“ueec”,3转化成字符串“haz”,4转化成字符串“kit”)并将其作为无线串口通信的数据部分封装进协议帧以便后续无线串口通信模块转发。神经网络算法的训练中软件采用windows系统下的matlab深度学习工具箱，硬件采用intel core i5 9600kf和rtx 3060。将华为垃圾分类挑战赛的公开数据集作为数据集，以预训练的shufflenet神经网络为基础，加入了eca高效注意力模块和dropout层改进该算法。该部分以软件的形式被封装，软件基于matlab编程，通过compiler将其封装成可以脱离matlab实现的exe文件。当用户将垃圾放置
在识别区域后，点击该exe文件即可完成图像采集和图像处理两个模块的内容，并将识别结果以字符串的形式发送给单片机。字符串转化协议：1转化成字符串“rec”,2转化成字符串“ueec”,3转化成字符串“haz”,4转化成字符串“kit”。
[0037]
采用shufflenet神经网络算法，如下表1中第一行所示，相比于现有技术方案，其无论是在网络大小上还是在参数的个数上都比现有神经网络小很多。该神经网络仅需要有限个内存单元并能够保证算法的实时性。
[0038][0039]
主控芯片为mm32f3277单片机，主控芯片的a0-a3引脚负责输出pwm波，端子p4-p7分别连接四个舵机，通过改变信号的占空比来调整舵机的转动角度。主控芯片的c10-c12引脚负责输出串口控制信号，无线串口通信模块与端子wireless相连接。
[0040]
主控芯片接收无线串口通信模块通过串口发送的字符串信息，并进行协议解析，提取出垃圾所属类别，并根据相应的类别，控制不同类别垃圾筒上的舵机工作。协议解析的过程：串口数据传输时选用字符串的形式。可回收垃圾采用“rec”，不可回收垃圾采用“ueec”，厨余垃圾采用“kit”，有害垃圾选用“haz”。当单片机接受到字符串时，先确认接收到的是完整帧，再判断接收到的字符串所指哪一类垃圾。根据垃圾种类，点亮主控芯片上的指示灯并打开相应的垃圾桶。
[0041]
对于数据传送部分，采用串口通信的方式实现外设与单片机的信息交互。串口通信就是串口按位发送和接受字节的一种通信方式。串口通信模块在整个过程中起到承上启下的作用，它可以将上位机，如笔记本电脑识别结果与外设的驱动衔接起来。整个操作过程如下：
[0042]
(1)我们首先对上位机(摄像头)与下位机(单片机)的波特率、通信协议等进行统一。
[0043]
(2)上位机根据协议规范发送识别结果，即垃圾的类别。
[0044]
(3)下位机通过无线串口接收上位机发送的字符串，并进行解析。
[0045]
(4)当下位机成功接收到上位机发送的识别结果后，给设备控制部分发送工作指令。
[0046]
本结构外接7.4v锂电池进行供电。将7.4v作为dc-dc直流可调降压模块的输入电压，可以获得输出为5v的直流电压，5v电压用于给舵机供电，本实施例中，dc-dc直流可调降压模块的型号为lm2596s。将5v作为线性稳压模块的输入电压，可获得输出为3.3v的直流电压，3.3v用于给主控芯片供电，本实施例中，线性稳压模块的型号为ams1117-3.3。
[0047]
为检验电压转换的正确性、方便观察电压是否正常，采用电压核验电路将电压转换结果进行可视化处理。若电源未被开路，电压正常，则经过电阻rl4(5.1k)和rl2(5.1k)分
压，led与cpu3.3led可以正常亮。若电源被开路，电路中无电压，则led灭，如图4。
[0048]
本实施例中，舵机的型号为sg90 9g 180
°
，舵机的工作原理是根据输入信号的占空比转动相应的角度。本装置通过pwm技术改变信号的占空比进行舵机驱动，利用舵机的转动来控制垃圾桶盖的开合。利用芯片a0-a3引脚作为端口，设计相应的算法输出不同占空比的脉冲波形。
[0049]
以上述依据本实用新型的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项实用新型技术思想的范围内，进行多样的变更以及修改。本项实用新型的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
技术特征：1.基于深度学习和无线串行通信的垃圾分类识别控制结构，其特征在于，包括图像采集模块、图像处理模块、主控芯片、无线串口通信模块以及安装在相应类别垃圾筒上的舵机，图像采集模块采集所投垃圾的照片并传送给图像处理模块，图像处理模块识别所投垃圾的种类，并将识别结果转化成字符串，由无线串口通信模块发送至主控芯片，主控芯片接收无线串口通信模块通过串口发送的字符串信息，并进行协议解析，提取出垃圾所属类别，并根据相应的类别，控制不同类别垃圾筒上的舵机工作。2.根据权利要求1所述的基于深度学习和无线串行通信的垃圾分类识别控制结构，其特征在于，图像采集模块包括设置在垃圾投放区域的摄像头，图像处理模块包括上位机和训练好的用于垃圾分类的神经网络算法，主控芯片为mm32f3277单片机，无线串口通信模块实现外设与单片机的信息交互。3.根据权利要求2所述的基于深度学习和无线串行通信的垃圾分类识别控制结构，其特征在于，主控芯片的a0-a3引脚负责输出pwm波，端子p4-p7分别连接四个舵机，通过改变信号的占空比来调整舵机的转动角度；主控芯片的c10-c12引脚负责输出串口控制信号，无线串口通信模块与端子wireless相连接。4.根据权利要求3所述的基于深度学习和无线串行通信的垃圾分类识别控制结构，其特征在于，还包括dc-dc直流可调降压模块和线性稳压模块，7.2v的锂电池作为电源，经过dc-dc直流可调降压模块后为舵机和无线串口通信模块供电，再经过线性稳压模块后为单片机供电。5.根据权利要求4所述的基于深度学习和无线串行通信的垃圾分类识别控制结构，其特征在于，线性稳压模块为ams1117-3.3线性稳压芯片。
技术总结本实用新型公开了一种基于深度学习和无线串行通信的垃圾分类识别控制结构，包括图像采集模块、图像处理模块、主控芯片、无线串口通信模块以及安装在相应类别垃圾筒上的舵机，图像采集模块采集所投垃圾的照片并传送给图像处理模块，图像处理模块识别所投垃圾的种类，并将识别结果转化成字符串，由无线串口通信模块发送至主控芯片，主控芯片接收无线串口通信模块通过串口发送的字符串信息，并进行协议解析，提取出垃圾所属类别，并根据相应的类别，控制不同类别垃圾筒上的舵机工作。制不同类别垃圾筒上的舵机工作。制不同类别垃圾筒上的舵机工作。
技术研发人员：潘洋一 毕紫琪 李明泽 何进
受保护的技术使用者：河海大学
技术研发日：2022.05.17
技术公布日：2022/12/2
