本发明涉及智能农业装备技术开发与利用领域,具体是指一种冬虫夏草野外目标识别设备及方法。
背景技术:
冬虫夏草是中国独有的名贵药材,其具有调节免疫系统功能、抗肿瘤、抗疲劳等多种功效。冬虫夏草是青藏高原特有的菌物,分布地域局限,集中在海拔高度在3000米以上的区域,在我国的分布北起祁连山,南至滇西北高山,东自川西高原山地,西达喜马拉雅的大部分地区,包括有西藏、青海、四川、云南、甘肃等省区。
然而,当前冬虫夏草的采集主要通过纯人工的方式进行,每年四到六月,大批农民工、打工者前往产区采挖。然而,由于冬虫夏草生长稀少,露出于地上部分的草体小,所生长的地表杂草复杂,采挖过程犹如大海捞针。在搜寻过程中,采挖者需要跪地或匍匐于潮湿的山体,通过眼力缓慢寻找,随后挖掘。这样的传统开采方法存在如下三方面严重的问题:第一,这种纯人工开采的方式速度慢,效率低,通常一名熟练的采挖者每天只能发掘数十根虫草,因此需要消耗大量的人力进行开采。第二,由于虫草生长草甸潮湿、高原紫外线强烈,长时间匍匐搜寻过程对采挖者的身体具有较大的损害。第三,大量人工的驻留、在草甸上的大规模活动对草体、环境也会带来较大影响,损坏高原地区自然生态。
技术实现要素:
基于以上问题,本发明提供了一种冬虫夏草野外目标识别设备和方法。本发明可实现便于野外识别虫草目的,用识别设备在野外对目标进行搜寻,提高了野外搜寻冬虫夏草的效率,可更为有利搜寻冬虫夏草。
为解决以上技术问题,本发明采用的技术方案如下:
一种冬虫夏草野外目标识别设备,包括用于采集地表场景图像的成像设备和用于控制各部件与分析场景图像的核心控制及计算模块,成像设备与核心控制及计算模块之间通过传输线路电连接,核心控制及计算模块连接有用于警告冬虫夏草存在的警报模块和用于为设备提供电力的供电模块。
作为一种优选的方式,核心控制及计算模块包括电路主板、计算加速模块、计算芯片和存储设备,计算芯片上包含用于输出一个或多个存在冬虫夏草目标候选区域的第一级目标检测模块和用于判断场景图像是否存在冬虫夏草的第二级区域目标再判定模块,第一级目标检测模块包括用于检测冬虫夏草的目标检测器,第二级区域目标再判定模块包括用于判定冬虫夏草的判定器;警报模块与计算芯片连接,供电模块与电路主板连接。
作为一种优选的方式,警报模块为蜂鸣器与指示灯中一种或多种组成,供电模块为蓄电池与太阳能充电板中一种或多种组成。
作为一种优选的方式,成像设备上设有用于固定成像设备的固定装置,核心控制及计算模块设置在固定装置内。
作为一种优选的方式,成像设备上设有用于减轻成像设备晃动的稳定装置。
作为一种优选的方式,成像设备上设有用于保持成像设备与地表有恒定角度和距离的测量支架。
一种冬虫夏草野外目标识别方法,包括以下步骤:
s01:持成像设备对地表进行持续扫描,成像设备的成像系统实时对视野范围采集获取场景图像;
s02:成像设备将采集的场景图像通过传输线路传输至核心控制及计算模块;
s03:核心控制及计算模块对场景图像进行检测分析,若检测的场景图像中含有冬虫夏草,则进行s04步骤;否则继续处理从s01步骤获得的下一个场景图像;
s04:若判断场景图像含有冬虫夏草目标,则触发警示模块。
作为一种优选的方式,核心控制及计算模块的检测流程为:包括以下步骤:
s201:接收场景图像后,对场景图像进行常规的图像预处理并输出预处理图像;
s202:将预处理图像的分辨率调低后输出低分辨率图像;
s203:对低分辨率图像利用图像目标检测算法,输出一个或多个存在冬虫夏草的目标候选区域;
s204:依据目标候选区域,从预处理图像中截取对应目标候选框的高分辨率图像;
s205:依据高分辨率图像判断是否存在冬虫夏草。
为一种优选的方式,一种冬虫夏草野外目标识别方法,包括识别冬虫夏草的训练方法:包括以下步骤:
s301:收集含有冬虫夏草的初始图像;
s302:对初始图像中冬虫夏草所在矩形区域的两个顶点坐标进行坐标标定后输出初步处理图像;
s303:对初步处理图像进行图像处理生成二次处理图像,并计算二次处理图像中冬虫夏草的标定坐标信息,输出二次处理图像和二次处理图像中冬虫夏草的标定坐标信息;
s304:调整二次处理图像的图像分辨率后输出低分辨率二次处理图像,并依据分辨率调整的比例重新计算冬虫夏草的标定坐标信息后输出标定坐标信息;
s305:利用低分辨率二次处理图像和标定坐标信息训练第一级目标检测模块,获得目标检测器参数;
s306:依据二次处理图像和二次处理图像中冬虫夏草的标定坐标信息,从二次处理图像中裁取冬虫夏草所在的矩形图像区域并进行数据增强构造正样本,从二次处理图像中随机剪裁三倍于正样本目标数量的背景杂草矩形图像区域构造负样本,并将正、负样本矩形区域放缩至同样大小;
s307:利用正负两类样本训练第二级区域目标再判定模块,获得判定器参数。
作为一种优选的方式,第一级目标检测模块采用深度神经网络,第二级区域目标再判定模块采用卷积神经网络。
与现有技术相比,本发明的有益效果是:
(1)本发明通过成像设备将采集地表视频图像传输给核心控制及计算模块进行分析,并用警报装置对视频图像内的冬虫夏草报警,可快速有效发现冬虫夏草,降低了人工搜寻冬虫夏草的难度;
(2)本发明通过稳定装置减少使用过程中成像设备的抖动,增强成像设备稳定性,有利于使视频图像更加清晰;
(3)本发明通过测量支架保持成像设备与地表之间的角度和距离,且测量支架与地表接触,有利于确定成像视野的范围;
附图说明
图1为本发明的结构示意图。
图2为核心控制及计算模块的检测流程图。
图3为第一级目标检测模块与第二级目标检测模块的训练方法流程图。
其中,1成像设备,2稳定装置,3固定装置,4测量支架,5传输线路,6核心控制及计算模块,7警报模块,8供电模块,601图像预处理模块,602图像分辨率调整模块,603第一级目标检测模块,604候选区高分辨图像模块,605第二级区域目标再判定模块,701人工标定训练数据模块,702数据扩增模块,703图像分辨率调整模块,704高分辨目标及背景模块。
具体实施方式
下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。
实施例1:
参见图1,一种冬虫夏草野外目标识别设备,包括用于采集地表场景图像的成像设备1和用于控制各部件与分析场景图像的核心控制及计算模块6,成像设备1与核心控制及计算模块6之间通过传输线路5电连接,核心控制及计算模块6连接有用于警告冬虫夏草存在的警报模块7和用于为设备提供电力的供电模块8。
在本实施例中,成像设备1用于采集地表视频图像,地表视频图像通过传输线路5传输给核心控制及计算模块6,核心控制及计算模块6用于控制各个部件的电子控制及视频数据的计算分析,从而分析出成像设备1的成像视野内是否存在冬虫夏草,当成像视野内存在冬虫夏草被核心控制及计算模块6检测出来时,警报模块7发出警示信息,供电模块8用于对成像设备1、核心控制及计算模块6和警报模块7供电,从而降低人工搜寻冬虫夏草的难度。
核心控制及计算模块6包括电路主板、计算加速模块、计算芯片和存储设备,计算芯片上包含于用于输出一个或多个存在冬虫夏草目标候选区域的第一级目标检测模块603和用于依据图像判断图像是否存在冬虫夏草第二级区域目标再判定模块605,第一级目标检测模块603包括用于检测冬虫夏草的目标检测器,第二级区域目标再判定模块605包括用于判定冬虫夏草的判定器;警报模块7与计算芯片连接,供电模块8与电路主板连接。
电路主板采用upsquaredboard或树莓派,计算加速模块采用计算加速芯片,计算加速芯片是把核心控制及计算模块里训练好的模型参数进行压缩,再将压缩后的模型及参数载入movidius硬件,movidius硬件具有专用芯片vpu(vectorprocessingunit),可以加快核心控制及计算模块进行目标检测的推演速度,计算芯片采用cpun4200或bcm2837,存储设备采用16g内存、256g硬盘或64gtf卡。警报模块7为蜂鸣器与指示灯中一种或多种组成,供电模块8为蓄电池与太阳能充电板中一种或多种组成。供电模块8通过传输线路5供应给成像设备1、计算芯片、存储设备和警报模块7等部件提供电力。
成像设备1上设有用于固定成像设备1的固定装置3,核心控制及计算模块6设置在固定装置3内;固定装置3为手持杆、无人机和机器狗中的任意一种。固定装置3用于对成像设备1进行固定,对核心控制及计算模块6进行保护。具体可选用手持杆、无人机和机器狗中的任意一种,手持杆可使操作者在不弯曲背部的情况下使成像设备1与地面贴近,无人机可降低在探寻冬虫夏草时操作者对草地造成破坏,机器狗可使操作者不用手持成像设备1,且在高山草地行走速度快,有利于加快对冬虫夏草的搜寻。
成像设备1上设有用于减轻成像设备1晃动的稳定装置2,由于在高山草地上搜寻时,成像设备1容易产生晃动,导致成像的画质不清,稳定装置2有利于减轻成像设备1晃动,使成像的画质清晰。
成像设备1上设有用于保持成像设备1与地表有恒定角度和距离的测量支架4,当固定成像设备1的固定装置3为手持杆,固定测量支架4需要与地表接触,才能使测量支架4与地面保持一定的距离和角度,有利于确定成像设备1的成像视野;当固定成像设备1的固定装置3为无人机或机器狗,无人机始终保持水平姿态飞行,机器狗始终是在地面移动,固定支架则不需要与地面接触,只需调整成像设备1在固定装置3的角度,使成像设备1与地面保持一定的距离和角度,从而确定成像设备1的成像视野。
实施例2:
本实施例为实施例1的具体应用方法。
参见图1,一种冬虫夏草野外目标识别方法,包括以下步骤:包括以下步骤:
s01:持成像设备1对地表进行持续扫描,成像设备1的成像系统实时对视野范围采集获取场景图像;
s02:成像设备1将采集的场景图像通过传输线路5传输至核心控制及计算模块;
s03:核心控制及计算模块6对场景图像进行检测分析,若检测的场景图像中含有冬虫夏草,则进行s04步骤;否则继续处理从s01步骤获得的下一个场景图像;
s04:若判断场景图像含有冬虫夏草目标,则触发警示模块。
成像系统通常为彩色成像,但可扩展使用景深、红外、多光谱、高光谱等成像信息。
参见图2,核心控制及计算模块6的检测流程为:包括以下步骤:
s201:接收场景图像后,对场景图像进行常规的图像预处理并输出预处理图像;
s202:将预处理图像的分辨率调低后输出低分辨率图像;
s203:对低分辨率图像利用图像目标检测算法,输出一个或多个存在冬虫夏草的目标候选区域;
s204:依据目标候选区域,从预处理图像中截取对应目标候选框的高分辨率图像;
s205:依据高分辨率图像判断是否存在冬虫夏草。
图像预处理模块601执行场景图像预处理,并输出预处理图像的命令,预处理包括但不限于自动亮度调整、色彩调整等操作;常规的成像设备1提供的图像分辨率较高,图像分辨率调整模块602执行调低预处理图像的分辨率并输出低分辨率图像的命令,有利于高速实测冬虫夏草;第一级目标检测模块603执行利用目标检测算法由低分辨率图像输出一个或多个存在冬虫夏草的目标候选区域的命令,目标检测为输入的场景图像中确定特定目标的位置和类别;候选区高分辨图像模块604执行提高目标候选区域分辨率,并输出高分辨率图像的命令,高分辨率图像高于与低分辨率图像的分辨率,可以与预处理图像的分辨率相同;第二级区域目标再判定模块605执行判断高分辨率图像是否存在冬虫夏草的命令,再次判断该区域是否为冬虫夏草目标。
参见图3,一种冬虫夏草野外目标识别方法,包括识别冬虫夏草的训练方法:包括以下步骤:
s301:收集含有冬虫夏草的初始图像;
s302:对初始图像中冬虫夏草所在矩形区域的两个顶点坐标进行坐标标定后输出初步处理图像;
s303:对初步处理图像进行图像处理生成二次处理图像,并计算二次处理图像中冬虫夏草的标定坐标信息,输出二次处理图像和二次处理图像中冬虫夏草的标定坐标信息;
s304:调整二次处理图像的图像分辨率后输出低分辨率二次处理图像,并依据分辨率调整的比例重新计算冬虫夏草的标定坐标信息后输出标定坐标信息;
s305:利用低分辨率二次处理图像和标定坐标信息训练第一级目标检测模块603,获得目标检测器参数;
s306:依据二次处理图像和二次处理图像中冬虫夏草的标定坐标信息,从二次处理图像中裁取冬虫夏草所在的矩形图像区域并进行数据增强构造正样本,从二次处理图像中随机剪裁三倍于正样本目标数量的背景杂草矩形图像区域构造负样本,并将正、负样本矩形区域放缩至同样大小;
s307:利用正负两类样本训练第二级区域目标再判定模块605,获得判定器参数。
人工标定训练数据模块701执行对初始图像中冬虫夏草所在矩形区域的两个顶点坐标进行坐标标定并输出初步处理图像,两个顶点坐标具体为矩形区域的左上和右下点坐标,该步骤是输出标定冬虫夏草所在矩形区域的左上和右下点坐标的初始处理图像;数据扩增模块702执行对初步处理图像进行图像处理后计算冬虫夏草的标定坐标信息,输出二次处理图像和二次处理图像中冬虫夏草的标定坐标信息的命令,其中图像处理为对初步处理图像进行镜像、旋转、缩放、亮度、色调调节等方式的处理;图像分辨率调整模块602执行调低二次处理图像的图像分辨率输出低分辨率二次处理图像,并根据其分辨率的调整重新计算冬虫夏草的标定坐标信息,输出标定坐标信息的命令;依据低分辨率二次处理图像和标定坐标信息训练第一级目标检测模块603,获得目标检测器参数。高分辨目标及背景模块704执行裁取二次处理图像中冬虫夏草所在的矩形图像区域并进行数据增强构造正样本,从二次处理图像中随机剪裁三倍于正样本目标数量的背景杂草矩形图像区域构造负样本,并将正、负样本矩形区域放缩至同样大小,构建正负两类样本的命令;依据正负两类样本训练第二级区域目标再判定模块605,获得判定器参数。
第一级目标检测模块603采用深度神经网络,第二级区域目标再判定模块605采用卷积神经网络。第二级区域目标再判定模块605具体为基于卷积神经网络的二类分类器进行特定化设计,选定深度神经网络是多层卷积神经网络构成的,需要确定每一层卷积神经网络的卷积核大小和总共的网络层数。深度神经网络采用movidius神经计算芯片。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
1.一种冬虫夏草野外目标识别设备,其特征在于:包括用于采集地表场景图像的成像设备(1)和用于控制各部件与分析场景图像的核心控制及计算模块(6),所述成像设备(1)与核心控制及计算模块(6)之间通过传输线路(5)电连接,所述核心控制及计算模块(6)连接有用于警告冬虫夏草存在的警报模块(7)和用于为设备提供电力的供电模块(8)。
2.根据权利要求1所述的一种冬虫夏草野外目标识别设备,其特征在于:所述核心控制及计算模块(6)包括电路主板、计算加速模块、计算芯片和存储设备,所述计算芯片上包含用于输出一个或多个存在冬虫夏草目标候选区域的第一级目标检测模块(603)和用于判断场景图像是否存在冬虫夏草的第二级区域目标再判定模块(605),所述第一级目标检测模块(603)包括用于检测冬虫夏草的目标检测器,所述第二级区域目标再判定模块(605)包括用于判定冬虫夏草的判定器;所述警报模块(7)与计算芯片连接,所述供电模块(8)与电路主板连接。
3.根据权利要求1所述的一种冬虫夏草野外目标识别设备,其特征在于:所述警报模块(7)为蜂鸣器与指示灯中一种或多种组成,所述供电模块(8)为蓄电池与太阳能充电板中一种或多种组成。
4.根据权利要求1所述的一种冬虫夏草野外目标识别设备,其特征在于:所述成像设备(1)上设有用于固定成像设备(1)的固定装置(3),所述核心控制及计算模块(6)设置在固定装置(3)内。
5.根据权利要求1所述的一种冬虫夏草野外目标识别设备,其特征在于:所述成像设备(1)上设有用于减轻成像设备(1)晃动的稳定装置(2)。
6.根据权利要求1所述的一种冬虫夏草野外目标识别设备,其特征在于:所述成像设备(1)上设有用于保持成像设备(1)与地表有恒定角度和距离的测量支架(4)。
7.一种冬虫夏草野外目标识别方法,其特征在于:包括以下步骤:
s01:持成像设备(1)对地表进行持续扫描,成像设备(1)的成像系统实时对视野范围采集获取场景图像;
s02:成像设备(1)将采集的场景图像通过传输线路(5)传输至核心控制及计算模块(6);
s03:核心控制及计算模块(6)对场景图像进行检测分析,若检测的场景图像中含有冬虫夏草,则进行s04步骤;否则继续处理从s01步骤获得的下一个场景图像;
s04:若判断场景图像含有冬虫夏草目标,则触发警示模块。
8.根据权利要求7所述的一种冬虫夏草野外目标识别方法,其特征在于:所述核心控制及计算模块(6)的检测流程为:包括以下步骤:
s201:接收场景图像后,对场景图像进行常规的图像预处理并输出预处理图像;
s202:将预处理图像的分辨率调低后输出低分辨率图像;
s203:对低分辨率图像利用图像目标检测算法,输出一个或多个存在冬虫夏草的目标候选区域;
s204:依据目标候选区域,从预处理图像中截取对应目标候选框的高分辨率图像;
s205:依据高分辨率图像判断是否存在冬虫夏草。
9.根据权利要求7所述的一种冬虫夏草野外目标识别方法,其特征在于:包括识别冬虫夏草的训练方法:包括以下步骤:
s301:收集含有冬虫夏草的初始图像;
s302:对初始图像中冬虫夏草所在矩形区域的两个顶点坐标进行坐标标定后输出初步处理图像;
s303:对初步处理图像进行图像处理生成二次处理图像,并计算二次处理图像中冬虫夏草的标定坐标信息,输出二次处理图像和二次处理图像中冬虫夏草的标定坐标信息;
s304:调整二次处理图像的图像分辨率后输出低分辨率二次处理图像,并依据分辨率调整的比例重新计算冬虫夏草的标定坐标信息后输出标定坐标信息;
s305:利用低分辨率二次处理图像和标定坐标信息训练第一级目标检测模块(603),获得目标检测器参数;
s306:依据二次处理图像和二次处理图像中冬虫夏草的标定坐标信息,从二次处理图像中裁取冬虫夏草所在的矩形图像区域并进行数据增强构造正样本,从二次处理图像中随机剪裁三倍于正样本目标数量的背景杂草矩形图像区域构造负样本,并将正、负样本矩形区域放缩至同样大小;
s307:利用正负两类样本训练第二级区域目标再判定模块(605),获得判定器参数。
10.根据权利要求7所述的一种冬虫夏草野外目标识别方法,其特征在于:所述第一级目标检测模块(603)采用深度神经网络,所述第二级区域目标再判定模块(605)采用卷积神经网络。
技术总结