本发明涉及农业技术领域，尤其是一种农事行为监管方法。
背景技术：
随着人们对食品安全的关注程度的提高，对农业生产过程中各类农事行为的实时监管要求也越来越高，但是现代化农业的生产规模越来越大，如果要靠人工巡视来监管的话，效率较低，效果也不好。
技术实现要素：
本发明人针对上述问题及技术需求，提出了一种农事行为监管方法，本发明的技术方案如下：
一种农事行为监管方法，该方法包括：
通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将样本视频文件切分为若干个样本图片帧；
从所有样本图片帧中选取预定目标作为训练样本，预定目标的类别包括操作人员和各类农事操作工具中的至少一种；
确定与各个预定目标及其特征信息对应的农事行为类别，对各个训练样本中的各个预定目标按照对应的农事行为类别进行标注；
利用ssd模型对标注后的训练样本进行模型训练得到行为检测模型；
通过安装在农产品种植基地的摄像头采集实时视频文件，将实时视频文件切分为若干个实时图片帧；
利用行为检测模型检测每个实时图片帧中的预定目标及其特征信息，并得到对应的农事行为类别及检测分值；
选取连续若干帧中最高检测分值对应的实时图片帧为关键帧，和/或，选取实时视频文件中包含关键帧的预定视频长度的视频文件作为关键视频片段；
输出关键帧和/或关键视频片段，并输出关键帧和/或关键视频片段中最高的检测分值对应的农事行为类别。
其进一步的技术方案为，各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
其进一步的技术方案为，预定目标的特征信息包括操作人员的肢体行为信息以及预定目标使用的农用物品信息中的至少一种，肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。
其进一步的技术方案为，该方法还包括：
将关键帧和/或关键视频片段及对应的农事行为类别输出给预定专家，根据预定专家对识别的农事行为类别的反馈更新行为检测模型。
其进一步的技术方案为，利用行为检测模型检测每个实时图片帧中的预定目标及其特征信息，包括：
对实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理；
通过sift算法获surf算法对经过处理的实时图片帧进行特征提取，将提取得到的特征输入行为检测模型进行检测。
本发明的有益技术效果是：
本申请公开了一种农事行为监管方法，该方法利用安装在农产品种植基地的摄像头进行持续监控采集实时视频流，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为类别，并提取出相应的关键帧图像和/或关键视频片段及其对应的农事行为类别，从而可以在大规模农业生产过程中便捷地实现对各类农事行为的监管和视频存档，且在利用行为检测模型识别农事行为时，将一个分类任务转变为目标检测任务，在农事领域这种大背景和图像的基础元素相近的情况下效果十分明显，通过对目标事物的识别从而提高准确率和效率。
附图说明
图1是本申请公开的农事行为监管方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种农事行为监管方法，该方法利用安装在农产品种植基地的摄像头采集图像或视频，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为并提取出相应的图像或视频，实现对各类农事行为的监管和视频存档，首先本申请需要训练行为检测模型，包括如下步骤：
1、通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将样本视频文件切分为若干个样本图片帧。
2、从所有样本图片帧中选取预定目标作为训练样本，预定目标的类别包括包括操作人员和各类农事操作工具中的至少一种。其中，各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
3、确定与各个预定目标及其特征信息对应的农事行为类别，对各个训练样本中的各个预定目标按照对应的农事行为类别进行标注。其中，预定目标的特征信息包括操作人员的肢体行为信息以及预定目标使用的农用物品信息中的至少一种，肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。农事行为类别包括栽插、稻田整理、除草、施追肥、施基肥和收割中的至少一种。
这是因为申请人考虑到农事行为的特殊性，基本上所有的农事行为都是在田里进行的，一帧图片中大背景及主体内容都是田地，较为类似，不同农事行为之间在图片的区别上较小。如栽插、除草和施追肥之间主体都是绿色的田地，区别在于栽插是在田地中存在插秧机器，除草是一个人弯着身子在除草，施追肥是一个人背着农药机进行喷洒或是一个人在撒农药，区别只是人员/设备及行为不同。因此若直接对整张图片进行检测分类则效果不佳，本申请不再对图片进行分类，而是对其中的人员及对其中的人员及行为进行目标检测，如栽插判断插秧机器的存在，施追肥判断农药机和操作人员撒农药的行为，稻田整理判断整地机器及牛的存在。比如常见的几类如下：
"栽插"：插秧机存在、插秧块存在；
"稻田整理"：整地机存在、牛存在；
"除草"：操作人员的下蹲行为；
"施追肥"：背式施肥机器存在、操作人员的撒肥料动作；
"施基肥"：黑色的基肥存在、施基肥机器存在。
4、利用ssd模型对标注后的训练样本进行模型训练得到行为检测模型。
训练得到行为检测模型后可以利用行为检测模型来自动识别农事行为实现监管，请参考图1，包括如下步骤：
1、通过安装在农产品种植基地的摄像头采集实时视频文件，将实时视频文件切分为若干个实时图片帧。
2、利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，包括：对实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理，然后通过sift算法获surf算法对经过处理的实时图片帧进行特征提取，将提取得到的特征输入行为检测模型进行检测。
若未检测到当前实时图片帧中有预定目标，则直接检测下一个实时图片帧；若检测到当前实时图片帧中有预定目标，则得到并记录实时图片帧中的预定目标及其特征信息对应的农事行为类别及检测分值。
3、选取连续若干帧中检测分值最高的预定目标所在的实时图片帧为关键帧。和/或，根据检测分值最高的预定目标所在的实时图片帧在视频中的时刻，选取实时视频文件中包含关键帧所在时刻的前后预定视频长度的视频文件作为关键视频片段。
4、输出关键帧和/或关键视频片段，且输出的关键帧和/或关键视频片段对其中的预定目标标识有预测框，并输出关键帧和/或关键视频片段中最高的检测分值对应的农事行为类别，从而可以实现远程的自动化、大规模的农事行为监管。本申请识别速度快，支持图片和视频的输入，单张图片的预测在0.5s内返回，视频的异步返回可以使得多次请求并发，不会丢失请求，增加缓存效果。
另外，将关键帧和/或关键视频片段及对应的农事行为类别输出给预定专家，由预定专家对农事行为类别的识别结果进行二次检测，并反馈结果为识别正确或识别失败，若识别失败则由预定专家对预测框及对应的农事行为类别进行调整，并将调整后的结果形成正反馈更新行为检测模型，形成自学习的过程。同时还可以将关键帧和/或关键视频片段及其对应的农事行为类别与农产品种植基地做关联，做到对农田和生产情况的监测和发掘。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
1.一种农事行为监管方法，其特征在于，所述方法包括：
通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将所述样本视频文件切分为若干个样本图片帧；
从所有样本图片帧中选取预定目标作为训练样本，所述预定目标的类别包括操作人员和各类农事操作工具中的至少一种；
确定与各个预定目标及其特征信息对应的农事行为类别，对各个所述训练样本中的各个预定目标按照对应的农事行为类别进行标注；
利用ssd模型对标注后的训练样本进行模型训练得到行为检测模型；
通过安装在农产品种植基地的摄像头采集实时视频文件，将所述实时视频文件切分为若干个实时图片帧；
利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，并得到对应的农事行为类别及检测分值；
选取连续若干帧中最高检测分值对应的实时图片帧为关键帧，和/或，选取所述实时视频文件中包含所述关键帧的预定视频长度的视频文件作为关键视频片段；
输出所述关键帧和/或所述关键视频片段，并输出所述关键帧和/或所述关键视频片段中最高的检测分值对应的农事行为类别。
2.根据权利要求1所述的方法，其特征在于，所述各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
3.根据权利要求1所述的方法，其特征在于，所述预定目标的特征信息包括操作人员的肢体行为信息以及所述预定目标使用的农用物品信息中的至少一种，所述肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，所述农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述关键帧和/或所述关键视频片段及对应的农事行为类别输出给预定专家，根据所述预定专家对识别的农事行为类别的反馈更新所述行为检测模型。
5.根据权利要求1-4任一所述的方法，其特征在于，所述利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，包括：
对所述实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理；
通过sift算法获surf算法对经过处理的所述实时图片帧进行特征提取，将提取得到的特征输入所述行为检测模型进行检测。
技术总结