本发明涉及机器视觉技术领域，具体的说，是一种基于视觉导航的微型无人机仓库盘点系统。
背景技术：
传统的仓库库存盘点工作主要是基于人工检视，盘点工作耗时长、人力投入成本大、效率低下且难以保障盘点准确率，无法作为日常业务开展。微型无人机具有成本低、体积小、适应性强、安全性好、操作简单等特点，被广泛应用于军事和民用领域。但在室内环境中，无人机无法使用gps信号进行定位，而视觉导航由于其灵活性、可靠性、廉价性等优点成为导航领域研究热点。因此，可利用视觉导航的灵活性、可靠性、廉价性等优点来解决仓库库存盘点效率低下的问题。
技术实现要素：
本发明的目的在于提供一种基于视觉导航的微型无人机仓库盘点系统及方法，用于解决现有技术中人工进行仓库盘点工作效率低下的问题。
本发明通过下述技术方案解决上述问题：
一种基于视觉导航的微型无人机仓库盘点系统，包括
三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；
无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；
图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；
图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；
上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。
优选地，所述无人机机身上设有定位标志，根据该定位标志将无人机与仓库的空间三维坐标系相关联。
优选地，所述固定摄像头布置在仓库的天花板上，包括货架上方天花板和通道上方天花板。
优选地，所述三维场景建模模块建立仓库的空间三维坐标系时以仓库地面的某一墙角为原点。
优选地，所述无人机机身带有红外传感器可探测离地高度，当无人机的z轴坐标偏离导引线坐标，可结合红外传感器数据进行修正。
还包括一种基于视觉导航的微型无人机仓库盘点方法，所述方法包括如下步骤：
步骤1：建立仓库三维场景模型，并对模型建立坐空间三维标系，标注仓库和货架的长宽高和货架位置信息，然后建立无人机与坐标系的映射关系；
步骤2：采集货物摆放图像，对每件货物的图像进行分割并提取分割后图像的特征点，记录相关信息后分类存放，等待与实时图像进行匹配；
步骤3：控制无人机进行实时的图像采集，然后提取实时图像中的特征点与步骤2所提取分割后图像的特征点进行比对，得到实时的仓库信息；
步骤4：将实时仓库信息与历史仓库数据进行对比，更新仓库的库存信息。
优选地，所述步骤2中图像分割时，先提取货物堆放的上下左右边缘线，然后利用识别出的货物边缘线定位货物区域，然后剔除图像中的无关区域后再进行图像分割。
优选地，所述步骤3中，无人机进行实时的图像采集时根据所建立的空间三维坐标系进行导航定位，x轴和y轴的由货架天花板顶部固定摄像头采集到的货架x轴方向边缘线确定；z轴由机载摄像头采集的每层货架上下边缘线和货架层号确定。
优选地，所述步骤1中无人机与坐标系的映射关系通过成像传感器标定建立，由ccd摄像机成像模型利用张正友标定法建立成像的几何模型确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。
本发明与现有技术相比，具有以下优点及有益效果：
(1)本发明通过无人机对仓库的存储货物进行盘点有效的提升了仓库管理的效率，缩短货物盘点的时间，减少人工工作量。
(2)本发明利用视觉导航的微型无人机进行仓库货物盘点，很好的解决了在室内环境中，无人机无法使用gps信号进行定位的问题，很好的利用了视觉导航的灵活性、可靠性等优点。
附图说明
图1为本发明的基于视觉导航的微型无人机仓库盘点系统组成结构示意图；
图2为本发明的基于视觉导航的微型无人机仓库盘点系统所建立坐标系示意图。
图3为本发明的基于视觉导航的微型无人机仓库盘点系统固定摄像头安装位置示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
结合附图1-3所示，一种基于视觉导航的微型无人机b02仓库盘点系统，包括
三维场景建模模块，对仓库进行三维场景建模并以建立空间三维坐标系，标注货架b01的位置信息，仓库和货架b01的长宽高信息；
无人机b02及其飞行控制模块，控制系统对无人机b02进行操控，无人机b02与仓库的空间三维坐标系建立映射关系；无人机b02机身上设有定位标志，即在无人机b02机身背部，离机载摄像头5mm的中心位置，设置一个直径为10mm的实心黑色圆点，以此定位标志对图像传感器进行标定，建立标志点在图像中的位置信息与在实际环境中的位置信息的映射关系，即完成世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的坐标转换；无人机控制模块即在上位机端安装的微型无人机sdk，可将航参数转换成控制无人机b02飞行的指令，包括前进、后退、上升、下降和转向，通过wi-fiudp协议发送无人机飞控系统执行，从而实现对无人机b02自动飞行的控制。
图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头b03、b04，固定摄像头b03、b04安装在货架b01天花板处和通道天花板处；
图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头b03、b04相连，接收端与上位机相连，本实施例采用多对一的方式，包含多个；
上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。
还包括一种基于视觉导航的微型无人机仓库盘点方法，即上述系统的工作盘点方法，所述方法包括如下步骤：
首先，建立仓库三维场景模型，并以仓库底面某一墙角为原点对模型建立坐空间三维标系，标注仓库和货架b01的长宽高和货架b01位置信息，然后建立无人机b02与坐标系的映射关系，由ccd摄像机成像模型，利用张正友标定法，建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。世界坐标通过刚体变换转换为摄像机坐标，摄像机坐标经透视投影转换为图像坐标，图像坐标又经二次转换后转变为像素坐标；
其次，通过图像采集模块采集货物摆放图像，提取图像中货架b01各层格内货物堆放的上下左右边缘线，利用识别出的边缘线快速定位货物区域，然后提出图像中的无关区域对每件货物的图像进行分割，提取分割后图像的特征点，记录相应的名称、数量等信息后分类存放，建立图像预处理数据库，等待与实时图像进行匹配；
然后，控制无人机b02进行实时的图像采集，然后重复步骤2中的提取过程，提取实时图像中的特征点记录相应的名称、数量信息后与步骤2所提取分割后图像的特征点进行比对，增加原始图像中没有但实时图像中有的数据，删除原始图像中有但实时图像中不存在的数据，即可得到实时的仓库信息；为了保证图像匹配的准确性，一般还会在进行实时图像与原始图像匹配的时候采用ransac算法剔除误匹配对，进而提高匹配的准确性。
更具体的，对于无人机b02机身上定位标志的识别，首先进行图像预处理，包括平滑和锐化处理。由于成像传感器噪声、图像颗粒噪声和图像在传输过程中的通道传输误差，以及生产现场的环境，会使得连续图像上出现一些随机的、离散的孤立的像素点，故需进行图像预处理。平滑能够消除噪声，但图像会变得模糊，锐化可以使消除噪声后的特征更明显。其次，进行基于边缘检测的图像分割。利用canny算子检测图像的边缘，以曲率尺度空间的方法提取图像轮廓曲线，通过曲率支持区域计算自适应阈值，通过对候选角点的曲率值与自适应阈值剔除伪角点，完成图像分割。最后进行图像匹配，识别圆形定位标志。以不变矩特征匹配算法完成特征点匹配，其具有平移、旋转和比例因子的不变性数学特征,可以解决图形的几何失真问题。
更具体的，一般情况，在得到实时仓库信息是通过实时数据与原始数据进行对比得到，通常情况是原始图像在进行分割后会生成货物的原始数据表，实时图像采集到，然后进行特征提取和图像分割后会生成一张实时数据表，将两张表进行对比即可得出最新的库存信息，再更新仓库的原始数据。
具体的，无人机b02在采集图像时，以建立的空间三维坐标系为导航基础，x轴和y轴的导航坐标由货架b01天花板顶部固定摄像头b03采集到的货架b01x轴方向边缘线确定，由x轴和y轴坐标拟合的导引线与货架b01x轴方向边缘线平行，使无人机b02保持在相邻货架b01中间稳定飞行。由无人机b02定位标志获取其实时x轴和y轴坐标信息，当无人机b02实时坐标与导引线坐标间发生偏移，便及时调整无人机b02飞行状态，校正x轴和y轴坐标，使其回到预定轨迹。
当无人机b02x轴和y轴的导航坐标由通道天花板顶部固定摄像头b04采集到的货架b01y轴方向边缘线和墙壁踢脚线确定，由x轴和y轴坐标拟合的导引线与货架b01y轴方向边缘线和踢脚线平行，使无人机b02保持在通道中间稳定飞行。由无人机b02定位标志获取其实时x轴和y轴坐标信息，当无人机b02实时坐标与导引线坐标间发生偏移，便及时调整无人机b02飞行状态，校正x轴和y轴坐标，使其回到预定轨迹。当无人机b02飞行至通道引导线与货架b01间引导线的交点处时，便执行转向命令，继续在货架b01间飞行进行货物盘点。
z轴导航坐标由机载摄像头采集的每层货架b01上下边缘线和货架b01层号确定，经图像处理后结合x轴坐标拟合出z轴导引线。无人机b02自身红外传感器可探测离地高度，当无人机b02的z轴坐标偏离导引线坐标，便及时调整无人机b02飞行状态，校正z轴坐标，使其回到预定轨迹。由于无人机b02在盘点完每个货架b01最高层货物后便回到第一层高度，此时在通道飞行z轴高度保持不变，直到回到货架b01间进行货物盘点，再由货架b01上下边缘线和货架b01层号进行导航。
更具体的，图像处理的具体过程是基于opencv视觉库处理图像，其基本步骤包括图像获取、图像预处理、图像增强、形态学处理、边缘检测、图像分割和直线特征提取并拟合导引线。其边缘检测过程，是图像先经滤波后，利用canny算子进行边缘检测，采用双阈值的方式，使得在原始图像中灰度值小于灰度阈值，同时边缘检测图像中梯度值大于边缘梯度阈值才将像素点加入到特征匹配几何中。图像分割过程，采用ostu算法处理，图像分割后将图像像素点分成两个集合：一个集合包含目标跟踪线(货架b01边缘线或踢脚线)，即特征匹配集合；另一个集合不包含有目标跟踪线。提取直线特征时，只在含有特征匹配集合中进行，减少运算量和降低识别的难度。
所得导引线可用函数方式表示，x轴和y轴坐标拟合的导引线用y＝kx b表示，x轴和z轴坐标拟合的导引线用z＝ax c表示，其中k和a表示二维平面中直线的斜率，b和c表示二维平面中直线的截距。空间坐标系中拟合的导引线用
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。
1.一种基于视觉导航的微型无人机仓库盘点系统，其特征在于：包括
三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；
无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；
图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；
图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；
上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。
2.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述无人机机身上设有定位标志，根据该定位标志将无人机与仓库的空间三维坐标系相关联。
3.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述固定摄像头布置在仓库的天花板上，包括货架上方天花板和通道上方天花板。
4.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述三维场景建模模块建立仓库的空间三维坐标系时以仓库地面的某一墙角为原点。
5.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于，所述无人机机身带有红外传感器可探测离地高度。
6.一种基于视觉导航的微型无人机仓库盘点方法，其特征在于，所述方法包括如下步骤：
步骤1：建立仓库三维场景模型，并对模型建立坐空间三维标系，标注仓库和货架的长宽高和货架位置信息，然后建立无人机与坐标系的映射关系；
步骤2：采集货物摆放图像，对每件货物的图像进行分割并提取分割后图像的特征点，记录相关信息后分类存放，等待与实时图像进行匹配；
步骤3：控制无人机进行实时的图像采集，然后提取实时图像中的特征点与步骤2所提取分割后图像的特征点进行比对，得到实时的仓库信息；
步骤4：将实时仓库信息与历史仓库数据进行对比，更新仓库的库存信息。
7.根据权利要求6所述的基于视觉导航的微型无人机仓库盘点方法，其特征在于，所述步骤2中图像分割时，先提取货物堆放的上下左右边缘线，然后利用识别出的货物边缘线定位货物区域，然后剔除图像中的无关区域后再进行图像分割。
8.根据权利要求6所述的基于视觉导航的微型无人机仓库盘点方法，其特征在于，所述步骤3中，无人机进行实时的图像采集时根据所建立的空间三维坐标系进行导航定位，x轴和y轴的由货架天花板顶部固定摄像头采集到的货架x轴方向边缘线确定；z轴由机载摄像头采集的每层货架上下边缘线和货架层号确定。
9.根据权利要求6所述的基于视觉导航的微型无人机仓库盘点方法，其特征在于，所述步骤1中无人机与坐标系的映射关系通过成像传感器标定建立，由ccd摄像机成像模型利用张正友标定法建立成像的几何模型确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。
技术总结