产品分拣系统、方法、计算机设备和存储介质与流程

专利2022-06-29  69


本发明属于机器视觉技术领域,具体涉及物流分拣技术领域,特别涉及一种产品分拣系统、方法、计算机设备和存储介质。



背景技术:

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号,传送给专用的图像处理系统。图像处理是使用计算机数据处理技术对图像数据进行处理,获取被摄目标的形态信息,包括像素分布和亮度、颜色等信息。传统机器视觉识别方案多采用人工特征分拣方式,人工特征对于物品随机位置、图像视角变化、光照变化、背景干扰等情况下的检测鲁棒性比较差,该种方法不仅耗时,而且只使用到图像中少部分特征信息,信息利用率不高,很大程度上影响实际检测效果。

一幅图像所包含的信息是至以数万甚至更高数量级衡量的大量像素点的数字信息;在单色图像中,每个像素点只包含一种灰度信息;在彩色图像中,每个像素点包含rgb三种颜色的亮度信息。处理如此巨量的信息,过程相当的复杂,如果所有机器视觉的研究者都从最底层的处理方法进行研究,这是不现实的,并且开发时间太长、成本太高。



技术实现要素:

本发明的目的在于提供一种具有高效、高准确性等特点的产品分拣系统及方法。

实现本发明目的的技术解决方案为:一种产品分拣系统,所述系统包括图像采集模块、图像处理模块、通讯模块以及分拣模块;

所述图像采集模块,用于采集待分拣产品的图像;

所述图像处理模块,用于根据采集到的图像获取待分拣产品的特征信息以及位置信息,并判断待分拣产品是否合格;

所述通讯模块,用于将所述图像处理模块获取的待分拣产品的所有信息传输至分拣模块;

所述分拣模块,用于根据接收到的信息实现待分拣产品分拣。

进一步地,所述图像处理模块包括:

颜色识别单元,用于基于hsv颜色空间实现待分拣产品颜色信息的检测;

合格信息检测单元,用于检测待分拣产品的形状,并基于分类器实现待分拣产品是否合格的检测;

定位单元,用于检测待分拣产品的位置信息。

进一步地,所述分拣模块包括:

控制单元,用于接收通信模块传输的待分拣产品信息,并根据所述待分拣产品信息控制机械臂分拣单元实现产品分拣;

机械臂分拣单元,用于在所述控制单元的控制下进行产品分拣。

一种产品分拣方法,所述方法包括:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

进一步地,步骤2中所述根据形状信息判断待分拣产品是否合格,具体包括:

步骤2-1,采集若干产品图像,提取每个产品的形状信息和是否合格信息,作为训练样本;

步骤2-2,构建一个多层感知机,并设置多层感知机的参数,包括输入层、输出层及隐藏层的数量、激活函数以及预处理函数;

步骤2-3,结合所述训练样本、多层感知机的参数训练多层感知机;

步骤2-4,根据待分拣产品的图像,提取待分拣产品的形状信息;

步骤2-5,将待分拣产品的形状信息作为训练后多层感知机的输入,多层感知机输出待分拣产品是否合格的结果。

进一步地,步骤3所述基于待分拣产品的图像,获取待分拣产品的颜色信息,具体包括:

步骤3-1,对待分拣产品的图像进行色域转换,将rgb图像转化为hsv图像;

步骤3-2,对h域图像进行阈值分割,获得待分拣产品的颜色。

进一步地,步骤4所述基于待分拣产品的图像,获取待分拣产品的位置信息,具体包括:

步骤4-1,获取标定板分别在相机坐标系与世界坐标系中的坐标值;

步骤4-2,根据所述标定板分别在相机坐标系与世界坐标系中的坐标值,建立两者之间的仿射变换矩阵;

步骤4-3,对步骤3-2阈值分割后的图像进行形态学处理以及连通域分析,获得待分拣产品在相机坐标系中的位置;

步骤4-4,结合所述待分拣产品在相机坐标系中的位置和仿射变换矩阵,获得待分拣产品在世界坐标系中的位置。

一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

本发明与现有技术相比,其显著优点为:1)将单相机获取的图形数据作为训练样本并应用于识别产品,相比于传统的模板匹配方法,可以去除木块纹理干扰等问题,增强产品分拣的准确性与快速性;2)将rgb图形转换到hsv空间进行不同颜色的识别,相比于传统的灰度识别,能有效减少不同的光照环境,特别是明暗光照变化对于检测的干扰,提高分拣的准确度;3)基于标定板的手眼定位,对目标产品进行快速识别定位,确定产品位置的位置,从而控制工业机器臂对产品进行快速准确分拣和包装,提高了分拣效率,降低了人工成本。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中产品分拣方法流程图。

图2为一个实施例中图形检测流程图。

图3为一个实施例中颜色识别流程图。

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,本发明提出了一种产品分拣系统,该系统包括图像采集模块、图像处理模块、通讯模块以及分拣模块;

图像采集模块,用于采集待分拣产品的图像;

图像处理模块,用于根据采集到的图像获取待分拣产品的特征信息以及位置信息,并判断待分拣产品是否合格;

通讯模块,用于将图像处理模块获取的待分拣产品的所有信息传输至分拣模块;

分拣模块,用于根据接收到的信息实现待分拣产品分拣。

进一步地,在其中一个实施例中,上述图像处理模块包括:

颜色识别单元,用于基于hsv颜色空间实现待分拣产品颜色信息的检测;

合格信息检测单元,用于检测待分拣产品的形状,并基于分类器实现待分拣产品是否合格的检测;

定位单元,用于检测待分拣产品的位置信息。

作为一种具体示例,上述分类器具体采用多层感知机。

进一步地,在其中一个实施例中,上述分拣模块包括:

控制单元,用于接收通信模块传输的待分拣产品信息,并根据待分拣产品信息控制机械臂分拣单元实现产品分拣;

机械臂分拣单元,用于在控制单元的控制下进行产品分拣。

这里,作为一种具体示例,机械臂分拣单元包括六轴工业机械臂和设置于机械臂末端的吸盘,控制吸盘工作的气泵。

在一个实施例中,结合图1,本发明提出了一种产品分拣方法,该方法包括:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

进一步地,在其中一个实施例中,结合图2,步骤2中根据形状信息判断待分拣产品是否合格,具体包括:

步骤2-1,采集若干产品图像,提取每个产品的形状信息和是否合格信息,作为训练样本;

步骤2-2,构建一个多层感知机,并设置多层感知机的参数,包括输入层、输出层及隐藏层的数量、激活函数以及预处理函数;

步骤2-3,结合训练样本、多层感知机的参数训练多层感知机;

步骤2-4,根据待分拣产品的图像,提取待分拣产品的形状信息;

步骤2-5,将待分拣产品的形状信息作为训练后多层感知机的输入,多层感知机输出待分拣产品是否合格的结果。

进一步地,在其中一个实施例中,结合图3,步骤3基于待分拣产品的图像,获取待分拣产品的颜色信息,具体包括:

步骤3-1,对待分拣产品的图像进行色域转换,将rgb图像转化为hsv图像;

步骤3-2,对h域图像进行阈值分割,获得待分拣产品的颜色。

进一步地,在其中一个实施例中,步骤4基于待分拣产品的图像,获取待分拣产品的位置信息,具体包括:

步骤4-1,获取标定板分别在相机坐标系与世界坐标系中的坐标值;

步骤4-2,根据标定板分别在相机坐标系与世界坐标系中的坐标值,建立两者之间的仿射变换矩阵;

步骤4-3,对步骤3-2阈值分割后的图像进行形态学处理以及连通域分析,获得待分拣产品在相机坐标系中的位置;

步骤4-4,结合待分拣产品在相机坐标系中的位置和仿射变换矩阵,获得待分拣产品在世界坐标系中的位置。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多系统数据融合数据过程中需要用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多系统数据融合方法。

本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

进一步地,在其中一个实施例中,处理器执行计算机程序实现上述的根据形状信息判断待分拣产品是否合格,具体实现以下步骤:

步骤2-1,采集若干产品图像,提取每个产品的形状信息和是否合格信息,作为训练样本;

步骤2-2,构建一个多层感知机,并设置多层感知机的参数,包括输入层、输出层及隐藏层的数量、激活函数以及预处理函数;

步骤2-3,结合训练样本、多层感知机的参数训练多层感知机;

步骤2-4,根据待分拣产品的图像,提取待分拣产品的形状信息;

步骤2-5,将待分拣产品的形状信息作为训练后多层感知机的输入,多层感知机输出待分拣产品是否合格的结果。

进一步地,在其中一个实施例中,处理器执行计算机程序实现上述的基于待分拣产品的图像,获取待分拣产品的颜色信息,具体实现以下步骤:

步骤3-1,对待分拣产品的图像进行色域转换,将rgb图像转化为hsv图像;

步骤3-2,对h域图像进行阈值分割,获得待分拣产品的颜色。

进一步地,在其中一个实施例中,处理器执行计算机程序实现上述的基于待分拣产品的图像,获取待分拣产品的位置信息,具体实现以下步骤:

步骤4-1,获取标定板分别在相机坐标系与世界坐标系中的坐标值;

步骤4-2,根据标定板分别在相机坐标系与世界坐标系中的坐标值,建立两者之间的仿射变换矩阵;

步骤4-3,对步骤3-2阈值分割后的图像进行形态学处理以及连通域分析,获得待分拣产品在相机坐标系中的位置;

步骤4-4,结合待分拣产品在相机坐标系中的位置和仿射变换矩阵,获得待分拣产品在世界坐标系中的位置。

在一个实施例中,一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

进一步地,在其中一个实施例中,计算机程序被处理器执行实现上述的根据形状信息判断待分拣产品是否合格,具体实现以下步骤:

步骤2-1,采集若干产品图像,提取每个产品的形状信息和是否合格信息,作为训练样本;

步骤2-2,构建一个多层感知机,并设置多层感知机的参数,包括输入层、输出层及隐藏层的数量、激活函数以及预处理函数;

步骤2-3,结合训练样本、多层感知机的参数训练多层感知机;

步骤2-4,根据待分拣产品的图像,提取待分拣产品的形状信息;

步骤2-5,将待分拣产品的形状信息作为训练后多层感知机的输入,多层感知机输出待分拣产品是否合格的结果。

进一步地,在其中一个实施例中,计算机程序被处理器执行实现上述的基于待分拣产品的图像,获取待分拣产品的颜色信息,具体实现以下步骤:

步骤3-1,对待分拣产品的图像进行色域转换,将rgb图像转化为hsv图像;

步骤3-2,对h域图像进行阈值分割,获得待分拣产品的颜色。

进一步地,在其中一个实施例中,计算机程序被处理器执行实现上述的基于待分拣产品的图像,获取待分拣产品的位置信息,具体实现以下步骤:

步骤4-1,获取标定板分别在相机坐标系与世界坐标系中的坐标值;

步骤4-2,根据标定板分别在相机坐标系与世界坐标系中的坐标值,建立两者之间的仿射变换矩阵;

步骤4-3,对步骤3-2阈值分割后的图像进行形态学处理以及连通域分析,获得待分拣产品在相机坐标系中的位置;

步骤4-4,结合待分拣产品在相机坐标系中的位置和仿射变换矩阵,获得待分拣产品在世界坐标系中的位置。

综上,本发明基于单相机采集产品图像,并通过图像处理单元得到分拣信息,从而使分拣准确执行,提高了分拣效率,降低了人工成本。


技术特征:

1.一种产品分拣系统,其特征在于,所述系统包括图像采集模块、图像处理模块、通讯模块以及分拣模块;

所述图像采集模块,用于采集待分拣产品的图像;

所述图像处理模块,用于根据采集到的图像获取待分拣产品的特征信息以及位置信息,并判断待分拣产品是否合格;

所述通讯模块,用于将所述图像处理模块获取的待分拣产品的所有信息传输至分拣模块;

所述分拣模块,用于根据接收到的信息实现待分拣产品分拣。

2.根据权利要求1所述的产品分拣系统,其特征在于,所述图像处理模块包括:

颜色识别单元,用于基于hsv颜色空间实现待分拣产品颜色信息的检测;

合格信息检测单元,用于检测待分拣产品的形状,并基于分类器实现待分拣产品是否合格的检测;

定位单元,用于检测待分拣产品的位置信息。

3.根据权利要求2所述的产品分拣系统,其特征在于,所述分类器具体采用多层感知机。

4.根据权利要求3所述的产品分拣系统,其特征在于,所述分拣模块包括:

控制单元,用于接收通信模块传输的待分拣产品信息,并根据所述待分拣产品信息控制机械臂分拣单元实现产品分拣;

机械臂分拣单元,用于在所述控制单元的控制下进行产品分拣。

5.一种产品分拣方法,其特征在于,所述方法包括:

步骤1,采集待分拣产品的图像;

步骤2,基于待分拣产品的图像,获取待分拣产品的形状信息,并根据形状信息判断待分拣产品是否合格,若合格执行步骤3,否则执行步骤4;

步骤3,基于待分拣产品的图像,获取待分拣产品的颜色信息;

步骤4,基于待分拣产品的图像,获取待分拣产品的位置信息;

步骤5,将上述过程获得的待分拣产品的所有信息传输至分拣模块,由分拣模块实现产品分拣。

6.根据权利要求5所述的产品分拣方法,其特征在于,步骤2中所述根据形状信息判断待分拣产品是否合格,具体包括:

步骤2-1,采集若干产品图像,提取每个产品的形状信息和是否合格信息,作为训练样本;

步骤2-2,构建一个多层感知机,并设置多层感知机的参数,包括输入层、输出层及隐藏层的数量、激活函数以及预处理函数;

步骤2-3,结合所述训练样本、多层感知机的参数训练多层感知机;

步骤2-4,根据待分拣产品的图像,提取待分拣产品的形状信息;

步骤2-5,将待分拣产品的形状信息作为训练后多层感知机的输入,多层感知机输出待分拣产品是否合格的结果。

7.根据权利要求6所述的产品分拣方法,其特征在于,步骤3所述基于待分拣产品的图像,获取待分拣产品的颜色信息,具体包括:

步骤3-1,对待分拣产品的图像进行色域转换,将rgb图像转化为hsv图像;

步骤3-2,对h域图像进行阈值分割,获得待分拣产品的颜色。

8.根据权利要求7所述的产品分拣方法,其特征在于,步骤4所述基于待分拣产品的图像,获取待分拣产品的位置信息,具体包括:

步骤4-1,获取标定板分别在相机坐标系与世界坐标系中的坐标值;

步骤4-2,根据所述标定板分别在相机坐标系与世界坐标系中的坐标值,建立两者之间的仿射变换矩阵;

步骤4-3,对步骤3-2阈值分割后的图像进行形态学处理以及连通域分析,获得待分拣产品在相机坐标系中的位置;

步骤4-4,结合所述待分拣产品在相机坐标系中的位置和仿射变换矩阵,获得待分拣产品在世界坐标系中的位置。

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求5至8中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种产品分拣系统、方法、计算机设备和存储介质,系统包括图像采集模块,用于采集产品图像;图像处理模块,用于获取产品的特征信息以及位置信息,并判断产品是否合格;通讯模块,用于将产品的所有信息传输至分拣模块;分拣模块,用于实现产品分拣。方法包括:采集待分拣产品的图像;获取产品的形状信息,并判断产品是否合格,若是执行下一步,否则执行再下一步;获取产品的颜色信息;获取产品的位置信息;由分拣模块根据产品的所有信息实现产品分拣。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明基于单相机采集产品图像,并通过图像处理获得分拣信息,使分拣能准确执行,且提高了分拣效率,降低了人工成本。

技术研发人员:韩王娜;樊卫华;许松伟;宋辉
受保护的技术使用者:南京理工大学
技术研发日:2020.01.16
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53724.html

最新回复(0)