本公开涉及缺陷监测技术领域，尤其涉及一种膏体外观缺陷检测设备及方法。
背景技术：
传统口红制造生产线上，口红在生产过程中，膏体在脱模之后易发生“断尖”，划痕、污渍等缺陷。口红一类产品在生产线上膏体的旋转角度具有不确定性，难以确定性的拍摄到预定角度的膏体图像。
现有口红或类似膏体制造企业，在外观检测环节上仍然依赖于人工检查为主，半自动化或自动化的检测方式人不普及，导致了产品外观良率难以控制。
为解决此问题或此类问题，一般的设备制造商会为化妆品生产企业提供通用的视觉检查装置或软件模块，通过组态、调试使之适用于各种产品类型，但这类产品的适用性与本发明存在差异。通用设备由于没有为口红类膏体特殊设计的光源、结构、算法模块，因此准确率不高。
技术实现要素：
有鉴于此，本公开实施例提供一种膏体外观缺陷检测设备及方法，以至少部分解决现有技术中存在的问题。
第一方面，本公开实施例提供了一种膏体外观缺陷检测设备，包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
第一触发传感器，所述第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第一光源，所述第一光源在所述第一位置照射所述膏体。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第一遮蔽挡板，所述第一遮蔽挡板设置在于所述第一光源相对的一侧，用于将所述第一光源的光反射到所述第一位置。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第二光源，所述第二光源在所述第二位置照射所述膏体。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第二遮蔽挡板，所述第二遮蔽挡板设置在于所述第二光源相对的一侧，用于将所述第二光源的光反射到所述第二位置。
根据本公开实施例的一种具体实现方式，其特征在于：
所述第一光源为面板型led常亮光源，所述led常亮光源通过上游触发传感器进行点亮触发操作。
根据本公开实施例的一种具体实现方式，所述装置还包括：
所述第一遮挡板和所属第二遮挡板为漫反射材质。
根据本公开实施例的一种具体实现方式，其特征在于：
对于所述第五摄像机拍摄的图像，采用图像处理技术对图像进行粗定位，用于确定膏体的位置和半径；
在所述膏体的位置和半径的区域内，判断所述膏体是否存在预设缺陷，所述预设缺陷包括断尖、气孔、凹陷中的至少一种。
根据本公开实施例的一种具体实现方式，其特征在于：
对于所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机拍摄的膏体的侧面图像，进行图像增强操作；
对增强操作处理之后的图像，利用预设的深度学习模型，进行缺陷监测。
第二方面，本公开实施例提供了一种膏体外观缺陷检测方法，包括：
利用传送装置用户在指定方向上运送膏体；
将第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
设置第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
设置第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
设置第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
设置缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
本公开实施例中的膏体外观缺陷检测方案，包括传送装置，所述传送装置用户用于在指定方向上运送膏体；第一触发传感器，所述第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。通过本公开的处理方案，通过添加检测装置(图像采集装置、光源、图像分析处理器等外设)完成自动化检测。口红一类产品在生产线上膏体的旋转角度具有不确定性，难以确定性的拍摄到预定角度的膏体图像，而本发明通过多视角对缺陷进行检测，具体而言：每次拍照时有多台摄像机分别从侧面和顶部对被摄口红采样。配合辅助光源、背景灯板，突出被摄物体缺陷。在不同视角下分别估计目标的缺陷形制，综合判断是否为瑕疵品。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种膏体外观缺陷检测装置的结构示意图；
图2为本公开实施例提供的一种膏体外观缺陷检测方法的流程图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
参见图1，本公开实施例中的膏体外观缺陷检测设备，可以包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
第一触发传感器，所述第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
具体的，本发明所述装置结构如图1所示，第一、二、三、四摄像机用于拍摄膏体侧面的图像。第五摄像机用于拍摄膏体顶部的图像。需要说明的是对于第一、二、三、四摄像机的布置方法仅是一种优选的方案，根据生产线现场的情况可以使用3个、4个、5个等，本发明重点在于使用了两种类型的是相机其中一类(如第一、二、三、四摄像机)用于拍摄膏体以及外壳体侧柱面，另一类(如第五摄像机)安装于口红膏体正上方，垂直向口红头缘部拍摄，用于检测口红膏体头缘部的缺陷，如“断尖”等。
如图1所示，产品经传送装置(例如，传送带)向前运输，待经过触发传感器(例如，第一触发传感器或第二触发传感器)时，触发拍照。在一种实施例中使用反射式近接传感器作为触发信号源。上游触发传感器(第一触发传感器)与第一、二摄像机相连接。下游触发传感器(第二触发传感器)与第三、四摄像机连接。对同一物体分别在上下游被触发的时刻拍照两次，组成多个视角的影像，同步传输至图像处理传感器。在一种实施例中，第五摄像机与上游触发传感器相连接，用于在上游拍摄膏体头缘部；在另一种实施例中，第五摄像机与下游触发传感器相连接，我拍摄膏体头缘部。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第一光源，所述第一光源在所述第一位置照射所述膏体。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第一遮蔽挡板，所述第一遮蔽挡板设置在于所述第一光源相对的一侧，用于将所述第一光源的光反射到所述第一位置。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第二光源，所述第二光源在所述第二位置照射所述膏体。
根据本公开实施例的一种具体实现方式，所述装置还包括：
第二遮蔽挡板，所述第二遮蔽挡板设置在于所述第二光源相对的一侧，用于将所述第二光源的光反射到所述第二位置。
根据本公开实施例的一种具体实现方式，其特征在于：
所述第一光源为面板型led常亮光源，所述led常亮光源通过上游触发传感器进行点亮触发操作。
根据本公开实施例的一种具体实现方式，所述装置还包括：
所述第一遮挡板和所属第二遮挡板为漫反射材质。
可选的，第一光源可以选择面板型led常亮光源；可选的，第一光源与上游触发相连接，收到出发信号后，第一光源闪光照亮被摄物体。第一光源部署在上游侧向摄像机之间，面向被摄物体。
对于下游，可选的，第二光源可以选择面板型led常亮光源；可选的第二光源与触发传感器相连接，收到触发信号后，第二光源闪光照亮被摄物体。第二光源部署在下游侧向摄像机之间，面向被摄物体。
在上下游摄像机与传送带的对面一侧，分别部署挡板。该挡板用于避免图像中来自于周围环境的干扰，突出被摄主体。需要说明的是，该挡板需采用漫反射材质，在一种实例中，使用中性灰度漫反射亚克力板。在一种实施例中，使用带有柔光材质的led面板灯箱。
优选地，上述全部装置被遮光箱整体遮蔽，避免环境光对采集装置的干扰。
根据本公开实施例的一种具体实现方式，其特征在于：
对于所述第五摄像机拍摄的图像，采用图像处理技术对图像进行粗定位，用于确定膏体的位置和半径；
在所述膏体的位置和半径的区域内，判断所述膏体是否存在预设缺陷，所述预设缺陷包括断尖、气孔、凹陷中的至少一种。
根据本公开实施例的一种具体实现方式，其特征在于：
对于所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机拍摄的膏体的侧面图像，进行图像增强操作；
对增强操作处理之后的图像，利用预设的深度学习模型，进行缺陷监测。
对于顶部摄像机所拍摄到的图像，优选的首先使用传统图像处理技术对图像进行粗定位。在一种实施例中使用hough圆检测确定口红(膏体)的位置和半径，以口红中心所在位置以及半径确定感兴趣区域。将感性区域缩放至预设尺寸，并将其标记为输入图像。使用第一类深度学习模型，对输入图像进行分析。在一种实施例中，该深度模型作为一种二分类任务，即识别感兴趣区域是否存在缺陷；在另一种实施例中，该深度模型作为一种多标签的分类任务，标签的数量与缺陷类型的数量相关，例如主要存在断尖、气孔、凹陷三类缺陷，即可定义断尖、气孔、凹陷、正常四种分类标签。
对于深度学习模型，在一种实施例中可以使用resnet50作为分类模型，使用softmax作为分类损失函数。使用对不同颜色、外形口红的大量图片，对上述深度学习模型进行有监督训练。最终可以获得有效的第一深度学习模型。
对于侧面摄像机所拍摄的图像，优选的首先用传统图像处理技术对图像进行图强增强。在一种实施例中，使用自商方法去除光照。可选的，使用自适应直方图均衡化增强图像细节。将增强后的图像标记为输入图像。
使用第二深度学习模型，对输入图像进行分析。在一种实施例中，将缺陷检测作为一种，目标定位和分类任务，例如可以使用ssd，yolov3等作为第二深度学习模型，回归缺陷所在位置以及分类标签。其输出的结果为一系列5元组，分别表示了回归框左上角点的横纵坐标，回归框的宽度高度，以及分类标签。根据缺陷类型的定义，可以作为二分类任务，即是否存在缺陷；或者是多标签的任务，分类缺陷到底属于哪一种类型；在另一种实施例中，将目标定位模型，与分类模型串联使用整体作为第二深度学习模型。前者用于确定目标所在的位置和尺寸，之后对每一个缺陷所在的位置提取感兴趣区域，并将其标记为分类模型的输入子图像，使用分类深度模型，对子图像进行识别。判断该目标是否是一种缺陷，或是哪一种缺陷。在另一种实施例中，使用二值化或自适应二值化方法，对原始图像进行分割，通过形态学的开辟运算去除噪声，统计联通区域，确定缺陷的候选感兴趣区域。之后使用resnet等作为第二深度学习模型，对候选感兴趣区域进行分类。关于第二深度学习模型的训练方法，与第一深入学习模型类似，属于现有技术，在此不再赘述。
与上面的设备相应对，参见图2，本公开实施例还提供了一种膏体外观缺陷检测方法，包括：
s201，利用传送装置用户在指定方向上运送膏体；
s202，将第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
s203，设置第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
s204，设置第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
s205，设置第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
s206，设置缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
在实现步骤s201～s206的过程中，第一、二、三、四摄像机用于拍摄膏体侧面的图像。第五摄像机用于拍摄膏体顶部的图像。需要说明的是对于第一、二、三、四摄像机的布置方法仅是一种优选的方案，根据生产线现场的情况可以使用3个、4个、5个等，本发明重点在于使用了两种类型的是相机其中一类(如第一、二、三、四摄像机)用于拍摄膏体以及外壳体侧柱面，另一类(如第五摄像机)安装于口红膏体正上方，垂直向口红头缘部拍摄，用于检测口红膏体头缘部的缺陷，如“断尖”等。
如图1所示，产品经传送装置(例如，传送带)向前运输，待经过触发传感器(例如，第一触发传感器或第二触发传感器)时，触发拍照。在一种实施例中使用反射式近接传感器作为触发信号源。上游触发传感器(第一触发传感器)与第一、二摄像机相连接。下游触发传感器(第二触发传感器)与第三、四摄像机连接。对同一物体分别在上下游被触发的时刻拍照两次，组成多个视角的影像，同步传输至图像处理传感器。在一种实施例中，第五摄像机与上游触发传感器相连接，用于在上游拍摄膏体头缘部；在另一种实施例中，第五摄像机与下游触发传感器相连接，我拍摄膏体头缘部。
本发明虽然以口红为方案目标，但并不限于口红，可解释为口红以及具有口红外观特征的膏体，如润唇膏、唇彩等。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
1.一种膏体外观缺陷检测设备，其特征在于，包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
第一触发传感器，所述第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括：
第一光源，所述第一光源在所述第一位置照射所述膏体。
3.根据权利要求2所述的装置，其特征在于，所述装置还包括：
第一遮蔽挡板，所述第一遮蔽挡板设置在于所述第一光源相对的一侧，用于将所述第一光源的光反射到所述第一位置。
4.根据权利要求1所述的装置，其特征在于，所述装置还包括：
第二光源，所述第二光源在所述第二位置照射所述膏体。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：
第二遮蔽挡板，所述第二遮蔽挡板设置在于所述第二光源相对的一侧，用于将所述第二光源的光反射到所述第二位置。
6.根据权利要求2-5中任一项所述的装置，其特征在于：
所述第一光源为面板型led常亮光源，所述led常亮光源通过上游触发传感器进行点亮触发操作。
7.根据权利要求2-5中任一项所述的装置，其特征在于，所述装置还包括：
所述第一遮挡板和所属第二遮挡板为漫反射材质。
8.根据权利要求1所述的装置，其特征在于：
对于所述第五摄像机拍摄的图像，采用图像处理技术对图像进行粗定位，用于确定膏体的位置和半径；
在所述膏体的位置和半径的区域内，判断所述膏体是否存在预设缺陷，所述预设缺陷包括断尖、气孔、凹陷中的至少一种。
9.根据权利要求1所述的装置，其特征在于：
对于所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机拍摄的膏体的侧面图像，进行图像增强操作；
对增强操作处理之后的图像，利用预设的深度学习模型，进行缺陷监测。
10.一种膏体外观缺陷检测方法，其特征在于，包括：
利用传送装置用户在指定方向上运送膏体；
将第一触发传感器设置在所述传送装置的第一位置，用于在第一位置检测所述膏体是否到达；
设置第一摄像机、第二摄像机和第五摄像机，所述第一摄像机和所述第二摄像机用于在第一位置对所述膏体在水平方向上进行拍摄，所述第五摄像机用于在第一位置对所述膏体在垂直向下的方向上进行拍摄；
设置第二触发传感器，所述第二触发传感器设置在所述传送装置的第二位置，用于在第二位置检测所述膏体是否到达；
设置第三摄像机和第四摄像机，所述第三摄像机和所述第四摄像机用于在第二位置对所述膏体在水平方向上进行拍摄；
设置缺陷检测处理器，所述缺陷检测处理器通过所述第一摄像机、所述第二摄像机、所述第三摄像机、所述第四摄像机及所述第五摄像机拍摄的图像判断所述膏体是否存在外观缺陷。
技术总结