本公开涉及产品检测技术领域，尤其涉及一种膏体表面气孔自动检测设备及方法。
背景技术：
传统口红制造生产线上，口红在生产过程中，膏体在脱模之后易发生“断尖”，划痕、污渍等缺陷。口红一类产品在生产线上膏体的旋转角度具有不确定性，难以确定性的拍摄到预定角度的膏体图像。
现有口红或类似膏体制造企业，在外观检测环节上仍然依赖于人工检查为主，半自动化或自动化的检测方式人不普及，导致了产品外观良率难以控制。
为解决此问题或此类问题，一般的设备制造商会为化妆品生产企业提供通用的视觉检查装置或软件模块，通过组态、调试使之适用于各种产品类型，但这类产品的适用性与本发明存在差异。通用设备由于没有为口红类膏体特殊设计的光源、结构、算法模块，因此准确率不高。
技术实现要素：
有鉴于此，本公开实施例提供一种膏体表面气孔自动检测设备及方法，以至少部分解决现有技术中存在的问题。
第一方面，本公开实施例提供了一种膏体表面气孔自动检测设备，包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
触发传感器，所述触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
垂直光源组件，所述垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
水平摄像装置，所述水平摄像装置用于在预设位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
平板型光源，所述平板型光源用于生成垂直向下方向的光。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
束光桶，所述束光桶设置在所述平板型光源的底部，用于对所述平板型光源的光在垂直方向上进行引导。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
蜂窝桶，所述蜂窝桶的外壳为不透光材质构成的中空管，所述中空管内使用不透光材质蜂窝格栅将蜂窝桶划分多个栅格，每个栅格在蜂窝桶中上下贯通，使光线可以由上至下射出。
根据本公开实施例的一种具体实现方式，所述水平摄像装置包括多个在水平方向上设置的摄像机，每个摄像机从不同的水平角度拍摄所述膏体。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器使用自适应二值化的方式将所述膏体所在感兴趣区域分割出来。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在固定的预设感兴趣区域可将膏体分割出来。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在图像分割后，使用自适应直方图均衡化方法提高对比度，增强画面局部的细节，将缺陷检测作为一种目标定位和分类任务，使用深度学习模型，回归缺陷所在位置以及分类标签。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在通过目标定位模型与分类模型串联使用整体作为第二深度学习模型，通过目标定位模型来确定目标所在的位置和尺寸，对每一个缺陷所在的位置提取感兴趣区域，并将其标记为分类模型的输入子图像，使用分类模型，对子图像进行识别，判断目标的缺陷类型。
第二方面，本公开实施例提供了一种膏体表面气孔自动检测方法，包括：
利用传送装置用户在指定方向上运送膏体；
将触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
将垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
通过水平摄像装置在预设位置对所述膏体在水平方向上进行拍摄；
利用缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
本公开实施例中的膏体表面气孔自动检测方案，包括传送装置，所述传送装置用户用于在指定方向上运送膏体；触发传感器，所述触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；垂直光源组件，所述垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；水平摄像装置，所述水平摄像装置用于在预设位置对所述膏体在水平方向上进行拍摄；缺陷检测处理器，所述缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。通过本公开的处理方案，能够提高缺陷检测的准确度。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种膏体表面气孔自动检测装置的结构示意图；
图2为本公开实施例提供的一种蜂窝桶示意图；
图3a-3b为本公开实施例提供的不同检测结果的缺陷图像示意图；
图4为本公开实施例提供的一种膏体表面气孔自动检测方法的流程图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
参见图1，本公开实施例中的膏体表面气孔自动检测设备，可以包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
触发传感器，所述触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
垂直光源组件，所述垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
水平摄像装置，所述水平摄像装置用于在预设位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
具体的，部署在生产线上的图像采集装置如图1所示，口红或其他膏体直立放置在传送装置(例如，传送带)上。在传送带的拖动下向前行进。在传送带一侧部署触发传感器，在一种实施例中使用反射式近接传感器。触发传感器与摄像装置(例如，摄像机)连接。
水平摄像装置围绕被拍摄物体，面向被拍摄物体。如图1所示，在一种实施例中使用4台摄像机拍摄，带检测膏体。在其它实施例中还可以使用3台、5台等其他数量的摄像机。具体摄像机的数量视安装现场的体积，检测结果对摄像机透视死角的容忍度最终决定。
在膏体进入待拍摄位置时，其正上方部署光源、束光桶、蜂窝筒。在一种实施例中，光源可以选择平板型led光源。束光桶安装于光源下方，用于适配光源于蜂窝筒的尺寸，用于减小光源的照射面积。束光桶使用不透光材质，是一种起到法兰作用的空心节管。在束光桶下方部署蜂窝桶，蜂窝桶的作用在于使射出光线尽可能平行。蜂窝桶的直径应略大于口红管径。
需要说明的是，图1中光源、束光筒，蜂窝桶之间是不存在间隙的，三者紧密相连中间不容许有漏光。
根据光源的尺寸与蜂窝桶的尺寸要求，在以下两种实施例中选择其一。在一种实施例中，光源结构需要由光源、束光桶、蜂窝桶从上至下紧密连接；在另一种实施例中，光源结构也可以由光源、蜂窝桶由上至下紧密连接，不需要束光桶。
参见图2，蜂窝桶的外壳是一种不透光材质的中空管，管内使用不透光材质蜂窝格栅将蜂窝桶划分若干栅格。每格在蜂窝桶中上下贯通，使光线可以由上至下射出。
照明装置、摄像机整体被遮光箱遮罩，遮光箱内壁采用吸光材质。用于隔绝外界的环境光。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
平板型光源，所述平板型光源用于生成垂直向下方向的光。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
束光桶，所述束光桶设置在所述平板型光源的底部，用于对所述平板型光源的光在垂直方向上进行引导。
根据本公开实施例的一种具体实现方式，所述垂直光源组件还包括：
蜂窝桶，所述蜂窝桶的外壳为不透光材质构成的中空管，所述中空管内使用不透光材质蜂窝格栅将蜂窝桶划分多个栅格，每个栅格在蜂窝桶中上下贯通，使光线可以由上至下射出。
根据本公开实施例的一种具体实现方式，所述水平摄像装置包括多个在水平方向上设置的摄像机，每个摄像机从不同的水平角度拍摄所述膏体。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器使用自适应二值化的方式将所述膏体所在感兴趣区域分割出来。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在固定的预设感兴趣区域可将膏体分割出来。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在图像分割后，使用自适应直方图均衡化方法提高对比度，增强画面局部的细节，将缺陷检测作为一种目标定位和分类任务，使用深度学习模型，回归缺陷所在位置以及分类标签。
根据本公开实施例的一种具体实现方式，所述缺陷检测处理器在通过目标定位模型与分类模型串联使用整体作为第二深度学习模型，通过目标定位模型来确定目标所在的位置和尺寸，对每一个缺陷所在的位置提取感兴趣区域，并将其标记为分类模型的输入子图像，使用分类模型，对子图像进行识别，判断目标的缺陷类型。
使用传统照明装置，拍摄得到的画面如图3a所示；根据上述照明装置，拍摄到的画面如图3b所示。
使用本发明所述图像采集方法可以极大程度地突出缺陷特征，可以极大程度地提高图像识别的准确率。
摄像机收到触发信号后，拍摄口红(膏体)图像。在一种实施例中，由于在遮光箱内只有被拍摄物体被照明照亮，优选地使用简单的自适应二值化方法即可将口红所在感兴趣区域分割出来。在另一种实施例中，由于拍照任务是根据触发信号驱动的，则口红在每一个摄像机拍摄到的画面中位置相对固定。因此使用固定的预设感兴趣区域即可将其分割出来。
图像分割后，优选地使用自适应直方图均衡化方法提高对比度，增强画面局部的细节。在一种实施例中，将缺陷检测作为一种目标定位和分类任务，例如可以使用ssd，yolov3等作为深度学习模型，回归缺陷所在位置以及分类标签。其输出的结果为一系列5元组，分别表示了回归框左上角点的横纵坐标，回归框的宽度高度，以及分类标签。根据缺陷类型的定义，可以作为二分类任务，即是否存在缺陷；或者是多标签的任务，分类缺陷到底属于哪一种类型；
在另一种实施例中，将目标定位模型，与分类模型串联使用整体作为第二深度学习模型。前者用于确定目标所在的位置和尺寸，之后对每一个缺陷所在的位置提取感兴趣区域，并将其标记为分类模型的输入子图像，使用分类深度模型，对子图像进行识别。判断该目标是否是一种缺陷，或是哪一种缺陷。
在另一种实施例中，使用二值化或自适应二值化方法，对感兴趣区域进行精确图像分割，通过形态学的开辟运算去除噪声，统计联通区域，确定缺陷的候选感兴趣区域。之后使用resnet等作为识别任务的深度学习模型，对候选感兴趣区域进行分类。
关于深度学习模型ssd，yolov3，resnet等以及其损失函数、训练方法，属于现有技术，在此不再赘述。
与上面的设备相应对，参见图4，本公开实施例还提供了一种膏体表面气孔自动检测方法，包括：
s401，利用传送装置用户在指定方向上运送膏体；
s402，将触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
s403，将垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
s404，通过水平摄像装置在预设位置对所述膏体在水平方向上进行拍摄；
s405，利用缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
在实现步骤s401～s405的过程中，水平摄像装置围绕被拍摄物体，面向被拍摄物体。如图1所示，在一种实施例中使用4台摄像机拍摄，带检测膏体。在其它实施例中还可以使用3台、5台等其他数量的摄像机。具体摄像机的数量视安装现场的体积，检测结果对摄像机透视死角的容忍度最终决定。
在膏体进入待拍摄位置时，其正上方部署光源、束光桶、蜂窝筒。在一种实施例中，光源可以选择平板型led光源。束光桶安装于光源下方，用于适配光源于蜂窝筒的尺寸，用于减小光源的照射面积。束光桶使用不透光材质，是一种起到法兰作用的空心节管。在束光桶下方部署蜂窝桶，蜂窝桶的作用在于使射出光线尽可能平行。蜂窝桶的直径应略大于口红管径。
需要说明的是，图1中光源、束光筒，蜂窝桶之间是不存在间隙的，三者紧密相连中间不容许有漏光。
根据光源的尺寸与蜂窝桶的尺寸要求，在以下两种实施例中选择其一。在一种实施例中，光源结构需要由光源、束光桶、蜂窝桶从上至下紧密连接；在另一种实施例中，光源结构也可以由光源、蜂窝桶由上至下紧密连接，不需要束光桶。
本发明虽然以口红为方案目标，但并不限于口红，可解释为口红以及具有口红外观特征的膏体，如润唇膏、唇彩等。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
1.一种膏体表面气孔自动检测设备，其特征在于，包括：
传送装置，所述传送装置用户用于在指定方向上运送膏体；
触发传感器，所述触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
垂直光源组件，所述垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
水平摄像装置，所述水平摄像装置用于在预设位置对所述膏体在水平方向上进行拍摄；
缺陷检测处理器，所述缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
2.根据权利要求1所述的装置，其特征在于，所述垂直光源组件还包括：
平板型光源，所述平板型光源用于生成垂直向下方向的光。
3.根据权利要求2所述的装置，其特征在于，所述垂直光源组件还包括：
束光桶，所述束光桶设置在所述平板型光源的底部，用于对所述平板型光源的光在垂直方向上进行引导。
4.根据权利要求3所述的装置，其特征在于，所述垂直光源组件还包括：
蜂窝桶，所述蜂窝桶的外壳为不透光材质构成的中空管，所述中空管内使用不透光材质蜂窝格栅将蜂窝桶划分多个栅格，每个栅格在蜂窝桶中上下贯通，使光线可以由上至下射出。
5.根据权利要求1所述的装置，其特征在于：
所述水平摄像装置包括多个在水平方向上设置的摄像机，每个摄像机从不同的水平角度拍摄所述膏体。
6.根据权利要求1所述的装置，其特征在于：
所述缺陷检测处理器使用自适应二值化的方式将所述膏体所在感兴趣区域分割出来。
7.根据权利要求1所述的装置，其特征在于：
所述缺陷检测处理器在固定的预设感兴趣区域可将膏体分割出来。
8.根据权利要求1所述的装置，其特征在于：
所述缺陷检测处理器在图像分割后，使用自适应直方图均衡化方法提高对比度，增强画面局部的细节，将缺陷检测作为一种目标定位和分类任务，使用深度学习模型，回归缺陷所在位置以及分类标签。
9.根据权利要求1所述的装置，其特征在于：
所述缺陷检测处理器在通过目标定位模型与分类模型串联使用整体作为第二深度学习模型，通过目标定位模型来确定目标所在的位置和尺寸，对每一个缺陷所在的位置提取感兴趣区域，并将其标记为分类模型的输入子图像，使用分类模型，对子图像进行识别，判断目标的缺陷类型。
10.一种膏体表面气孔自动检测方法，其特征在于，包括：
利用传送装置用户在指定方向上运送膏体；
将触发传感器设置在所述传送装置的预设位置，用于在预设位置检测所述膏体是否到达；
将垂直光源组件设置在所述预设位置，通过向下照射的方式将光源照射到所述膏体的顶部；
通过水平摄像装置在预设位置对所述膏体在水平方向上进行拍摄；
利用缺陷检测处理器通过所述水平摄像装置拍摄的图像判断所述膏体是否存在外观缺陷。
技术总结