一种面向新零售的图像自动标注系统及方法与流程

专利2022-06-29  70


本发明涉及图像标注技术领域,特别是一种面向新零售的图像自动标注系统及方法。



背景技术:

图像标注,是标注出图像中目标的位置和标签的技术。人工智能技术的普及,使得数据标注作为一个新的行业出现在众人面前,在机器视觉领域,图像标注又成了一项需求量大但是复杂繁琐的工作,提高图像标注的效率成为了热点。

传统的标注方法,是在原始图像中标注目标物体位置并对每张图片生成相应的标注文件表示目标的位置信息和目标的标签。传统的标注方法可靠性高,但是存在着效率低下,人力资源浪费严重的问题。现有的自动标注技术是利用一个已经训练好的针对特定场景的目标识别网络来进行标注,这样的标注方法自动化程度高,但是不能保证标注结果的正确性,标签的针对性强,扩展性差。相较之下,本发明提出的图像自动标注方法,标注过程为自动标注,能快速处理大批量的图片,效率高,通过在关键环节人为检查标注的准确性确保标注的正确率,通过利用级联的网络结构,第一网络实现图像分割,第二个网络完成数字识别的任务,通过数字对应标签的方法,加强了添加标签的灵活性。



技术实现要素:

本发明的目的在于提供一种面向新零售的图像自动标注方法,以克服现有技术中存在的缺陷。

为实现上述目的,本发明的技术方案是:一种面向新零售的图像自动标注系统,包括:

用于获取待标注图片和待标注图片对应的用于自动标注图片的测试单元,通过平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片的用于自动标注的对应图片;

用于获取待标注图片中目标的位置信息和目标的标签的级联网络测试单元,通过训练好的针对目标的图像分割网络获取图像中目标的位置信息,通过深度学习网络识别放置在目标上的数字,通过数字与标签的对应关系得到目标的标签;

检查标注结果是否是groundtruth的测试单元,用于确认标注的结果是否准确,在使用图像分割网络获取待标注图片中的位置信息时,检查位置信息是否有错误,如果有错误则将错误的图片挑选出来进行标注,在识别目标上的数字后,将各目标以及各目标对应的数字显示出来,检测是否有错误,如果有错误则修改目标的标签;

获取标注结果测试单元,用于生成.csv文件,通过编写的python代码将每张图片的每一个目标的位置信息和目标的标签和图片的名称写入.csv格式文件并保存。

本发明还提供了一种面向新零售的图像自动标注方法,包括如下步骤:

步骤s1:对需要标注的目标建立数据集,通过该数据集训练一个图像分割模型,以获取需要标注目标的位置信息;

步骤s2:通过一平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片用于自动标注的对应的图片,制作待标注的数据集;

步骤s3:通过步骤s1所述的图像分割模型获取标注图片的用于自动标注的对应图片中的各个目标的位置信息,检查是否有误,如果有误,则不再继续进行标注并保存到用于保存需要标注的图片的文件夹中;

步骤s4:通过各个目标的位置信息,截取图像中各个目标的图像,通过深度学习网络识别目标上的数字,检查无误后,通过数字与标签的对应关系,确认目标的标签;

步骤s5:编写python代码,将每张图片的文件名,图片中每个目标的位置信息和标签制作为.csv格式文件,完成自动标注。

在本发明一实施例中,在所述步骤s2中,还包括如下步骤:

步骤s201:针对每张需要标注的图片建立两个个文件夹,一个文件夹内存放需要标注的图片,另一个文件夹存放目标上写有数字的纸片的图片,两张图片均是通过摄像头和摆放目标的平台的相对位置固定的设备拍摄的,两张图片的命名相同。

在本发明一实施例中,在所述步骤s3中,还包括如下步骤:

步骤s301:通过各个目标的位置信息,给各个目标加上矩形框,并将加框后的图片显示出来,检查有误时,把待检测图片保存到用于保存需要标注的图片的文件夹中,如果无误进行下一步。

在本发明一实施例中,在所述步骤s4中,还包括如下步骤:

步骤s401:通过各个目标的位置信息,截取目标中各个目标的图片,通过一个训练好的深度学习网络,识别放置在目标上的写有数字的卡片的数字,通过数字与标签的对应关系,给该区域的目标打上标签;

步骤s402:检查时,通过显示图片中步骤s401所述截取的每个目标的图片,以及将识别的数字在每个目标的图片的左上角显示,检查无误后送入下一步。

相较于现有技术,本发明具有以下有益效果:本发明的优点在于可以快速标注大量图像,提升了图像标注的速度和效率,扩展了标签的范围,不再局限于已经训练好的目标识别网络。

附图说明

图1为本发明一实施例中待标注图片与对应用于自动标注图片示意图。

图2为本发明一实施例中用于人为检查图片示意图。

图3为本发明一实施例子中自动标注.csv文件示意图。

具体实施方式

下面结合附图,对本发明的技术方案进行具体说明。

本发明提供了一种面向新零售的图像自动标注系统,包括:

用于获取待标注图片和待标注图片对应的用于自动标注图片的测试单元,通过平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片的用于自动标注的对应图片;

用于获取待标注图片中目标的位置信息和目标的标签的级联网络测试单元,通过训练好的针对目标的图像分割网络获取图像中目标的位置信息,通过深度学习网络识别放置在目标上的数字,通过数字与标签的对应关系得到目标的标签;

检查标注结果是否是groundtruth的测试单元,用于确认标注的结果是否准确,在使用图像分割网络获取待标注图片中的位置信息时,检查位置信息是否有错误,如果有错误则将错误的图片挑选出来进行标注,在识别目标上的数字后,将各目标以及各目标对应的数字显示出来,检测是否有错误,如果有错误则修改目标的标签;

获取标注结果测试单元,用于生成.csv文件,通过编写的python代码将每张图片的每一个目标的位置信息和目标的标签和图片的名称写入.csv格式文件并保存。

本发明还提供了一种面向新零售的图像自动标注方法,包括如下步骤:

步骤s1:对需要标注的目标建立数据集,通过该数据集训练一个图像分割模型,以获取需要标注目标的位置信息;

步骤s2:通过一平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片用于自动标注的对应的图片,制作待标注的数据集;

步骤s3:通过步骤s1所述的图像分割模型获取标注图片的用于自动标注的对应图片中的各个目标的位置信息,检查是否有误,如果有误,则不再继续进行标注并保存到用于保存需要标注的图片的文件夹中;

步骤s4:通过各个目标的位置信息,截取图像中各个目标的图像,通过深度学习网络识别目标上的数字,检查无误后,通过数字与标签的对应关系,确认目标的标签;

步骤s5:编写python代码,将每张图片的文件名,图片中每个目标的位置信息和标签制作为.csv格式文件,完成自动标注。

以下为本发明的具体实现过程。

本发明一种面向新零售的图像自动标注系统,包括四个部分,第一个部分为获取待标注图片和待标注图片对应的用于自动标注图片的测试单元,第二部分为获取待标注图片中目标的位置信息和目标的标签的级联网络的测试单元,第三部分为检查标注结果是否是groundtruth的测试单元,第四部分为获取标注结果的测试单元。获取待标注图片和待标注图片对应的用于自动标注图片的测试单元主要包括拍摄待标注图片,待标注图片对应的用于自动标注的图片,并建立两者的对应关系。获取待标注图片中目标的位置信息和目标的标签的测试单元主要包括获取图片中目标的位置信息,识别目标上的数字获取目标的标签。检查标注结果是否是groundtruth的测试单元包括检查自动标注的目标的位置信息和标签是否有误。获取标注结果的测试单元包括把每张图片的每一个目标的位置信息和目标的标签和图片的名称写入.csv格式文件并保存(如图3所示)。

如图1所示,针对以上系统,本发明提供了一种面向新零售的图像自动标注方法,按照如下步骤实现:

步骤s1:针对需要训练的目标,拍摄照片建立数据集,使用数据集训练一个开源的图像分割模型(如icnet),训练的模型用于后续获得图片中目标的位置信息。

步骤s2:通过一个平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片用于自动标注的对应的图片,每一个目标类别对应一个数字用于确认目标的标签,制作待标注的数据集,建立两者对应关系

步骤s3:通过步骤s1所述的图像分割模型(icnet)获取标注图片的用于自动标注的对应图片中的各个目标的位置信息,人为检查是否有误,如果有误,则不再继续进行标注并保存到用于保存需要人为标注的图片的文件夹中;

步骤s4:截取图像中各个目标的图像,通过深度学习网络识别目标上的数字,人为检查无误后,通过数字与标签的对应关系,确认目标的标签,如果有错误,则手动修改该目标的标签。

进一步的,在步骤s2中,还包括如下步骤:

步骤s201:针对每张需要标注的图片建立两个个文件夹,一个文件夹内存放需要标注的图片,另一个文件夹存放目标上有写有数字的纸片的图片,两张图片均是通过摄像头和摆放目标的平台的相对位置固定的设备拍摄的,两张图片的命名相同。

进一步的,在步骤s3中,还包括如下步骤:

步骤s301:通过各个目标的位置信息(,,,),在图片上给各个目标加上矩形框,并将加框后的图片显示出来,人为检查发现有错误标注目标位置信息或者是未获得所有目标的位置信息时,把待检测图片保存到用于保存需要人为标注的图片的文件夹中,如果无误进行下一步。

进一步的,在步骤s4中,还包括如下步骤:

步骤s401:通过各个目标的位置信息(,,,),截取目标中各个目标的图片,通过一个训练好的深度学习网络(lenet-5)识别放置在目标上的写有数字的卡片的数字,通过数字与标签的对应关系,给目标打上标签。

步骤s402:人为检查时,通过显示图片中步骤s401所述截取的每个目标的图片,以及将识别的数字在每个目标的图片的左上角显示,人为检查无误后送入下一步,如果有错误,则手动修改该目标的标签。

图2为本发明一实施例中用于人为检查图片示意图。

以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。


技术特征:

1.一种面向新零售的图像自动标注系统,其特征在于,包括:

用于获取待标注图片和待标注图片对应的用于自动标注图片的测试单元,通过平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片的用于自动标注的对应图片;

用于获取待标注图片中目标的位置信息和目标的标签的级联网络测试单元,通过训练好的针对目标的图像分割网络获取图像中目标的位置信息,通过深度学习网络识别放置在目标上的数字,通过数字与标签的对应关系得到目标的标签;

检查标注结果是否是groundtruth的测试单元,用于确认标注的结果是否准确,在使用图像分割网络获取待标注图片中的位置信息时,检查位置信息是否有错误,如果有错误则将错误的图片挑选出来进行标注,在识别目标上的数字后,将各目标以及各目标对应的数字显示出来,检测是否有错误,如果有错误则修改目标的标签;

获取标注结果测试单元,用于生成.csv文件,通过编写的python代码将每张图片的每一个目标的位置信息和目标的标签和图片的名称写入.csv格式文件并保存。

2.一种面向新零售的图像自动标注方法,其特征在于,包括如下步骤:

步骤s1:对需要标注的目标建立数据集,通过该数据集训练一个图像分割模型,以获取需要标注目标的位置信息;

步骤s2:通过一平台与摄像头相对位置固定的设备,拍摄待标注图片后,在目标上放置写有数字的纸片再进行一次拍照获取待标注图片用于自动标注的对应的图片,制作待标注的数据集;

步骤s3:通过步骤s1所述的图像分割模型获取标注图片的用于自动标注的对应图片中的各个目标的位置信息,检查是否有误,如果有误,则不再继续进行标注并保存到用于保存需要标注的图片的文件夹中;

步骤s4:通过各个目标的位置信息,截取图像中各个目标的图像,通过深度学习网络识别目标上的数字,检查无误后,通过数字与标签的对应关系,确认目标的标签;

步骤s5:编写python代码,将每张图片的文件名,图片中每个目标的位置信息和标签制作为.csv格式文件,完成自动标注。

3.根据权利要求2所述的一种面向新零售的图像自动标注方法,其特征在于,在所述步骤s2中,还包括如下步骤:

步骤s201:针对每张需要标注的图片建立两个个文件夹,一个文件夹内存放需要标注的图片,另一个文件夹存放目标上写有数字的纸片的图片,两张图片均是通过摄像头和摆放目标的平台的相对位置固定的设备拍摄的,两张图片的命名相同。

4.根据权利要求2所述的一种面向新零售的图像自动标注方法,其特征在于,在所述步骤s3中,还包括如下步骤:

步骤s301:通过各个目标的位置信息,给各个目标加上矩形框,并将加框后的图片显示出来,检查有误时,把待检测图片保存到用于保存需要标注的图片的文件夹中,如果无误进行下一步。

5.根据权利要求2所述的一种面向新零售的图像自动标注方法,其特征在于,在所述步骤s4中,还包括如下步骤:

步骤s401:通过各个目标的位置信息,截取目标中各个目标的图片,通过一个训练好的深度学习网络,识别放置在目标上的写有数字的卡片的数字,通过数字与标签的对应关系,给该区域的目标打上标签;

步骤s402:检查时,通过显示图片中步骤s401所述截取的每个目标的图片,以及将识别的数字在每个目标的图片的左上角显示,检查无误后送入下一步。

技术总结
本发明涉及一种面向新零售的图像自动标注系统及方法。所述体现包括获取待标注图片和待标注图片对应的用于自动标注图片的测试单元,获取待标注图片中目标的位置信息和目标的标签的级联网络测试单元,检查标注结果是否是Ground Truth的测试单元,获取标注结果的测试单元。训练针对需要标注的目标的图像分割模型,拍摄待标注图片,以及在待标注图片的目标上放置写有数字的纸片的用于自动标注的图片,通过图像分割网络获取图片中目标的位置信息,并检查是否有误,通过深度学习网络获取目标上数字信息,检查无误后,通过数字与标签的对应关系确认目标的标签,将待标注图片的文件名,利用图片中各个目标的位置信息和标签,生成.csv格式文件,完成自动标注。

技术研发人员:黄联芬;刘文斌;林和志;郭洋洋;唐凌;郑庚;林英;许荣贺;王丰
受保护的技术使用者:厦门大学;福建联迪商用设备有限公司
技术研发日:2020.02.27
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-24138.html

最新回复(0)