获取训练数据的方法、装置及电子设备与流程

专利2023-04-07  10



1.本发明涉及数据处理领域,尤其涉及一种获取训练数据的方法、装置及电子设备。


背景技术:

2.人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别、面部识别。
3.如今人脸识别的应用非常广泛,而为了保证人脸识别模型在各种场景下的性能,需要庞大的人脸数据作为人脸识别模型的训练数据。目前,为保证训练数据的数据量,通常在互联网上爬取的海量人脸数据直接作为训练数据。
4.然而,直接爬取的海量人脸数据中存在大量无法用于训练人脸识别模型的数据,不仅导致模型训练的效率较低,同时也造成模型的性能较差。因此,如何获取到用于人脸识别模型训练的高质量的训练数据是一个难题。


技术实现要素:

5.鉴于上述问题,本发明实施例提供了一种获取训练数据的方法、装置及电子设备以解决现有技术中,无法获取高质量的训练数据,导致人脸识别模型训练的效率较低以及人脸识别模型的性能较差的问题。
6.在本发明实施的第一方面,提供了一种获取训练数据的方法,所述方法包括:
7.获取多个账户下的人脸图像;
8.分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果;
9.针对所述聚类结果,对不同所述账户的所述聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;
10.基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,其中,每一所述目标类别下的所述人脸图像的数量均位于预设数值区间内。
11.可选地,所述分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果,包括:
12.对每一所述账户下的每一所述人脸图像进行特征提取,得到每一所述人脸图像的人脸特征,其中,所述人脸特征包括人脸清晰度;
13.针对每一所述账户,基于所述账户下的所述人脸图像的人脸特征对所述账户下的目标人脸图像进行聚类,得到所述账户的聚类结果,其中,所述目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。
14.可选地,所述对不同所述账户的所述聚类结果中相同的类别进行合并处理,包括:
15.分别计算各所述账户的所述聚类结果中每一所述类别的聚类中心特征;
16.将所述聚类中心特征间的余弦距离小于目标距离值的所述类别确定为相同的类
别;
17.将所述相同的类别下的人脸图像合并为一个类别下的人脸图像。
18.可选地,所述基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,包括:
19.筛选所述处理后的聚类结果中人脸图像的数量位于所述预设数值区间内的类别,得到第一类型的类别;
20.筛选所述处理后的聚类结果中人脸图像的数量高于所述预设数值区间的最大值的类别,得到第二类型的类别;
21.删减所述第二类型的类别下的人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别;
22.将所述第一类型的类别下的所述人脸图像以及所述处理后的第二类型的类别下的所述人脸图像作为人脸识别模型的训练数据。
23.可选地,所述删减所述第二类型的类别下的人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别,包括:
24.针对所述第二类型的类别下的人脸图像,基于所述人脸图像的人脸属性删减所述人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别,其中,每一所述处理后的第二类型的类别下的人脸图像均满足目标条件,其中,所述目标条件为同一所述人脸属性下,不同属性值的所述人脸图像均匀分布。
25.可选地,所述人脸属性包括:表征人脸角度的第一属性、表征人脸清晰度的第二属性、表征人脸情绪的第三属性、表征人脸是否佩戴眼镜的第四属性以及表征人脸所属人种的第五属性中的至少一个。
26.可选地,所述获取多个账户下的人脸图像,包括:
27.获取多个账户发布的图片和视频;
28.对所述视频进行解帧,得到帧图片;
29.分别针对每一所述账户下的所述图片和所述帧图片进行人脸检测,将检测到人脸的所述图片和所述帧图片,确定为所述账户下的人脸图像。
30.在本发明实施的第二方面,还提供了一种获取训练数据的装置,所述装置包括:
31.获取模块,用于获取多个账户下的人脸图像;
32.聚类模块,用于分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果;
33.合并模块,用于针对所述聚类结果,对不同所述账户的所述聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;
34.筛选模块,用于基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,其中,每一所述目标类别下的所述人脸图像的数量均位于预设数值区间内。
35.可选地,所述聚类模块,包括:
36.人脸特征单元,用于对每一所述账户下的每一所述人脸图像进行特征提取,得到每一所述人脸图像的人脸特征,其中,所述人脸特征包括人脸清晰度;
37.聚类单元,用于针对每一所述账户,基于所述账户下的所述人脸图像的人脸特征
对所述账户下的目标人脸图像进行聚类,得到所述账户的聚类结果,其中,所述目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。
38.可选地,所述合并模块,包括:
39.聚类中心单元,用于分别计算各所述账户的所述聚类结果中每一所述类别的聚类中心特征;
40.类别确定单元,用于将所述聚类中心特征间的余弦距离小于目标距离值的所述类别确定为相同的类别;
41.合并单元,用于将所述相同的类别下的人脸图像合并为一个类别下的人脸图像。
42.可选地,所述筛选模块,包括:
43.第一筛选单元,用于筛选所述处理后的聚类结果中人脸图像的数量位于所述预设数值区间内的类别,得到第一类型的类别;
44.第二筛选单元,用于筛选所述处理后的聚类结果中人脸图像的数量高于所述预设数值区间的最大值的类别,得到第二类型的类别;
45.删减单元,用于删减所述第二类型的类别下的人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别;
46.训练数据单元,用于将所述第一类型的类别下的所述人脸图像以及所述处理后的第二类型的类别下的所述人脸图像作为人脸识别模型的训练数据。
47.可选地,所述删减单元,具体用于针对所述第二类型的类别下的人脸图像,基于所述人脸图像的人脸属性删减所述人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别,其中,每一所述处理后的第二类型的类别下的人脸图像均满足目标条件,其中,所述目标条件为同一所述人脸属性下,不同属性值的所述人脸图像均匀分布。
48.可选地,所述人脸属性包括:表征人脸角度的第一属性、表征人脸清晰度的第二属性、表征人脸情绪的第三属性、表征人脸是否佩戴眼镜的第四属性以及表征人脸所属人种的第五属性中的至少一个。
49.可选地,所述获取模块,包括:
50.获取单元,用于获取多个账户发布的图片和视频;
51.解帧单元,用于对所述视频进行解帧,得到帧图片;
52.人脸单元,用于分别针对每一所述账户下的所述图片和所述帧图片进行人脸检测,将检测到人脸的所述图片和所述帧图片,确定为所述账户下的人脸图像。
53.在本发明实施的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
54.存储器,用于存放计算机程序;
55.处理器,用于执行存储器上所存放的程序时,实现上述获取训练数据的方法的步骤。
56.在本发明实施的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面中任一所述的获取训练数据的方法。
57.在本发明实施的第五方面,还提供了一种包含指令的计算机程序产品,当其在计
算机上运行时,使得计算机执行上述获取训练数据的方法。
58.针对在先技术,本发明具备如下优点:
59.本发明提供的获取训练数据的方法,可以获取多个账户下的人脸图像;通过针对每一账户下的人脸图像进行聚类,可以避免同一类别掺杂其他类别的人脸图像,从而实现类别内的去噪。在得到聚类结果之后,对其中相同的类别进行合并处理,可以避免不同类别下的人脸图像为同一个人的人脸图像,从而实现类别间的去噪,最终在处理后的聚类结果中,筛选人脸图像的数量位于预设数值区间内的目标类别。将目标类别下的所述人脸图像作为人脸识别模型的训练数据,使得训练数据中不存在或存在较少的噪声数据,从而提升了训练数据的质量。进而也可以提升人脸识别模型的训练效率以及人脸识别模型的模型性能。
附图说明
60.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
61.图1为本发明实施例提供的获取训练数据的方法的步骤流程图;
62.图2为本发明实施例提供的获取训练数据的方法的局部流程图之一;
63.图3为本发明实施例提供的获取训练数据的方法的局部流程图之二;
64.图4为本发明实施例提供的获取训练数据的方法的架构示意图;
65.图5为本发明实施例提供的获取训练数据的装置的结构框图;
66.图6为本发明实施例提供的电子设备的结构框图。
具体实施方式
67.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
68.应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
69.在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
70.参见图1,本发明实施例提供了一种获取训练数据的方法,该方法包括:
71.步骤101:获取多个账户下的人脸图像。
72.本步骤中,账户指的是电子账户,即用户在电子平台中注册的账户。例如用户在社交平台中注册的电子账户。人脸图像为包含人脸的图像。这里,由于获取到的人脸图像用于
筛选高质量的训练数据,为保证训练数据的数据量,通常账户的数量较大,并且每一账户下的人脸图像的数量也较大。可以理解的是,获取的人脸图像可以是在账户下发布的数据中提取到的人脸图像,也可以是经账户所属用户授权后提取的人脸图像,也就是说,人脸图像的来源合法,且不涉及账户所属用户的个人隐私。
73.步骤102:分别针对每一账户下的人脸图像进行聚类,得到每一账户的聚类结果。
74.本步骤中,将分别针对每一账户进行聚类,从而每一账户得到一个聚类结果。这里以对一个账户进行聚类为例进行说明,采用聚类算法对账户下所有的人脸图像进行聚类,从而使得大量相同或相似的人脸图像聚集到同一个类别中,进而得到多个类别且不同类别包含各自聚集到的人脸图像,即聚类结果。其中,聚类算法为可以实现聚类的任意算法,例如图聚类算法,但不限于此。由于不同人的人脸图像会被聚集到不同类别下,因此,同一个类别下的人脸图像可以视为同一个人的人脸图像。
75.步骤103:针对聚类结果,对不同账户的聚类结果中相同的类别进行合并处理,得到处理后的聚类结果。
76.本步骤中,虽然同一账户的聚类结果中所有类别各不相同,但不同账户的聚类结果中将存在相同类别的可能性。即不同账户下的人脸图像可能存在同一人的人脸图像。例如两个不同账户各自所属的用户均为明星a的粉丝,这两个账户均发布有该明星a的图像数据,从而获取到的该两个账户下的人脸图像中均存在明星a的人脸图像,进而该两个账户的聚类结果中均存在包含明星a的人脸图像的类别。可以理解的是,各聚类结果中相同的类别的数量可以为任意数量,但相同的类别将合并处理为一个类别,且相同的类别下的人脸图像将合并到一起。最终处理后的聚类结果中不同类别下的人脸图像为不同人的人脸图像。
77.步骤104:基于处理后的聚类结果筛选目标类别下的人脸图像作为人脸识别模型的训练数据。
78.本步骤中,每一目标类别下的人脸图像的数量均位于预设数值区间内。可以理解的是,在人脸识别模型进行训练时,为保证模型的泛化能力,通常需要不同人的人脸图像的数量相等或相近。因为当某一个人的人脸图像的数量明显高于其他人的人脸图像的数量时,训练得到的人脸识别模型可能会存在对这个人的偏好,从而降低了人脸识别模型的泛化能力。由于不同账户下的人脸图像的数量各不相同,甚至可能数量的差异甚大,最终可能导致处理后的聚类结果中各类别下的人脸图像的数量存在较大差异。通过筛选处理可以使训练数据中每一类别下的人脸图像的数量相同或相近。预设数值区间为预先设置的一区间范围较小的数值区间,从而可以保证训练数据中不同类别下的人脸图像分布较为均匀,即不同类别下的人脸图像的数量不会相差较大。
79.本发明实施例中,可以获取多个账户下的人脸图像;通过针对每一账户下的人脸图像进行聚类,可以避免同一类别掺杂其他类别的人脸图像,从而实现类别内的去噪。在得到聚类结果之后,对其中相同的类别进行合并处理,可以避免不同类别下的人脸图像为同一个人的人脸图像,从而实现类别间的去噪,最终在处理后的聚类结果中,筛选人脸图像的数量位于预设数值区间内的目标类别。将目标类别下的人脸图像作为训练数据,使得训练数据中不存在或存在较少的噪声数据,从而提升了训练数据的质量。进而也可以提升人脸识别模型的训练效率以及人脸识别模型的模型性能。
80.参见图2,作为本发明的一可选实施例,上述步骤102:分别针对每一账户下的人脸
图像进行聚类,得到每一账户的聚类结果,可以包括:
81.步骤201:对每一账户下的每一人脸图像进行特征提取,得到每一人脸图像的人脸特征。
82.本步骤中,人脸特征为人脸图像中的与人脸相关的特征,这里,提取到的人脸特征的数量通常为多个,从而便于区分不同的人脸图像。较佳地,人脸特征包括人脸清晰度,但不限于此。
83.步骤202:针对每一账户,基于账户下的人脸图像的人脸特征对账户下的目标人脸图像进行聚类,得到账户的聚类结果,其中,目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。
84.本步骤中,由于针对不同账户的操作相同,因此这里仅以针对一个账户的操作为例进行说明。可以理解的是,由于同一人的不同人脸图像具有较高的相似度,因此针对同一人的不同人脸图像提取到的人脸特征同样具有较高的相似度。在聚类过程中相似度高的人脸特征所属的人脸图像将聚集到一起,从而使得聚类结果中不同人的人脸图像各自聚集到不同类别中,通过类别实现对人的区分,即不同类别对应不同人,类别下的人脸图像为该类别对应的人的人脸图像。
85.对于人脸清晰度较差的人脸图像,是无法保证识别到的人脸特征的准确性的。因此,若使用大量人脸清晰度较差的人脸图像进行人脸识别模型的训练,将无法保证模型性能。因此,需要将人脸清晰度较差的人脸图像删除,保留人脸清晰度较好的人脸图像作为训练数据。其中,清晰度阈值为预先确定的一数值,高于该数值的人脸图像可以视为人脸清晰度较好的人脸图像;低于该数值的人脸图像可以视为人脸清晰度较差的人脸图像。目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。
86.本发明实施例中,利用人脸特征可以快速准确的实现人脸图像的聚类,缩短了得到聚类结果的时长,同时,通过删减人脸清晰度较差的人脸图像,不仅可以提升聚类的效率,也可以避免因人脸图像模糊影响模型性能的情况发生。
87.作为本发明的一可选实施例,上述步骤103中,对不同账户的聚类结果中相同的类别进行合并处理,可以包括:
88.分别计算各账户的聚类结果中每一类别的聚类中心特征;
89.将聚类中心特征间的余弦距离小于目标距离值的类别确定为相同的类别;
90.将相同的类别下的人脸图像合并为一个类别下的人脸图像。
91.应当说明的是,在聚类结果中,每一类别具有一聚类中心特征,该聚类中心特征即为聚类中心的特征,其可以表征整个类别。不同聚类中心特征间的余弦距离,可以表征聚类中心特征所属类别间的相似程度;余弦距离越小,说明聚类中心特征所属类别间的相似程度越高。这里,预先设置一数值较小的目标距离值,若两个聚类中心特征间的余弦距离小于该目标距离值,可以视为这两个聚类中心特征所属的类别相同,即这两个聚类中心特征所属的类别下的人脸图像为同一人的人脸图像。
92.本发明实施例中,利用聚类结果中各类别的聚类中心特征间的余弦距离,可以准确判断出相同的类别,进而实现相同类别的合并处理,将包含同一人的人脸图像的多个类别合并为一个类别,避免处理后的聚类结果中出现不同类别下的人脸图像为同一人的人脸图像的情况。
93.参见图3,作为本发明的一可选实施例,上述步骤104:基于处理后的聚类结果筛选目标类别下的人脸图像作为人脸识别模型的训练数据,可以包括:
94.步骤301;筛选处理后的聚类结果中人脸图像的数量位于预设数值区间内的类别,得到第一类型的类别。
95.本步骤中,基于类别中人脸图像的数量对类别进行分类。将处理后的聚类结果中人脸图像的数量位于预设数值区间内的类别视为第一类型的类别。这里,并不限定第一类型的类别的数量,通常将筛选出所有第一类型的类别。
96.步骤302:筛选处理后的聚类结果中人脸图像的数量高于预设数值区间的最大值的类别,得到第二类型的类别;
97.本步骤中,同样基于类别中人脸图像的数量对类别进行分类。处理后的聚类结果中人脸图像的数量高于预设数值区间的最大值的类别视为第二类型的类别。这里,并不限定第二类型的类别的数量,通常将筛选出所有第二类型的类别。
98.步骤303:删减第二类型的类别下的人脸图像至人脸图像的数量位于预设数值区间内,得到处理后的第二类型的类别;
99.本步骤中,在删减人脸图像时,可以仅依据人脸图像的数量进行删减,但不限于此。这里,处理后的第二类型的类别下的人脸图像的数量位于预设数值区间内。
100.步骤304:将第一类型的类别下的人脸图像以及处理后的第二类型的类别下的人脸图像作为人脸识别模型的训练数据。
101.本步骤中,由于第一类型的类别下的人脸图像的数量以及处理后的第二类型的类别下的人脸图像的数量均位于预设数值区间内,因此可以将两种类型的类别下的人脸图像的数量视为相同或相近,保证了训练数据中不同人的人脸图像的数量相同或相近。这里,将删除处理后的聚类结果中人脸图像的数量低于预设数值区间的最小值的类别。
102.应当说明的是,处理后的聚类结果可能会存在人脸图像的数量低于预设数值区间的最小值的类别,对于这种类型的类别,由于其人脸图像的数量较少,作为训练数据训练人脸识别模型的意义不大,因此需要舍弃这种类型的类别下的人脸图像。
103.本发明实施例中,基于人脸图像的数量对处理后的聚类结果中的类别进行分类,从而快速筛选出人脸图像的数量高于预设数值区间的最大值的第二类型的类别;进而通过删减第二类型的类别,使得处理后的第二类型的类别下的人脸图像可以作为训练数据。
104.作为本发明的一可选实施例,上述步骤303:删减第二类型的类别下的人脸图像至人脸图像的数量位于预设数值区间内,得到处理后的第二类型的类别,可以包括:
105.针对第二类型的类别下的人脸图像,基于人脸图像的人脸属性删减人脸图像至人脸图像的数量位于预设数值区间内,得到处理后的第二类型的类别。
106.应当说明的是,人脸属性为基于人脸图像确定的相关属性,其为人脸特征的另一种表现形式。可以理解的是,每一人脸属性对应有多个属性值,而对于某一人脸图像来说,其在某一人脸属性上的属性值仅为其中一个属性值。这里,每一处理后的第二类型的类别下的人脸图像均满足目标条件,其中,目标条件为同一人脸属性下,不同属性值的人脸图像均匀分布。也就是说,在某一人脸属性下,不同属性值的人脸图像的数量相等或相差较小。例如某一人脸属性包括5个不同的属性值,在处理后的第二类型的每一类别中5个属性值的分布较为均为,具有其中一个属性值的人脸图像的数量与具有其中任一属性值的人脸图像
的数量相同或相近。可以理解的是,人脸属性的数量可以为一个或者多个,在人脸属性的数量为多个的情况下,综合考虑每个人脸属性,使得处理后的第二类型的类别中各人脸属性的各属性值均实现均匀分布。
107.本发明实施例中,基于人脸图像的数量属性,对第二类型的类别下的人脸图像进行删减,从而使得处理后的第二类型的类别中各属性值的分布较为均匀,进而可以提升人脸识别模型的模型性能。
108.可选地,上述发明实施例中的人脸属性可以包括:表征人脸角度的第一属性、表征人脸清晰度的第二属性、表征人脸情绪的第三属性、表征人脸是否佩戴眼镜的第四属性以及表征人脸所属人种的第五属性中的至少一个。
109.应当说明的是,人脸角度可以为拍摄人脸图像时的拍摄角度,不同的拍摄角度对应第一属性的不同属性值。人脸清晰度可以为人脸图像的清晰度,不同的清晰度对应第二属性的不同属性值。人脸情绪可以为人脸所表示的人的情绪,不同的情绪对应第三属性的不同属性值。人脸是否佩戴眼镜包括佩戴眼镜和未佩戴眼镜两种情况,每种情况对应第四属性的一个属性值。人种包括黄色人种、白色人种、黑色人种等多种情况,每种情况对应第五属性的一个属性值。
110.本发明实施例中,将人脸角度、人脸清晰度、人脸情绪、人脸是否佩戴眼镜以及人种中的至少一个作为人脸属性,不仅可以避免人脸属性的数量过多导致计算复杂度较大,同时也可以保证人脸识别模型在实际应用场景具有较好的识别效果。
111.作为本发明的一可选实施例,上述步骤101:获取多个账户下的人脸图像,可以包括:
112.获取多个账户发布的图片和视频;
113.对视频进行解帧,得到帧图片;
114.分别针对每一账户下的图片和帧图片进行人脸检测,将检测到人脸的图片和帧图片,确定为账户下的人脸图像。
115.应当说明的是,针对解帧后的一系列视频帧,可以每秒选择固定数量的视频帧作为帧图片。该固定数量可以为一个,但不限于此。
116.本发明实施例中,将账户发布的图片和视频作为数据来源,通过解帧处理以及人脸检测,可以快速准确的得到账户下的人脸图像。
117.如图4所示为本发明实施例提供的获取训练数据的方法的实际应用架构图,包括:
118.原始数据准备阶段:在社交平台用户授权的情况下,爬取社交平台用户发布的图片和视频。
119.预处理阶段:对爬取的视频进行解帧,每一秒解一帧。解帧后的帧图片与用户发布的图片一起进行后续处理;对图片进行人脸检测;在筛选出人脸图像的同时,对人脸图像提取人脸特征,识别人脸属性(包括人脸质量清晰度、人脸角度、年龄、性别、人种、情绪、是否戴眼镜等)。
120.数据生产阶段:每个用户的数据单独内部聚类,得到主要人物,具体如下:1.为了避免误检或者一些特别模糊的人脸图片影响聚类结果,根据人脸质量清晰度过滤,过滤掉小于阈值的人脸图片。2.所有大于质量清晰度阈值的人脸图片参与聚类,得到主要人物的聚类中心特征和属于这个类别的所有人脸图片。
121.合并阶段:计算所有类别的聚类中心特征间的余弦距离,若余弦距离大于阈值,则认为是同一个人,类别需要合并。
122.后处理阶段:根据人脸属性对每个类别做后处理,保证数据分布相对均匀。具体的,1.对于人脸数据量过多(人脸图片的数量超过预设数值区间的最大值)的类别,根据人脸属性(包括人脸角度、质量清晰度、情绪、是否戴眼镜等)做数据筛选,筛选后数据量位于预设数值区间内。2.对于人脸数据量过少(人脸图片的数量低于预设数值区间的最小值),暂不用。3.根据人种属性再次筛选人脸图像,在保证人脸数据量的同时,保证各个人种相对均衡的分布。将处理结束的数据作为训练数据,可以用于人脸识别模型的训练。
123.本发明实施例中,可以利用互联网社交平台的数据,建立海量的、更贴近真实场景的人脸数据集,使得人脸识别模型在复杂真实场景下的泛化能力更强。利用人脸检测、人脸识别、人脸属性、人脸聚类等算法实现数据收集流程全自动,无需人工标注,得到的人脸数据集数据量大、噪声比例低。进一步,根据人脸属性实现自动数据筛选,可以保证数据的合理分布。
124.以上介绍了本发明实施例提供的获取训练数据的方法,下面将结合附图介绍本发明实施例提供的获取训练数据的装置。
125.参见图5,本发明实施例还提供了一种获取训练数据的装置,该装置包括:
126.获取模块51,用于获取多个账户下的人脸图像;
127.聚类模块52,用于分别针对每一账户下的人脸图像进行聚类,得到每一账户的聚类结果;
128.合并模块53,用于针对聚类结果,对不同账户的聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;
129.筛选模块54,用于基于处理后的聚类结果筛选目标类别下的人脸图像作为人脸识别模型的训练数据,其中,每一目标类别下的人脸图像的数量均位于预设数值区间内。
130.可选地,聚类模块52,包括:
131.人脸特征单元,用于对每一账户下的每一人脸图像进行特征提取,得到每一人脸图像的人脸特征,其中,人脸特征包括人脸清晰度;
132.聚类单元,用于针对每一账户,基于账户下的人脸图像的人脸特征对账户下的目标人脸图像进行聚类,得到账户的聚类结果,其中,目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。
133.可选地,合并模块53,包括:
134.聚类中心单元,用于分别计算各账户的聚类结果中每一类别的聚类中心特征;
135.类别确定单元,用于将聚类中心特征间的余弦距离小于目标距离值的类别确定为相同的类别;
136.合并单元,用于将相同的类别下的人脸图像合并为一个类别下的人脸图像。
137.可选地,筛选模块54,包括:
138.第一筛选单元,用于筛选处理后的聚类结果中人脸图像的数量位于预设数值区间内的类别,得到第一类型的类别;
139.第二筛选单元,用于筛选处理后的聚类结果中人脸图像的数量高于预设数值区间的最大值的类别,得到第二类型的类别;
140.删减单元,用于删减第二类型的类别下的人脸图像至人脸图像的数量位于预设数值区间内,得到处理后的第二类型的类别;
141.训练数据单元,用于将第一类型的类别下的人脸图像以及处理后的第二类型的类别下的人脸图像作为人脸识别模型的训练数据。
142.可选地,删减单元,具体用于针对第二类型的类别下的人脸图像,基于人脸图像的人脸属性删减人脸图像至人脸图像的数量位于预设数值区间内,得到处理后的第二类型的类别,其中,每一处理后的第二类型的类别下的人脸图像均满足目标条件,其中,目标条件为同一人脸属性下,不同属性值的人脸图像均匀分布。
143.可选地,人脸属性包括:表征人脸角度的第一属性、表征人脸清晰度的第二属性、表征人脸情绪的第三属性、表征人脸是否佩戴眼镜的第四属性以及表征人脸所属人种的第五属性中的至少一个。
144.可选地,获取模块51,包括:
145.获取单元,用于获取多个账户发布的图片和视频;
146.解帧单元,用于对视频进行解帧,得到帧图片;
147.人脸单元,用于分别针对每一账户下的图片和帧图片进行人脸检测,将检测到人脸的图片和帧图片,确定为账户下的人脸图像。
148.本发明实施例提供的获取训练数据的装置能够实现图1至图4的方法实施例中获取训练数据的方法实现的各个过程,为避免重复,这里不再赘述。
149.本发明的实施例中,可以获取多个账户下的人脸图像;通过针对每一账户下的人脸图像进行聚类,可以避免同一类别掺杂其他类别的人脸图像,从而实现类别内的去噪。在得到聚类结果之后,对其中相同的类别进行合并处理,可以避免不同类别下的人脸图像为同一个人的人脸图像,从而实现类别间的去噪,最终在处理后的聚类结果中,筛选人脸图像的数量位于预设数值区间内的目标类别。将目标类别下的所述人脸图像作为训练数据,使得训练数据中不存在或存在较少的噪声数据,从而提升了训练数据的质量。进而也可以提升人脸识别模型的训练效率以及人脸识别模型的模型性能。
150.本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信;
151.存储器603,用于存放计算机程序;
152.处理器601,用于执行存储器603上所存放的程序时,实现如下步骤:
153.获取多个账户下的人脸图像;
154.分别针对每一账户下的人脸图像进行聚类,得到每一账户的聚类结果;
155.针对聚类结果,对不同账户的聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;
156.基于处理后的聚类结果筛选目标类别下的人脸图像作为人脸识别模型的训练数据,其中,每一目标类别下的人脸图像的数量均位于预设数值区间内。
157.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
158.通信接口用于上述终端与其他设备之间的通信。
159.存储器可以包括随机存取存储器(random access memory,简称ram),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
160.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
161.在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的获取训练数据的方法。
162.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的获取训练数据的方法。
163.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
164.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
165.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
166.以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在
本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

技术特征:
1.一种获取训练数据的方法,其特征在于,所述方法包括:获取多个账户下的人脸图像;分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果;针对所述聚类结果,对不同所述账户的所述聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,其中,每一所述目标类别下的所述人脸图像的数量均位于预设数值区间内。2.根据权利要求1所述的方法,其特征在于,所述分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果,包括:对每一所述账户下的每一所述人脸图像进行特征提取,得到每一所述人脸图像的人脸特征,其中,所述人脸特征包括人脸清晰度;针对每一所述账户,基于所述账户下的所述人脸图像的人脸特征对所述账户下的目标人脸图像进行聚类,得到所述账户的聚类结果,其中,所述目标人脸图像包括人脸清晰度高于清晰度阈值的人脸图像。3.根据权利要求2所述的方法,其特征在于,所述对不同所述账户的所述聚类结果中相同的类别进行合并处理,包括:分别计算各所述账户的所述聚类结果中每一所述类别的聚类中心特征;将所述聚类中心特征间的余弦距离小于目标距离值的所述类别确定为相同的类别;将所述相同的类别下的人脸图像合并为一个类别下的人脸图像。4.根据权利要求1所述的方法,其特征在于,所述基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,包括:筛选所述处理后的聚类结果中人脸图像的数量位于所述预设数值区间内的类别,得到第一类型的类别;筛选所述处理后的聚类结果中人脸图像的数量高于所述预设数值区间的最大值的类别,得到第二类型的类别;删减所述第二类型的类别下的人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别;将所述第一类型的类别下的所述人脸图像以及所述处理后的第二类型的类别下的所述人脸图像作为人脸识别模型的训练数据。5.根据权利要求4所述的方法,其特征在于,所述删减所述第二类型的类别下的人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别,包括:针对所述第二类型的类别下的人脸图像,基于所述人脸图像的人脸属性删减所述人脸图像至所述人脸图像的数量位于所述预设数值区间内,得到处理后的第二类型的类别,其中,每一所述处理后的第二类型的类别下的人脸图像均满足目标条件,其中,所述目标条件为同一所述人脸属性下,不同属性值的所述人脸图像均匀分布。6.根据权利要求5所述的方法,其特征在于,所述人脸属性包括:表征人脸角度的第一属性、表征人脸清晰度的第二属性、表征人脸情绪的第三属性、表征人脸是否佩戴眼镜的第四属性以及表征人脸所属人种的第五属性中的至少一个。7.根据权利要求1所述的方法,其特征在于,所述获取多个账户下的人脸图像,包括:
获取多个账户发布的图片和视频;对所述视频进行解帧,得到帧图片;分别针对每一所述账户下的所述图片和所述帧图片进行人脸检测,将检测到人脸的所述图片和所述帧图片,确定为所述账户下的人脸图像。8.一种获取训练数据的装置,其特征在于,所述装置包括:获取模块,用于获取多个账户下的人脸图像;聚类模块,用于分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果;合并模块,用于针对所述聚类结果,对不同所述账户的所述聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;筛选模块,用于基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,其中,每一所述目标类别下的所述人脸图像的数量均位于预设数值区间内。9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现如权利要求1-7中任意一项所述的获取训练数据的方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的获取训练数据的方法的步骤。

技术总结
本发明实施例提供了一种获取训练数据的方法、装置及电子设备。该方法包括:获取多个账户下的人脸图像;分别针对每一所述账户下的所述人脸图像进行聚类,得到每一所述账户的聚类结果;针对所述聚类结果,对不同所述账户的所述聚类结果中相同的类别进行合并处理,得到处理后的聚类结果;基于所述处理后的聚类结果筛选目标类别下的所述人脸图像作为人脸识别模型的训练数据,其中,每一所述目标类别下的所述人脸图像的数量均位于预设数值区间内。通过账户内的聚类以及账户间的类别合并,可以有效降低训练数据中的噪声数据,从而提升训练数据的质量。的质量。的质量。


技术研发人员:范音
受保护的技术使用者:北京爱奇艺科技有限公司
技术研发日:2022.08.09
技术公布日:2022/12/2
转载请注明原文地址: https://bbs.8miu.com/read-332553.html

最新回复(0)