本发明涉及智能安防领域，尤其涉及一种基于自监督代理特征学习的无监督行人重识别方法。
背景技术：
行人重识别是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一张监控行人图像，计算机自动检索周边其他监控设备捕捉到的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉局限，在安防和监控领域有着重要应用，例如，行为分析，感兴趣行人(罪犯或恐怖分子等)搜寻以及长期跟踪等。
目前的行人重识别技术大多基于距离度量学习或者特征学习的方法。虽然借助于深度神经网络的发展，这些方法的效果获得了巨大的提升，但是模型的训练需要依托于大量的跨设备行人标记数据。由于标注和收集监控图像十分耗费人力和时间，因此这些方法在实际应用中十分受限。
为了解决上述问题，无监督的行人重识别方法应运而生。其利用域适应技术，试图将在有标签的源域中学习到的知识迁移到无标签的目标域中。然而，由于域间存在巨大的域差异，这些方法难以在目标域提取到有鉴别力的身份特征。
技术实现要素：
本发明的目的是提供一种基于自监督代理特征学习的无监督行人重识别方法，能够实现对目标域图像更加精准的检索。
本发明的目的是通过以下技术方案实现的：
一种基于自监督代理特征学习的无监督行人重识别方法，包括：
构建无监督行人重识别的网络模型，包括：特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征；源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习；跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；通过不断的迭代学习，获得训练好的无监督行人重识别的网络模型；
利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识。
由上述本发明提供的技术方案可以看出，通过将源域的有监督信息、目标域的相似度一致性信息以及跨域的自监督约束联合建模到一个端到端的框架中，能够高效地减少域间差异，从而提取出域不变且具有鉴别力的身份特征，最终实现对目标域图像更加精准的检索。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于自监督代理特征学习的无监督行人重识别网络模型的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于自监督代理特征学习的无监督行人重识别方法，通过构建如图1所示的无监督行人重识别的网络模型来实现行人重识别，如图1所示，相关网络模型主要包括：特征重构模块、源域的有监督学习模块、跨域自监督约束模块以及目标域的相似度一致性模块。
1、特征重构模块。
所述特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征。优选实施方式如下：
引入了一组代理特征：
对于一个图像样本xm，通过主干网络(例如，resnet50网络)提取相应的特征fm。
为了在源域和目标域间建立起联系，先计算特征fm与代理特征的相似度：
其中，smk表示图像样本特征fm和第k个代理特征间ak的相似度，k＝1,2,…,nc，t为矩阵转置符号。
将计算出来的特征相似度smk视为对应代理特征ak的权重，对所有加权后的代理特征smkak求和，以此来构建图像样本的重构特征：
其中，m＝s,i或者t,j；m＝s,i时，xs,i、fs,i以及
图1所示的si、sj表示源域和目标域中一个图像样本与所有代理特征之间的相似度集合，表示为：
2、源域的有监督学习模块。
所述源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习。优选实施方式如下：
首先，通过对源域图像样本xs,i进行有监督的分类，训练模型获得基础的身份鉴别能力。
已知源域图像样本数目为ns，p(yi|xs,i)表示对于源域图像样本xs,i正确预测其标签为yi的概率；相应的交叉熵损失表示为：
然后，为了在源域和代理特征间建立联系，使用重构的源域图像特征来指导源域分类学习，
最终，源域有监督的标签学习损失函数定义为：
lts＝ls βlas
其中，β为自设定的超参数，
如图1所示，有监督的标签学习中，识别到的id是指身份标签，例如，行人1、行人2等。
3、跨域自监督约束模块。
所述跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；优选实施方式如下：
由于域偏差和完全不同的行人身份，不同域的样本特征分布差异巨大。为了减少域间偏差，从而将源域知识迁移到目标域，本发明实施例中，设计自监督信息：图像样本的特征和其重构特征间的相似度大于任意跨域图像样本对间的相似度。基于此，设置图像样本的特征和其重构特征形成了正样本对：fs,i与
再将形成的样本对分别整合到以源域为中心的跨域三元组损失函数
其中，α为距离阈值；fs,i表示源域图像样本xs,i的特征，
则跨域的自监督学习的损失函数定义为：
4、目标域的相似度一致性模块。
所述目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；优选实施方式如下：
在目标域通过相似度一致性进行难样本挖掘，从而消除目标域的域内差距，提升模型在目标域的鉴别能力。对于一对样本，如果它们的特征是彼此相似的，即相似度满足设定标准，则它们和代理特征间的相似度也满足设定标准，具体的标注可以由用户根据情况自行设定；对于满足相似度一致性判决的样本对，认为其属于正样本对p；反之，我们认为其是目标域的难样本对n。
分别计算正样本对与难样本对在特征空间中的距离和
其中，ft,m、ft,n、ft,k、ft,l各自表示目标域中图像样本的特征，m、n、k、l为图像样本的序号；p为正样本对的总数，n为难样本对的总数。
最终，无监督行人重识别的网络模型的总损失函数为：
lall＝λ1lts λ2lss λ3lhnm
其中，lts为源域有监督的标签学习损失函数，lss为跨域的自监督学习的损失函数，lhnm为目标域的相似度一致性学习损失函数；λ1、λ2、λ3为控制相应损失函数平衡的超参数。
在迭代学习过程中，源域的有监督学习模块，使模型在有监督条件下获得鉴别行人身份的能力；跨域自监督约束模块，消除源域和目标域间的差异，使得源域学习到的鉴别能力能够迁移到目标域；目标域的相似度一致性模块对目标域进行难样本挖掘从而加强模型在目标域的鉴别能力。三个模块共同促进，并通过代理特征被联合建模到一个统一的端到端框架中，提升网络模型最终的检索性能。通过不断的迭代学习，从而获得训练好的无监督行人重识别的网络模型，训练好的无监督行人重识别模型通过提取待检索的目标域行人图像的特征，以及整个数据库中图像的特征，然后进行特征相似度匹配，根据匹配结果将数据库中与输入的待检索的目标域行人图像具有相同的行人身份的图片输出。
本发明实施例上述方案，可以应用于安保部门，通过对周边监控视频中的感兴趣行人进行跨摄像头检索，弥补当前固定摄像头的不足，进行动态长期追踪，从而促进社会的安定和谐。在实施上，可以以软件的形式安装在公共场合的监控室中，提供实时检测；也可以安装于后台服务器，提供大范围的后台检索。
本领域技术人员可以理解，所述周边监控视频中的感兴趣行人对应于有标签的源域图像，跨摄像头检索也即从无标签的目标域图像中检索出感兴趣行人，从而实现行人重识别。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
1.一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，包括：
构建无监督行人重识别的网络模型，包括：特征重构模块，引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征；源域的有监督学习模块，利用重构的源域图像样本特征对源域进行有监督的标签学习；跨域自监督约束模块，利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习；目标域的相似度一致性模块，利用目标域图像样本的特征进行目标域的相似度一致性学习；通过不断的迭代学习，获得训练好的无监督行人重识别的网络模型；
利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识。
2.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，所述引入代理特征作为连接源域和目标域的桥梁，分别利用源域图像样本的特征及目标域图像样本的特征，与代理特征的相似度，来重构出源域图像样本特征及目标域图像样本特征包括：
引入了一组代理特征：
对于一个图像样本xm，通过主干网络提取相应的特征fm，再计算特征fm与代理特征的相似度：
其中，smk表示图像样本特征fm和第k个代理特征间ak的相似度，k＝1，2，...，nc；
将计算出来的特征相似度smk视为对应代理特征ak的权重，对所有加权后的代理特征smkak求和，以此来构建图像样本的重构特征：
其中，m＝s，i或者t，j；m＝s，i时，xs，i、fs，i以及
3.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，利用利用重构的源域图像样本特征对源域进行有监督的标签学习包括：
首先，通过对源域图像样本xs，i进行有监督的分类，训练模型获得基础的身份鉴别能力；
已知源域图像样本数目为ns，p(yi|xs，i)表示对于源域图像样本xs，i正确预测其标签为yi的概率；相应的交叉熵损失表示为：
然后，使用重构的源域图像特征来指导源域分类学习，
最终，源域有监督的标签学习损失函数定义为：
lts＝ls βlas
其中，β为自设定的超参数，wyk表示标签yk所对应的全连接层权重。
4.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，所述利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习包括：
设计自监督信息：图像样本的特征和其重构特征间的相似度大于任意跨域图像样本对间的相似度；
设置图像样本的特征和其重构特征形成了正样本对：fs，i与
设置重构的图像样本特征喝跨域相似特征形成了难负样本对：ft，j与
再将形成的样本对整合到以源域为中心的跨域三元组损失函数
其中，α为距离阈值；fs，i表示源域图像样本xs，i的特征，
则跨域的自监督学习的损失函数定义为：
5.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，利用目标域图像样本的特征进行目标域的相似度一致性学习包括：
在目标域通过相似度一致性进行难样本挖掘；对于一对样本，如果它们的特征是彼此相似的，即相似度满足设定标准，则它们和代理特征间的相似度也满足设定标准；对于满足相似度一致性判决的样本对，认为其属于正样本对；反之，我们认为其是目标域的难样本对；
分别计算正样本对与难样本对在特征空间中的距离和
其中，ft，m、ft，n、ft，k、ft，l各自表示目标域中图像样本的特征，m、n、k、l为图像样本的序号；p为正样本对的总数，n为难样本对的总数。
6.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法，其特征在于，无监督行人重识别的网络模型的总损失函数为：
lall＝λ1lts λ2lss λ3lhnm
其中，lts为源域有监督的标签学习损失函数，lss为跨域的自监督学习的损失函数，lhnm为目标域的相似度一致性学习损失函数；λ1、λ2、λ3为控制相应损失函数平衡的超参数。
技术总结