本发明涉及一种利用注意力机制的航空器检测跟踪方法，属计算机视觉技术领域。
背景技术：
飞行区航空器的运行管控中，需要对航空器进行实时检测和跟踪。传统的航空器检测跟踪基于场监雷达进行，近年来基于飞行区全景视频的空管运行系统因其更加直观，获得积极推广。
视频中运动目标的检测和跟踪是计算机视觉领域的两类重要课题。在很多应用场景中，二者是联系在一起的。如，deepsort算法[1]便是检测后跟踪的典型方法。
对于目标检测，基于卷积神经网络设计的目标检测算法是目前的主流方法，基于卷积神经网络的目标检测算法模型可以大致分为twostage模型(如faster-rcnn[2]、mask-rcnn[3])和onestage模型(如yolo[4]、ssd[5])。而目标跟踪相对于目标检测则更加复杂和困难，研究人员各自从不同的角度提出了多种解决思路，如基于单个目标特征的相关性滤波[6]、基于深度学习的生成式跟踪方法[7]、以及基于特征相似度匹配的re-identification(再识别、重识别)等。
然而，将上述运动目标检测和跟踪方法直接运用于飞行区(或称机场)的航空器，难以达到较高的精度。主要有下面几个方面的原因：首先，基于卷积神经网络的目标检测算法对于航空器的检测任务不友好，这是由于检测模型学习的航空器矩形框中航空器的面积占比通常不够高，卷积特征提取器提取的特征有很强的背景特性所导致的；其次，在机场的地面环境中，飞机发生局部遮挡事件是一种常态,局部遮挡导致飞机目标特定局部特征缺失也可能引起目标检测算法对其检测失败；最后，同一型号的飞机几乎没有任何外表差异(除非由航空公司进行的大面积涂装，但同一家航空公司的飞机的涂装通常也是相似的)，不同型号的飞机外表差异也较小，这就使得较难使用基于飞机外表的图像特征对不同飞机做区分，使得re-identification功能在跟踪任务中的表现受限。
技术实现要素：
为克服现有技术的上述缺陷，本发明提供了一种利用注意力机制的航空器检测跟踪方法，以更好地适应于对飞行区航空器的检测和跟踪。
本发明的技术方案是：一种利用注意力机制的航空器检测跟踪方法，采用基于卷积神经网络的目标检测算法进行目标检测，引入局部注意力增强机制完成小目标信息特征对大目标信息特征进行增强的操作，采用大目标卷积滤波器和小目标卷积滤波器分别提取涉及目标总体(即大目标)的大目标特征信息和涉及目标特定局部(即小目标)的小目标特征信息，以小目标特征信息对大目标特征信息进行相应的局部信息增强，以局部信息增强后的大目标特征信息进行当前帧图像的目标检测，形成检测大目标提案。
所述目标可以为航空器或飞机，涉及的场景为机场或飞行区。
所述目标特定局部可以为机翼、机头、机尾等具有明显视觉特征的局部。可以根据实际情况设置，数量可以为一个或多个。
小目标卷积滤波器的感受野设定和降采样率应小于大目标卷积滤波器的感受野设定和采样率。
所述以小目标特征信息对大目标特征信息进行相应的局部信息增强的方式可以如下列公式所示：
fu＝as(fs)*k(fb) bs(fs)
其中，fu为用于进行大目标识别的特征图，k为对大目标卷积特征进行上采样的上采样函数，as为根据小目标特征计算缩放参数的缩放参数网络，bs为根据小目标特征计算偏移参数的偏移参数网络，fb为大目标卷积滤波器得到的卷积特征图，fs为小卷积滤波器得到的卷积特征图。
优选设置基础卷积滤波器作为大目标滤波器和小目标滤波器共用的前置部分，用于提取图像的初级特征信息，以初级特征信息作为后续的所述大目标卷积滤波器和小目标卷积滤波器的输入。
优选地，对于同一帧图像进行目标检测时能同时获得大目标检测提案和大目标的特定局部小目标检测提案，以便在进行目标追踪时可以使用小目标检测提案代替检测失败的大目标进行跟踪操作。
例如，可以设置小目标检测器对目标特定局部进行小目标检测，所述小目标检测检测器采用所述小目标卷积滤波器提取的小目标特征信息进行涉及目标特定局部的小目标检测，形成检测小目标提案，当涉及目标总体的大目标检测或识别失败时，以检测小目标提案及小目标所涉及的目标特定局部在目标中的位置关系推测涉及目标总体的大目标位置。
优选采用双任务学习模式对小目标检测模块进行训练，设置小目标标签和大目标标签，以大目标便签命中为第二任务(辅助任务)，所述小目标检测模块主要由所述小目标卷积滤波器和小目标检测器构成。
所述跟踪器保留涉及目标整体的大目标位置信息和大目标运动方程，保留涉及目标特定局部的小目标位置信息和小目标运动模型，对当前帧图像进行涉及目标总体的大目标检测和涉及目标特定局部的小目标检测，得到当前图像的检测目标提案，所述检测目标提案包括检测大目标提案(大目标提案)和检测小目标提案(小目标提案)，依据下列方式进行跟踪器的更新：
1)进行检测大目标提案与检测小目标提案的匹配。
计算当前帧的检测大目标提案与检测小目标提案的重叠程度，依据重叠程度及相应的阈值确定是否成功匹配。
将匹配成功的检测小目标提案归类入检测大目标提案，记录匹配失败的检测小目标提案。
2)进行检测大目标提案与跟踪器的匹配。
进行检测大目标提案与跟踪大目标提案的重叠测试，依据重叠计算结果和相应阈值进行检测大目标提案和跟踪器的匹配，所述跟踪大目标提案为当前跟踪器根据大目标运动方程计算得到的当前帧的跟踪大目标提案。
记录匹配成功的跟踪器和检测大目标提案对，记录匹配失败的大目标提案和匹配失败的跟踪器。
3)进行检测小目标提案与跟踪器的匹配。
进行检测小目标提案与跟踪小目标提案的重叠测试，依据重叠计算结果和相应阈值进行检测小目标提案和跟踪器的匹配，所述跟踪小目标提案为当前跟踪器根据小目标运动模型计算得到的当前帧的跟踪小目标提案。
记录匹配成功的跟踪器和检测小目标提案对，记录匹配失败的小目标提案和匹配失败的跟踪器。
4)跟踪器更新。
对于匹配成功的跟踪器，依据相应的检测大目标提案和/或检测小目标提案更新跟踪器的相应信息记录，在跟踪器与检测大目标提案匹配不成功的情形下，使用匹配失败的检测大目标提案启动一个新的跟踪器，同时还可以调低跟踪器的可信度并将可信度低于相应阈值的跟踪器关闭，在跟踪器与检测小目标匹配不成功的情形下，抛弃匹配失败的检测小目标提案。
本发明的有益效果是：由于引入了局部注意力机制，通过使用航空器局部特征来增强航空器整体特征，降低了背景干扰，提高了对航空器检测的性能，并同时对航空器的整体和局部跟踪，根据局部位置信息对整体位置进行估计，避免长时局部遮挡导致的跟踪器失效。
本发明主要可用于飞行区的航空器检测和跟踪。
附图说明
图1是整体流程图；
图2是带有局部注意力增强机制的目标检测推理流程；
图3是带有局部注意力增强机制的目标检测模型训练流程；
图4是小目标注意力机制辅助模块涉及的流程架构示意图；
图5是带有小目标注意力机制的目标跟踪流程图。
具体实施方式
1.整体流程
本发明的整体流程如附图1所示，主要包含一个带有局部注意力增强机制的目标检测模块和带有局部注意力增强机制的目标跟踪模块。首先，将视频图像逐帧输入带有局部注意力模块的目标检测模型，得到大目标与小目标；然后，将大目标与小目标用于对跟踪器更新和确认；最后，跟踪器根据更新好的参数对下一帧图像做出预测。
2.带有局部注意力增强机制的目标检测
注意力机制是一种神经科学思想在计算机科学领域的应用，通过关注目标特征强烈的部分区域来提升目标检测模型的性能。本方法中采用的注意力机制是一种计算机视觉领域的局部注意力机制[8,9]。目标检测和跟踪的对象，不仅是航空器这一整体，同时也有航空器的具有代表性的局部(如：机身和机翼)。通过对具有代表性航空器局部的“关注”，增加有效信息，提升目标检测的精确度和灵敏度，同时减少局部遮挡对目标跟踪的影响。
2.1带有局部注意力增强机制的目标检测模型
带有局部注意力增强机制的目标检测的设计思路，采用基于同一个基础组卷积滤波器提取特征，在其后端接入两组结构不同的卷积神经网络目标检测模型，分别用于检测大目标(航空器整体)和小目标(航空器部分，如机身和机翼)。
检测模型分为用于训练的训练模型和用于推理的推理模型。在推理时，小目标检测模块的特征信息通过小目标注意力辅助模块传到大目标检测模块，增强大目标的特征，进而提高大目标检测器的性能。在进行模型训练时，小目标的目标标签除了标记的小目标标签，还有大目标标签作为学习目标，这样可以缓解小目标检测训练时小目标难命中带来的小目标检测学习困难。
训练模型和推理模型都具有共用卷积滤波器、小目标卷积滤波器、大目标卷积滤波器、小目标检测器、大目标检测器和小目标注意力辅助模块。与推理模型不同的是训练模型具有大目标定位辅助模块。
基础卷积滤波器是大目标检测模块和小目标检测模块共用的功能模块。基础卷积滤波器负责提取图像初级特征信息。大目标检测模块和小目标检测模块共用同一个基础卷积滤波器有助于模型泛化，防止过拟合。
大目标检测模块和小目标检测模块是对现有的同一卷积神经网络目标检测算法(如fasterrcnn、yolo、ssd等)改进得到。大目标检测模块和小目标检测模块均可拆分为卷积特征提取器(卷积滤波器)和目标检测器两个部分(详细结构取决于基础模型选择)。相对于大目标检测模块，小目标检测模块的卷积特征提取器的感受野设定和降采样率更小。
小目标注意力辅助模块的作用是找到每一个大目标特征点所对应小目标卷积特征向量并根据小目标特征计算其缩放系数和平移系数。根据小目标注意力辅助模块的结果对大目标特征向量进行缩放和平移，得到局部注意力增强的卷积特征向量，用于大目标检测。
大目标定位辅助模块是一个只在模型训练时使用的功能模块。这个模块的主要功能是将大目标标签也作为小目标训练目标之一。小目标训练困难之一是因为小目标的检测结果和标签相互命中困难，通过引入大目标标签进行作为定位辅助，有助于小目标的学习。
2.2带有局部注意力增强机制的目标检测推理过程
目标检测推理过程如附图2所示。基础卷积滤波器对整个图像进行操作获得图像初级特征图。大目标检测和小目标检测分别使用不同降采样率和感受野的卷积滤波器在获得的初级特征图上进行下一步特征提取工作。小目标卷积滤波器是针对机翼和机身等局部结构的进行识别的专用特征提取器，相对于大目标的卷积滤波器，其降采样率更低，保留更多局部信息。这些局部信息可以用来增强大目标的识别效果。
小目标注意力辅助模块由缩放参数网络和偏移参数网络构成，其涉及的相关架构和工作流程如附图4所示。缩放参数网络和偏移参数网络是两个不同的1*1卷积层。两个卷积层的输入通道和输出通道数量相同，其输入通道数量等于小目标特征图的通道数量，其输出通道数量等于大目标特征图的通道数量。小目标特征图通过缩放参数网络和偏移参数网络计算得到用于提高大目标特征图局部注意力的缩放参数模板和偏移参数模板。由于小目标卷积特征提取器拥有比大目标卷积特征提取器更小的降采样率，所以基于相同初级卷积特征图计算得到的小目标特征图比大目标特征图的分辨率更高。在这里,对大目标特征图做一次上采样操作使大目标特征图具有与小目标特征图相同的分辨率。最后对大目标特征图根据缩放参数模板和偏移参数模板对大目标特征图上的每一个特征向量做仿射变换，即令特征向量与其对应的缩放参数相乘并与其对应的偏移参数相加，得到局部信息增强后大目标特征图。
大目标检测获得小目标提供的局部注意力特征可以如公式(1)表示：
fu＝as(fs)*k(fb) bs(fs)(1)
其中fu为用于进行大目标识别的特征图，k为对大目标卷积特征进行上采样的上采样函数，as为根据小目标特征计算缩放参数的缩放参数网络，bs为根据小目标特征计算偏移参数的偏移参数网络，fb为大目标卷积滤波器得到的卷积特征图，fs为小卷积滤波器得到的卷积特征图。
大目标检测器根据局部信息增强后的大目标特征图进行大目标推理。
2.3带有局部注意力增强机制的目标检测训练过程
在进行模型的训练之前，需要对用于训练的数据进行标记。与通常的用于训练的目标识别的数据不同的是，除了需要标记航空器这一检测目标整体以外，还需要对构成航空器的具有特色部分结构进行标记，如机翼和机身，但并不需要标记相应部位所属于哪一架航空器。
目标检测模型有两个难题：小目标检测难以命中引起的学习困难和被局部遮挡的目标检测困难。对其中局部遮挡问题，如前述使用局部注意力机制进行处理。如果小目标检测学习失败，会导致局部注意力机制失效，同时也会使本方法中跟踪性能下降。为了解决小目标检测难命中所引起的学习困难这个问题，本发明为小目标检测模块的训练设计了双任务学习模式，如附录图3所示，相对于单一的小目标检测任务，本方法中使用大目标定位辅助模块为小目标检测器设计了第二任务——与大目标标签命中。相对于推理结果和真实标签双方都是小目标而言，推理结果是小目标而真实标签是大目标的两者相互命中的更为简单。在小目标学习单任务模式，当一个小目标推理结果并没有与小目标标签命中，那么这个推理结果将被归类到负样本中，但在双任务学习模式下，如果这个推理结果命中了一个大目标标签，那么这个标签也会被作为正样本进行保留学习。
在小目标模块学习训练中，本方法中的第二任务(大目标标签命中)是一个辅助任务，我们不希望模型以这个任务作为主要学习目标，所以针对第二任务的优化函数做了设计。第二学习任务的优化目标是小目标与大目标相交面积与小目标的面积比，在学习良好的状况下，这个面积比需要接近1，同时由于这个优化函数具有上限，所以也不会淹没第一任务。同时我们也为第二任务设计了权重变量用于平衡第一任务和第二任务之间的关系。
本发明采用基于focalloss变形的优化函数[10]，见公式(2):
l＝fl(p)-a*a(p)*log(1-p-t)(2)
其中l为待优化的代价函数，fl(p)为第一任务多分类focalloss代价函数，a(p)小目标与大目标相交面积与小目标的面积比，a为第二任务设置的权重，p-t为评价为背景的得分。
3.基于注意力增强机制的目标跟踪
本发明的跟踪部分脱胎于deepsort算法[1],其处理流程见附图5。
为了进一步减小长时局部遮挡对多目标跟踪的影响，本发明除了跟踪航空器整体之外，也对其局部进行跟踪。当发生长时局部遮挡或遮挡部位过多时，即便检测不到航空器整体，跟踪器也可以通过小目标检测跟踪来更新航空器整体跟踪器，进而避免局部遮挡造成的目标丢失。
本方法中的跟踪器除了记录航空器整体的位置信息和运动方程，同时也保留航空器局部结构(如机翼和机身)的位置信息和运动模型(或称运动方程)。航空器的每个局部位置信息使用一个五维向量进行保存(x,y,w,h,c)其中x代表小目标框体左上角距离大目标框体左上角的水平方向距离与大目标框体的宽的比值，y代表小目标框体左上角距离大目标框体左上角的垂直方向距离与大目标框体的高的比值，w代表小目标框宽与大目标框宽的比值，h代表小目标框高与大目标框高的比值，c代表小目标所属于的航空器局部类型(如机翼、机身等)。
当大目标识别失败但小目标命中成功时，使用公式(3)基于小目标位置推测大目标位置。
wb＝ws*w
hb＝hs*h(3)
ub＝us-x*wb
vb＝vs-y*hb
其中wb、hb为大目标框体的左上角在图像中的水平方向和垂直方向的坐标，ub、vb为大目标框体的宽和高，ws、hs为小目标框体的左上角在图像中的水平方向和垂直方向的坐标，us、vs为小目标框体宽和高。
当完成当前帧的大目标检测和小目标检测，得到当前图像的检测目标提案(检测提案)，包括检测大目标提案(大目标提案)和检测小目标提案(小目标提案)，用当前帧的目标提案更新跟踪器内的信息，跟踪器的更新步骤如下：
1)大目标提案与小目标提案匹配。即计算当前帧的检测大目标提案与检测小目标提案的重叠程度，将重叠程度超过阈值的小目标提案归类入大目标提案，并记录匹配失败的检测小目标提案；
2)大目标提案与跟踪提案匹配。进行当前帧的检测大目标提案与当前跟踪器根据运动方程计算得到的当前帧的跟踪提案(跟踪大目标提案)的重叠测试，根据重叠计算结果和设定的相应阈值对检测提案和跟踪器进行匹配，记录匹配成功的跟踪器和检测大目标提案对以及匹配失败大目标提案和匹配失败跟踪器；
3)小目标提案与跟踪提案匹配。根据跟踪器中保留的小目标坐标信息和运动模型，对匹配失败跟踪器的小目标位置进行提案，形成跟踪小目标提案，对不同类型的检测小目标提案和跟踪小目标提案进行相对距离计算和匹配，根据匹配成功的检测小目标提案和相应跟踪小目标提案中小目标在大目标中的相对位置信息推测相应的检测大目标提案，将匹配失败跟踪器根据运动方程计算得到的当前帧的跟踪大目标提案与由检测小目标提案推测出的检测大目标提案进行重叠测试，根据重叠计算结果和设定的相应阈值对检测提案和跟踪器进行匹配，记录匹配成功的跟踪器和检测大目标提案对以及匹配失败小目标提案和匹配失败跟踪器；
4)跟踪器更新。使用检测提案信息更新匹配成功的跟踪器(包括步骤2)和步骤3)匹配成功的跟踪器，使用匹配失败的检测大目标提案启动一个新的跟踪器，调低匹配失败跟踪器的可信度并将可信度低于阈值的跟踪器关闭，抛弃匹配失败的检测小目标提案。
本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。
参考文献
[1]wojke,nicolai,bewley,alex,paulus,dietrich.simpleonlineandrealtimetrackingwithadeepassociationmetric[j],2017ieeeinternationalconferenceonimageprocessing(icip):3645-3649.
[2]ren,shaoqing,he,kaiming,girshick,ross,etal,fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks[j].ieeetransactionsonpatternanalysis&machineintelligence,2015,39(6):1137-1149.
[3]kaiminghe,georgiagkioxari,piotrdollar,etal,maskr-cnn[c]，2017ieeeinternationalconferenceoncomputervision(iccv).ieeecomputersociety,2017.
[4]redmon,joseph,farhadi,ali.yolov3:anincrementalimprovement[j].
[5]weiliu,dragomiranguelov,dumitruerhan,etal,ssd:singleshotmultiboxdetector[c]//europeanconferenceoncomputervision.springerinternationalpublishing,2016.
[6]
[7]bertinettol,valmadrej,
[8]mnihv,heessn,gravesa,etal.recurrentmodelsofvisualattention[j].advancesinneuralinformationprocessingsystems,2014.
[9]chorowskij,bahdanaud,serdyukd,etal.attention-basedmodelsforspeechrecognition[j].computerscience,2015,10(4):429-439.
[10]linty,goyalp,girshickr,etal.focallossfordenseobjectdetection[j].ieeetransactionsonpatternanalysis&machineintelligence,2017,pp(99):2999-649.
1.一种利用注意力机制的航空器检测跟踪方法，采用基于卷积神经网络的目标检测算法进行目标检测，其特征在于引入局部注意力增强机制完成小目标信息特征对大目标信息特征进行增强的操作，采用大目标卷积滤波器和小目标卷积滤波器分别提取涉及目标总体的大目标特征信息和涉及目标特定局部的小目标特征信息，以小目标特征信息对大目标特征信息进行相应的局部信息增强，以局部信息增强后的大目标特征信息进行当前帧图像的大目标检测，形成检测大目标提案。
2.如权利要求1所述的方法，其特征在于所述以小目标特征信息对大目标特征信息进行相应的局部信息增强的方式如下列公式所示：
fu＝as(fs)*k(fb) bs(fs)
其中，fu为用于进行大目标识别的特征图，k为对大目标卷积特征进行上采样的上采样函数，as为根据小目标特征计算缩放参数的缩放参数网络，bs为根据小目标特征计算偏移参数的偏移参数网络，fb为大目标卷积滤波器得到的卷积特征图，fs为小卷积滤波器得到的卷积特征图。
3.如权利要求2所述的方法，其特征在于设置基础卷积滤波器作为大目标滤波器和小目标滤波器共用的前置部分，用于提取图像的初级特征信息，以初级特征信息作为后续的所述大目标卷积滤波器和小目标卷积滤波器的输入。
4.如权利要求1-3任一项所述的方法，其特征在于设置对于同一帧图像进行目标检测时能同时获得大目标检测提案和大目标的特定局部小目标检测提案，以便在进行目标追踪时使用小目标检测提案代替检测失败的大目标进行跟踪操作。
5.如权利要求4所述的方法，其特征在于采用双任务学习模式对小目标检测模块进行训练，设置小目标标签和大目标标签，以大目标便签命中为第二任务，所述小目标检测模块主要由所述小目标卷积滤波器和小目标检测器构成。
6.如权利要求1-5任一项所述的方法，其特征在于所述跟踪器保留涉及目标整体的大目标位置信息和大目标运动方程，保留涉及目标特定局部的小目标位置信息和小目标运动模型，对当前帧图像进行涉及目标总体的大目标检测和涉及目标特定局部的小目标检测，得到当前图像的检测目标提案，所述检测目标提案包括检测大目标提案和检测小目标提案，依据下列方式进行跟踪器的更新：
1)进行检测大目标提案与检测小目标提案的匹配，将匹配成功的检测小目标提案归类入检测大目标提案，记录匹配失败的检测小目标提案。
2)进行检测大目标提案与跟踪器的匹配，记录匹配成功的跟踪器和检测大目标提案对，记录匹配失败的大目标提案和匹配失败的跟踪器。
3)进行检测小目标提案与跟踪器的匹配，记录匹配成功的跟踪器和检测小目标提案对，记录匹配失败的小目标提案和匹配失败的跟踪器。
4)跟踪器更新,对于匹配成功的跟踪器，依据相应的检测大目标提案和/或检测小目标提案更新跟踪器的相应信息记录，在跟踪器与检测大目标提案匹配不成功的情形下，使用匹配失败的检测大目标提案启动一个新的跟踪器，在跟踪器与检测小目标匹配不成功的情形下，抛弃匹配失败的检测小目标提案。
技术总结