本发明涉及计算机技术领域，尤其涉及一种卫星遥感视频目标跟踪方法及装置。
背景技术：
目前，基于卫星视频的目标跟踪领域逐步发展，在军事侦查、机场港口等大范围区域机动目标监管和灾害救援等任务中的作用愈发明显，与此同时由于卫星平台自身特性给视频跟踪带来了极大的难度。如今大部分主流跟踪算法有效地解决在自然场景中的跟踪难题，然而基于卫星平台的视频跟踪任务，受到高动态目标类内尺寸差异大、高动态目标旋转变化多、背景复杂导致的易混干扰目标多等因素影响，使得跟踪算法的跟踪性能受到极大影响。因此，如何有效地设计出鲁棒性强的跟踪算法，成为当前基于卫星平台的视频跟踪任务的难点之一。
针对视频跟踪领域而言，由于目标跟踪技术不断取得新的进展和突破，国内外涌现出了大量创新的方法，其中以相关滤波类算法和深度学习类算法最具代表性。相关滤波类算法的引入使得跟踪算法在时效性方面有较大的提升，但大部分相关滤波类算法对于卫星拍摄的大范围场景中复杂背景干扰、相似物易混淆等情况仍然存在较大缺陷，难以获得较高的跟踪准确性。
另外，深度学习类算法的引入对于复杂场景下的跟踪性能有较大程度上地提升，在跟踪精度方面颇受关注。然而，深度学习类算法往往需要引入在线调整机制，导致其在跟踪速度上有所欠缺。
siamrpn是最近提出的在传统全卷积孪生网络基础上引入区域候选(rpn)模块的高性能跟踪算法，进一步提升了多尺度测试的能力，有效地确保了跟踪精度。然而由于基于卫星平台拍摄的跟踪视频中背景通常较为复杂，目标特征显著性不足，使得跟踪过程中目标容易与易混虚警产生混淆，并且由于高动态目标类内尺寸差异大和目标自身旋转变化多的特性，使得目标难以被正确捕获，特别是难以维持长时稳定的跟踪。
技术实现要素：
针对现有技术中的问题，本发明实施例提供一种卫星遥感视频目标跟踪方法及装置。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种卫星遥感视频目标跟踪方法，包括：
利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
进一步地，所述利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理，具体包括：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
进一步地，所述利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图，具体包括：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
进一步地，将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧，具体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
第二方面，本发明实施例提供了一种卫星遥感视频目标跟踪装置，包括：
角度一致性处理模块，用于利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块，用于利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块，用于将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
斜框跟踪模块，用于将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
进一步地，所述角度一致性处理模块，具体用于：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
进一步地，所述多频特征表示模块，具体用于：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
进一步地，所述网络构建模块，具体用于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述卫星遥感视频目标跟踪方法的步骤。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述卫星遥感视频目标跟踪方法的步骤。
由上面技术方案可知，本发明实施例提供的卫星遥感视频目标跟踪方法及装置，考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行跟踪目标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感目标较为频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为突出。此外，本发明实施例考虑卫星平台的遥感目标跟踪视场一般具有背景复杂、干扰目标多等特点，对于跟踪精度方面会造成较大程度上的影响，因此，本发明实施例采用多频特征表示方式进行特征增强，使得特征表达能力增强，识别能力增强，同时还降低了信息冗余度，有利于更准确地追踪目标的方向信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的卫星遥感视频目标跟踪方法的流程图；
图2为本发明一实施例提供的卫星遥感视频目标跟踪方法的总流程图；
图3为本发明一实施例提供的基于多频特征表示的特征增强提取的具体操作过程示意图；
图4为本发明一实施例提供的卫星遥感视频目标跟踪装置的结构示意图；
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
siamrpn是最近提出的在传统全卷积孪生网络基础上引入区域候选(rpn)模块的高性能跟踪算法，进一步提升了多尺度测试的能力，有效地确保了跟踪精度。然而由于基于卫星平台拍摄的跟踪视频中背景通常较为复杂，目标特征显著性不足，使得跟踪过程中目标容易与易混虚警产生混淆，并且由于高动态目标类内尺寸差异大和目标自身旋转变化多的特性，使得目标难以被正确捕获，特别是难以维持长时稳定的跟踪。针对该问题，本发明实施例基于siamrpn的基网络引入多频率特征表示方法和变角度自适应策略，提出了一种新型有效的基于角度一致性siamrpn的卫星遥感目标跟踪方法。本发明实施例提供的方法能够在拥有深度学习类算法高精确度优点的同时，弥补了跟踪速度较慢的缺陷，逐渐向兼顾精度和速度的方向发展。下面将通过具体实施例对本发明提供的卫星遥感视频目标跟踪方法及装置进行解释说明。
图1示出了本发明实施例提供的卫星遥感视频目标跟踪方法的流程图。如图1所示，本发明实施例提供的卫星遥感视频目标跟踪方法包括如下步骤：
步骤101：利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
在本步骤中，先进行角度信息提取并进行角度一致性处理。例如可以首先引入textboxes 网络，在特征图上运用text-boxlayer预测目标存在概率，得到模板帧中待跟踪遥感目标带有角度信息的边界框和模板帧的角度信息，然后利用textboxes 网络获得待检测帧图像的角度信息并将其进行角度一致性处理。
步骤102：利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
在本步骤中，octconv卷积是指八度卷积octaveconvolution(简称octconv)。
在本步骤中，经过上一步角度信息提取和角度一致性变化后，利用“插片式”octconv卷积操作方式将输出的模板帧特征图和待检测帧特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，并借助octaveconvolution以对包含两种不同分量的特征图进行卷积运算。
步骤103：将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
在本步骤中，经过上一步图像的特征提取，通过octavecnn网络生成模板帧特征和待检测帧特征，经过一个3×3卷积层生成分类分支和回归分支；通过基网络siamrpn确定最终的目标待检测帧。
步骤104：将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
在本步骤中，将最终的目标待检测帧进行坐标变化映射到原图像，使输出结果变为斜框跟踪。
由上面技术方案可知，本发明实施例提供的卫星遥感视频目标跟踪方法，考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行跟踪目标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感目标较为频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为突出。此外，本发明实施例考虑卫星平台的遥感目标跟踪视场一般具有背景复杂、干扰目标多等特点，对于跟踪精度方面会造成较大程度上的影响，因此，本发明实施例采用多频特征表示方式进行特征增强，使得特征表达能力增强，识别能力增强，同时还降低了信息冗余度，有利于更准确地追踪目标的方向信息。
下面结合图2对本实施例提供卫星遥感目标跟踪方法进行详细说明。如图2所示，该方法包括以下处理过程：
第一步：角度信息提取并进行角度一致性处理
第1.1步预测目标存在概率和输出边界框：在textboxes 模块将模板帧的角度信息提取出来，text-boxlayer将在特征图上预测box中目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框。以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox。其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
第1.2步获得模板帧图像的角度信息：用α
第1.3步获得待检测帧图像的角度信息并进行角度一致性处理：以β代表当前待检测帧中待跟踪遥感目标的角度信息。选择每隔十帧将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息以进行角度一致性变化。以δθn表示待检测帧图像需要旋转的角度。将待检测帧图像分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待跟踪遥感目标旋转至与模板帧中目标相同角度，并将旋转不同角度后的待检测帧图像作为候选帧送入待检测分支。
第二步：基于多频特征表示的特征增强提取
利用“插片式”octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核。输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y由此因式分解为y＝{yh,yl}。卷积核w按照高、低频分量可分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量。输出特征张量从而表示为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新，该步骤中介绍的基于多频特征表示的特征增强提取的具体操作过程如图3所示。
在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作。在yl的构建中，统一采用传统卷积方式进行运算。同时定义一个比例因子a，其代表低频分量的占比。第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数a设定为ain＝aout＝a。
第三步：孪生siamrpn基网络的构建
第3.1步生成分类分支和回归分支：模板帧和待检测帧通过octavecnn网络生成模板帧特征
第3.2步最终待检测帧的确定：通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集。当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应会大大增加，效果最好。根据其所对应的n值确定最终的待检测帧。
第四步：输出结果的确定
待检测帧映射到原来的图像上时，坐标进行变换，使输出结果变成一种斜框跟踪。
由此可见，本实施例提供的卫星遥感目标跟踪方法，首先选择基于区域建议的孪生网络(siamrpn)作为基网络架构，以获取自然的多尺度测试能力，适应目标类内尺寸的差异性。然后在特征提取阶段，引入一种新型的多频率特征表示方式，使用octconv替换基网络中alexnet中的各层卷积运算，以增强特征表达能力，减轻目标周域背景复杂带来的影响。在待检测帧候选样本生成阶段，构建变角度自适应模块，采用textboxes 提取样本角度信息并对待检测帧图像进行角度一致性变化操作，从而适应待跟踪目标的旋转变化。最后，对最终待检测帧进行坐标变换映射到原来的图像上，使输出结果变成一种斜框跟踪。
基于上述实施例的内容，在本实施例中，所述利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理，具体包括：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
在本实施例中，采用textboxes 提取样本角度信息并对待检测帧图像进行角度一致性变化操作，从而适应待跟踪目标的旋转变化。由此可见，本实施例考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行跟踪目标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感目标较为频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为突出。
基于上述实施例的内容，在本实施例中，所述利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图，具体包括：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
在本实施例中，在特征提取阶段，引入了一种新型的多频率特征表示方式，使用octconv替换基网络中alexnet中的各层卷积运算，以增强特征表达能力，减轻目标周域背景复杂带来的影响。本实施例采用多频特征表示方式进行特征增强，使得特征表达能力增强，识别能力增强，同时还降低了信息冗余度，因此，有利于更准确地追踪目标的方向信息。
基于上述实施例的内容，在本实施例中，将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧，具体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
在本实施例中，选择基于区域建议的孪生网络(siamrpn)作为基网络架构，以获取自然的多尺度测试能力，适应目标类内尺寸的差异性。然后在待检测帧候选样本生成阶段，构建变角度自适应模块，最后，对最终待检测帧进行坐标变换映射到原来的图像上，使输出结果变成一种斜框跟踪。
图4示出了本发明实施例提供的卫星遥感视频目标跟踪装置的结构示意图。如图4所示，本发明实施例提供的卫星遥感视频目标跟踪装置包括：角度一致性处理模块21、多频特征表示模块22、网络构建模块23和斜框跟踪模块24，其中：
角度一致性处理模块21，用于利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块22，用于利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块23，用于将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
斜框跟踪模块24，用于将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
基于上述实施例的内容，在本实施例中，所述角度一致性处理模块21，具体用于：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
基于上述实施例的内容，在本实施例中，所述多频特征表示模块22，具体用于：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
基于上述实施例的内容，在本实施例中，所述网络构建模块23，具体用于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
由于本发明实施例提供的卫星遥感视频目标跟踪装置，可以用于执行上述实施例所述的卫星遥感视频目标跟踪方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；
其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述卫星遥感视频目标跟踪方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述卫星遥感视频目标跟踪方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的卫星遥感视频目标跟踪方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种卫星遥感视频目标跟踪方法，其特征在于，包括：
利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
2.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，所述利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理，具体包括：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
3.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，所述利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图，具体包括：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
4.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧，具体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
5.一种卫星遥感视频目标跟踪装置，其特征在于，包括：
角度一致性处理模块，用于利用textboxes 网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块，用于利用插片式octconv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助octconv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块，用于将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络siamrpn确定最终的目标待检测帧；
斜框跟踪模块，用于将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
6.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述角度一致性处理模块，具体用于：
将模板帧送入textboxes 网络，利用text-boxlayer在特征图上预测box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的groundtruth相匹配的defaultbox；其中，defaultbox以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
将待检测帧送入textboxes 网络获取待检测帧中待跟踪遥感目标的角度信息β；
以δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度δθ1＝β-α和δθ2＝β-α π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
7.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述多频特征表示模块，具体用于：
利用插片式octconv卷积操作方式，定义x,y为卷积层输入特征张量和输出特征张量，w为与之匹配的卷积核，输入特征张量x按照高、低频率分量因式分解为x＝{xh,xl}，输出特征张量y因式分解为y＝{yh,yl}，卷积核w按照高、低频分量分解为w＝{wh,wl}，分别与xh和xl进行卷积构建输出张量，输出特征张量为：
yh＝yh→h yl→h
yl＝yl→l yh→l
其中，l→h、h→l代表不同频率间的信息传递，l→l、h→h代表频率自身的信息更新；
其中，在yh的构建中，将xl上采样折叠为普通卷积，后执行传统卷积操作；在yh→l的构建中，对xh进行平均池化操作，在yl的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
8.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述网络构建模块，具体用于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过octavecnn网络生成模板帧特征
通过基网络siamrpn，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述卫星遥感视频目标跟踪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述卫星遥感视频目标跟踪方法的步骤。
技术总结