本发明涉及计算机视觉，尤其涉及一种基于跨模态transformer的视觉-音频多模态目标跟踪方法及装置。
背景技术：
1、单目标跟踪是计算机视觉领域的研究重点之一，其核心任务是在视频中获取单个目标在每一帧中的位置信息，为深入分析和理解目标的运动行为与规律提供基础，为进一步研究奠定基础。近年来，在人工智能的推动下，目标跟踪领域取得了显著进展，成为计算机视觉研究的热门方向之一。随着深度学习的兴起，transformer网络在目标跟踪领域崭露头角，尤其是最近几年，将视觉transformer引入目标跟踪领域，取得了显著效果。
2、transformer目标跟踪方法。
3、目前，使用transformer的目标跟踪方法包括基于cnn-transformer、完全基于transformer这两种类型。其中，基于cnn-transformer的跟踪器在跟踪性能上表现出比基于cnn的跟踪器更为出色的特点。根据对具有挑战性的基准数据集的经验评估，完全基于transformer的跟踪器在保持适度效率分数的同时，明显优于其他方法。但是，相对于基于cnn的跟踪器，大多数transformer跟踪器由于模型训练网络过大导致跟踪速度的下降。
4、其中完全基于transformer的跟踪器包括双流跟踪框架和单流跟踪框架。双流两阶段完全transformer跟踪器采用骨干transformer模型提取目标模板和搜索区域的特征，利用另一个transformer进行特征融合和增强，最终通过小型预测网络定位目标。这些双流两阶段跟踪器展示了简单而整洁的跟踪架构，并在性能上优于基于cnn和基于cnn-transformer的跟踪器，充分发挥了transformer的注意力机制以实现更为精准的目标跟踪。
5、另一方面，单流单阶段跟踪器采用完全transformer架构将特征提取和特征融合过程相结合。这些跟踪器将目标模板和搜索区域图像分割为标记，并将它们的位置嵌入拼接，然后输入transformer进行处理。由于这些跟踪器使用单个transformer网络提取特征，因此能够有效地集成模板和搜索区域的特征，从而可以有效识别并区分背景和目标。基于这些优势，完全基于transformer的单流单阶段跟踪器在各个基准数据集上表现出卓越的性能。
6、多模态跟踪方法。
7、随着技术的不断发展和需求的增加，研究者们逐渐认识到仅仅使用图像数据在某些情况下难以满足对目标跟踪的全面需求。因此，目标跟踪逐渐从仅限于图像模态的数据扩展到了包括图像、文本、音频等多种模态相融合的场景，以更全面地捕捉目标的特征。
8、通过深入研究，申请人发现将视觉-文本的多模态融合方法引入目标跟踪领域，能够在一定程度上提高系统的鲁棒性和性能。然而，与这一领域的进展相比，将视觉-音频这两个模态融合应用于目标跟踪方面，目前仍然存在相当大的提升空间。现有技术中的方法暂时没有将视觉和音频进行融合的方法，导致目标跟踪的结果不准确。
技术实现思路
1、针对上述问题，本发明创新性地提出了一种基于transformer和多模态融合的视觉音频目标跟踪方法，以填补目标跟踪领域中缺乏使用跨模态transformer将视觉和音频进行融合的方法的不足，为目标跟踪提供了更全面的多模态处理技术支撑。
2、为了实现上述目的，本发明第一方面提供了一种基于跨模态transformer的视觉-音频多模态目标跟踪方法，包括：
3、s1：输入搜索区图像、模板区图像、搜索区图像对应图像帧的音频片段以及模板区图像对应图像帧的音频片段；
4、s2：从输入的搜索区图像和模板区图像中提取出图像tokens；
5、s3：从输入的搜索区图像对应图像帧的音频片段以及模板区图像对应图像帧的音频片段中提取出音频tokens；
6、s4：对提取出的图像tokens与音频tokens进行跨模态对齐，得到跨模态对齐后的图像tokens和音频tokens，其中，跨模态对齐后的图像tokens包括跨模态对齐后的搜索区图像tokens和跨模态对齐后的模板区图像tokens；将跨模态对齐后的搜索区图像tokens和模态对齐后的模板区图像tokens进行模态内对齐，得到交叉模态对齐后的图像tokens；
7、s5：将跨模态对齐后的音频tokens与交叉模态对齐后的图像tokens进行模态混合操作，并采用多层transformer编码器进行特征提取与融合，得到融合后的多模态特征，融合后的多模态特征包括搜索区图像特征和模板区图像特征；
8、s6：根据最后一层编码器输出的搜索区图像特征得到搜索区图像中目标的坐标。
9、在一种实施方式中，步骤s2包括：
10、s2.1：分别将输入的搜索区图像和模板区图像分割为无重叠的图像块组；
11、s2.2：将线性投影应用到分割的图像块组中，生成对应的搜索区图像tokens和模板区图像tokens；
12、s2.3：添加可学习的位置嵌入，以维持图像块的位置信息。
13、在一种实施方式中，步骤s3包括：
14、s3.1：对输入的搜索区图像对应图像帧的音频片段以及模板区图像对应图像帧的音频片段进行降采样处理；
15、s3.2：将降采样后的音频片段划分为短时帧，并加上汉明窗；
16、s3.3：对每个短时帧应用短时傅立叶变换得到振幅谱和能量谱，应用梅尔滤波器组来获取梅尔滤波器组特征；
17、s3.4：提取前l个梅尔倒谱系数，再通过线性投影层得到d维的音频tokens，然后添加可学习的位置嵌入；
18、s3.5：在音频tokens序列的开始位置加上类标记的cls token，表示整个音频序列的类别信息。
19、在一种实施方式中，步骤s4对提取出的图像tokens与音频tokens进行跨模态对齐，得到跨模态对齐后的图像tokens和音频tokens，包括：
20、计算b2个图像和音频对的tokens之间的余弦相似性，其中，来自同一时间的图像和音频对被称为正对，来自不同时间的图像和音频对被称为负对；
21、通过最大化b个正对的余弦相似性，同时最小化b2-b个负对的余弦相似性来训练音频编码器，训练过程使用对称交叉熵损失进行计算；
22、通过训练好的音频编码器得到跨模态对齐后的图像和音频的tokens。
23、在一种实施方式中，步骤s4将跨模态对齐后的搜索区图像tokens和跨模态对齐后的模板区图像tokens进行模态内对齐，包括：
24、将经过跨模态对齐的视觉模态中的搜索区域和模板区域的tokens进行融合，其中，将来自相同时间的搜索区图像和模板区图像视为正对，自不同时间的图像作为负对；
25、通过对比损失进行计算，获得交叉模态对齐后的图像的tokens。
26、在一种实施方式中，步骤s5包括：
27、s5.1：将跨模态对齐后的音频tokens分别注入到视觉模态中的经过交叉模态对齐后的两个图像tokens，得到注入音频信息的搜索区视觉嵌入和模板区视觉嵌入；
28、s5.2：将注入音频信息的搜索区视觉嵌入和模板区视觉嵌入进行拼接，然后送入l层transformer编码器进行联合处理，其中，每一层编码器包括多头自注意模块和前馈网络，多头自注意模块采用多头自注意机制允许模型在多个注意力视角下对输入序列进行交互，捕捉输入序列中的不同特征关系；前馈网络引入特征的非线性变换，并基于多头注意模块的输出得到融合后的多模态特征。
29、在一种实施方式中，步骤s6包括：
30、s6.1：利用分类分支将transformer编码器的最后一层编码器输出的搜索区图像特征，重塑为原始空间分辨率的2d特征图，然后经过1层全卷积网络，得到目标分类得分图、局部偏移量和归一化的边界框大小，其中，目标分类得分图中得分最高的点位目标中心点，局部偏移量用于补偿由降低的分辨率引起的离散化误差；
31、s6.2：利用边界框回归分支对对象的中心坐标偏移和对象的大小进行预测，预测过程中损失采用l1损失和giou损失加权计算；
32、s6.3：将基于跨模态transformer的视觉-音频多模态目标跟踪模型转换为多任务优化问题，同时优化跨模态对齐损失、模态内损失、分类损失和回归损失；
33、s6.4：通过计算损失来反向传递完成参数更新，进一步修正预测框的位置，最终得到目标中心点的坐标以及边界框大小。
34、基于同样的发明构思，本发明第二方面提供了基于跨模态transformer的视觉-音频多模态目标跟踪装置，包括：
35、输入模块，用于输入搜索区图像、模板区图像、搜索区图像对应图像帧的音频片段以及模板区图像对应图像帧的音频片段；
36、图像tokens提取模块，用于从输入的搜索区图像和模板区图像中提取出图像tokens；
37、音频tokens提取模块，用于从输入的搜索区图像对应图像帧的音频片段以及模板区图像对应图像帧的音频片段中提取出音频tokens；
38、交叉模态对齐模块，用于对提取出的图像tokens与音频tokens进行跨模态对齐，得到跨模态对齐后的图像tokens和音频tokens，其中，跨模态对齐后的图像tokens包括跨模态对齐后的搜索区图像tokens和跨模态对齐后的模板区图像tokens；将跨模态对齐后的搜索区图像tokens和模态对齐后的模板区图像tokens进行模态内对齐，得到交叉模态对齐后的图像tokens；
39、特征提取与融合模块，用于将跨模态对齐后的音频tokens与交叉模态对齐后的图像tokens进行模态混合操作，并采用多层transformer编码器进行特征提取与融合，得到融合后的多模态特征，融合后的多模态特征包括搜索区图像特征和模板区图像特征；
40、边界框预测头模块，用于根据最后一层编码器输出的搜索区图像特征得到搜索区图像中目标的坐标。
41、基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
42、基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
43、相对于现有技术，本发明的优点和有益的技术效果如下：
44、本发明公开的基于跨模态transformer的视觉-音频多模态目标跟踪方法，首先获取来自视觉和音频两种模态的信息tokens(图像tokens与音频tokens)，并引入两种多模态特征对齐方法，即跨模态对齐和模块内对齐，以在多模态间特征提取和融合前优化两种模态的嵌入。输入编码器前，将对齐后的音频特征注入到搜索区图像和模板区图像的嵌入中，从而提高编码器的学习能力。随后，经过编码器层的处理，多模态之间的特征得到了充分的融合和学习。最终，采用分类和边界框回归的方法，利用最后一层编码器的输出来精准预测目标的坐标。采用了多模态融合方法，相较于单一模态具备更高的鲁棒性，并且通过融合这两种模态的信息可以提高系统对目标的感知能力，这是因为视觉和音频信息为系统提供了目标不同方面的特征，最后，由于视觉和音频信息在时空上可以相互补充，视觉和音频两者融合能够更好地捕捉目标的时空一致性，故而可以提高跟踪的准确性。
1.基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，包括：
2.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s2包括：
3.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s3包括：
4.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s4对提取出的图像tokens与音频tokens进行跨模态对齐，得到跨模态对齐后的图像tokens和音频tokens，包括：
5.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s4将跨模态对齐后的搜索区图像tokens和跨模态对齐后的模板区图像tokens进行模态内对齐，包括：
6.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s5包括：
7.如权利要求1所述的基于跨模态transformer的视觉-音频多模态目标跟踪方法，其特征在于，步骤s6包括：
8.基于跨模态transformer的视觉-音频多模态目标跟踪装置，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项权利要求所述的方法。
