本发明涉及视觉语言任务中的运动表达引导视频分割方法，关注充分聚合视频中的运动信息。
背景技术：
1、运动表达引导视频分割[1]是最近提出的一项视觉语言任务，致力于根据描述物体运动的语言表达来分割视频中对应的物体。这项任务与现有的参考视频对象分割任务[2]-[3]相关，后者同样是根据语言表达来实现对象分割，不过主要针对突出的物体或静态的属性描述。相比之下，运动表达引导视频分割侧重于运动物体，需要在充分理解整个视频中的物体运动后才能根据运动语言表达实现精准的分割，因此更具挑战性。
2、运动表达引导视频分割的关键点是基于语言表达准确捕捉不同视频帧间物体的运动信息。为了实现这个目标，现有的最优算法运动感知与匹配(language-guided motionperception and matching，mlpm)[1]借用了视频实例分割算法vita[4]的思想，使用对象嵌入来表示视频中的对象，以此来减少计算量；并且采用带有滑动窗口的自注意力方法[5]执行不同对象的运动聚合，以捕获时间上下文。然而，这种局部自注意力机制的使用会导致全局信息的损失，从而影响分割的性能。获取全局信息的一个简单方法是采用传统的自注意力机制[6]，然而传统自注意力机制的复杂度随序列长度呈二次方增长，需要占用大量的计算量和内存。一些工作[7][8]提出了线性关注，使用设计的核函数来替代传统自注意力机制中的softmax操作。然而，这些工作在性能上仍然不如传统自注意力机制。如何在不引入巨大计算成本的同时获取全局的视频信息，从而实现充分的运动信息聚合是运动表达引导视频分割任务的一个难题。
3、参考文献：
4、[1]h.ding,c.liu,s.he,x.jiang,and c.c.loy,“mevis:a large-scalebenchmark for video segmentation with motion expressions,”in ieee/cvfinternational conference on computer vision,2023,pp.2694–2703.
5、[2]a.khoreva,a.rohrbach,and b.schiele,“video object segmentation withlanguage referring expressions,”in asian conference on computervision.springer,2019,pp.123–141.
6、[3]t.hui,s.huang,s.liu,z.ding,g.li,w.wang,j.han,and f.wang,“collaborative spatial-temporal modeling for language-queried video actorsegmentation,”in ieee/cvf conference on computer vision and patternrecognition,2021,pp.4187–4196.
7、[4]m.heo,s.hwang,s.w.oh,j.-y.lee,and s.j.kim,“vita:video instancesegmentation via object token association,”in the annual conference on neuralinformation processing systems,2022,pp.23109–23120.
8、[5]z.liu,y.lin,y.cao,h.hu,y.wei,z.zhang,s.lin,and b.guo,“swintransformer:hierarchical vision transformer using shifted windows,”in ieee/cvf international conference on computer vision,2021,pp.10012–10022.
9、[6]a.vaswani,n.shazeer,n.parmar,j.uszkoreit,l.jones,a.n.gomez,kaiser,and i.polosukhin,“attention is all you need,”in the annual conferenceon neural information processing systems,2017.
10、[7]h.you,y.xiong,x.dai,b.wu,p.zhang,h.fan,p.vajda,and y.lin,“castling-vit:compressing self-attention via switching towards linear angularattention during vision transformer inference,”arxiv preprint arxiv:2211.10526,2022.
11、[8]d.han,x.pan,y.han,s.song,and g.huang,“flatten transformer:visiontransformer using focused linear attention,”in proceedings of the ieee/cvfinternational conference on computer vision,2023,pp.5961–5971.
12、[9]gu a,dao t.“mamba:linear-time sequence modeling with selectivestate spaces,”arxiv preprint arxiv:2312.00752,2023.
技术实现思路
1、本发明的目的是提供一种在不引入巨大计算量的同时实现充分的视频运动信息聚合的视频分割方法。本发明可以实现全局和局部视野的视频运动信息的聚合，同时确保了计算复杂度仅与序列长度线性相关。技术方案如下：
2、一种运动表达引导视频分割的方法，基于语言引导运动感知和匹配mlpm建立有效运动信息挖掘框架，方法如下：将给定的视频片段输入到视觉编码器中以生成尺寸依次减小的多尺度视觉特征其中t表示视频帧数，c表示通道数，h和w表示视频帧的长和宽，将运动表达输入到文本编码器中生成文本特征通过添加可学习的位置编码，得到语言引导的图像查询和语言引导的视频查询其中nf和nv为查询数；将视觉特征作为键和值，图像查询qf作为查询输入到transformer解码器中，过滤视觉特征中与语言表达无关的因素，生成每帧中的候选对象嵌入对象嵌入fobj和视觉特征点积得到每帧中的目标掩码mf；将候选对象嵌入fobj输入分层运动聚合模块，捕获整个视频片段的运动信息，得到目标嵌入fhma；将目标嵌入fhma作为键和值，视频查询qv作为查询，输入到transformer解码器中，输出运动对象嵌入由运动对象嵌入fmot和视觉特征点积生成预测掩码mv；
3、所述分层运动聚合模块，用于分别从局部和全局视野中捕获运动信息，其中，局部运动聚合采用基于滑动窗口的自注意力操作，全局运动聚合使用全选择性状态空间模型ssm捕获。
4、对局部运动聚集的输出特征和全局运动聚合的输出特征求和，并将求和后的特征馈送到前馈网络(ffn)以生成输出具有全局和局部运动信息的特征。
5、进一步的，局部运动聚合采用基于滑动窗口的自注意力操作的方法如下：沿时间维度将输入的候选对象嵌入形变为其中w是窗口大小；使用线性层生成查询q、键k和值v，并将其输入到自注意力模块中，实现视频局部帧的时间信息聚合；对自注意力的输出特征进行重构，生成沿时间维的局部运动聚集的输出特征，表示为
6、进一步的，全局运动聚合使用全选择性状态空间模型ssm捕获，将输入的候选对象嵌入平铺成将输入到两个分支，在一个分支中，先经过一个线性层和一个一维卷积，再通过ssm聚合全局的运动信息；在另一个分支中，使用线性层和激活层；将两个分支的输出特征相乘，再经过一个线性层生成全局运动聚合的输出特征，表示为
7、在训练过程中，目标掩码mf和预测掩码mv由真值掩码注释监督；测试时，最终的分割结果是由运动对象嵌入与文本特征的相似度超过阈值的预测掩码合并得到。
8、将分层运动聚合叠加六次。
1.一种运动表达引导视频分割的方法，其特征在于，基于语言引导运动感知和匹配mlpm建立有效运动信息挖掘框架，方法如下：将给定的视频片段输入到视觉编码器中以生成尺寸依次减小的多尺度视觉特征其中t表示视频帧数，c表示通道数，h和w表示视频帧的长和宽，将运动表达输入到文本编码器中生成文本特征通过添加可学习的位置编码，得到语言引导的图像查询和语言引导的视频查询其中nf和nv为查询数；将视觉特征作为键和值，图像查询qf作为查询输入到transformer解码器中，过滤视觉特征中与语言表达无关的因素，生成每帧中的候选对象嵌入对象嵌入fobj和视觉特征点积得到每帧中的目标掩码mf；将候选对象嵌入fobj输入分层运动聚合模块，捕获整个视频片段的运动信息，得到目标嵌入fhma；将目标嵌入fhma作为键和值，视频查询qv作为查询，输入到transformer解码器中，输出运动对象嵌入由运动对象嵌入fmot和视觉特征点积生成预测掩码mv；
2.根据权利要求1所述的运动表达引导视频分割的方法，其特征在于，局部运动聚合采用基于滑动窗口的自注意力操作的方法如下：沿时间维度将输入的候选对象嵌入形变为其中w是窗口大小；使用线性层生成查询q、键k和值v，并将其输入到自注意力模块中，实现视频局部帧的时间信息聚合；对自注意力的输出特征进行重构，生成沿时间维的局部运动聚集的输出特征，表示为
3.根据权利要求1所述的运动表达引导视频分割的方法，其特征在于，全局运动聚合使用全选择性状态空间模型ssm捕获，将输入的候选对象嵌入平铺成将输入到两个分支，在一个分支中，先经过一个线性层和一个一维卷积，再通过ssm聚合全局的运动信息；在另一个分支中，使用线性层和激活层；将两个分支的输出特征相乘，再经过一个线性层生成全局运动聚合的输出特征，表示为
4.根据权利要求1所述的运动表达引导视频分割的方法，其特征在于，在训练过程中，目标掩码mf和预测掩码mv由真值掩码注释监督；测试时，最终的分割结果是由运动对象嵌入与文本特征的相似度超过阈值的预测掩码合并得到。
5.根据权利要求1所述的运动表达引导视频分割的方法，其特征在于，将分层运动聚合叠加六次。
