本发明涉及计算机,尤其涉及一种掩码视频图像模型的快速训练方法。
背景技术:
1、随着计算机视觉的技术不断发展,自监督算法在图像模型训练中的应用越来越广泛。当前,经典的自监督学习的模型训练方法是对样本图像使用较高的掩码比例得到掩码图像,基于编码器仅对可见的图像区域进行编码,不对掩码进行任何处理,解码器输出掩码图像对应的重构图像。
2、但是,由于样本图像的掩码率比较高,导致每个样本图像被学习的部分只有未被掩码的部分,即样本图像的数据利用率较低。因此,导致模型的学习效率较低。
技术实现思路
1、本发明提供一种掩码视频图像模型的快速训练方法,用以解决现有技术中掩码图像模型的学习效率较低的缺陷。
2、本发明提供一种掩码视频图像模型的快速训练方法,包括:
3、获取样本图像对,所述样本图像对包含历史视频帧图像,以及与所述历史视频帧图像对应的未来视频帧图像;
4、基于所述未来视频帧图像中的各子区域,分别对所述未来视频帧图像进行掩码,得到多个掩码图像;
5、基于初始掩码图像模型、将所述未来视频帧图像对应的历史视频帧图像的历史图像特征作为键值对,以及将各掩码图像的掩码图像特征作为查询,预测得到所述各掩码图像对应的补全图像;
6、基于各补全图像以及自洽机制,对所述初始掩码图像模型进行参数迭代,直至得到最后的掩码图像模型。
7、根据本发明提供的一种掩码视频图像模型的快速训练方法,所述基于所述未来视频帧图像中的各子区域,分别对所述未来视频帧图像进行掩码,得到多个掩码图像,包括:
8、对所述未来视频帧图像进行划分,得到多个图像块;
9、对所述多个图像块进行随机且不重复采样,得到所述各子区域;
10、依次从所述各子区域中选取单个子区域,分别对所述未来视频帧图像中除去所述单个子区域之外的图像进行掩码,得到所述多个掩码图像。
11、根据本发明提供的一种掩码视频图像模型的快速训练方法,所述基于各补全图像以及自洽机制,对所述初始掩码图像模型进行参数迭代,直至得到最后的掩码图像模型,包括:
12、基于自洽损失函数,确定各补全图像对应的重叠区域之间的自洽重叠损失;
13、基于所述自洽重叠损失,对所述初始掩码图像模型进行参数迭代,直至得到最后的掩码图像模型。
14、根据本发明提供的一种掩码视频图像模型的快速训练方法,所述基于自洽损失函数,确定各补全图像对应的重叠区域之间的自洽重叠损失,包括:
15、基于各补全图像中任意两补全图像对应的重叠区域的重叠图像特征之间的相似度,确定所述自洽重叠损失。
16、根据本发明提供的一种掩码视频图像模型的快速训练方法,所述基于各补全图像中任意两补全图像对应的重叠区域的重叠图像特征之间的相似度,确定所述自洽重叠损失,包括:
17、基于各补全图像中任意两补全图像对应的重叠区域的重叠图像特征之间的平均相似度,确定所述自洽重叠损失。
18、根据本发明提供的一种掩码视频图像模型的快速训练方法,所述各子区域中的图像块各不相邻。
19、本发明还提供一种掩码视频图像模型的快速训练装置,包括:
20、获取单元,获取样本图像对,所述样本图像对包含历史视频帧图像,以及与所述历史视频帧图像对应的未来视频帧图像;
21、掩码单元,基于所述未来视频帧图像中的各子区域,分别对所述未来视频帧图像进行掩码,得到多个掩码图像;
22、补全单元,基于初始掩码图像模型、将所述未来视频帧图像对应的历史视频帧图像的历史图像特征作为键值对,以及将各掩码图像的掩码图像特征作为查询,预测得到所述各掩码图像对应的补全图像;
23、损失单元,基于各补全图像以及自洽机制,对所述初始掩码图像模型进行参数迭代,直至得到最后的掩码图像模型。
24、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述掩码视频图像模型的快速训练方法。
25、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述掩码视频图像模型的快速训练方法。
26、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述掩码视频图像模型的快速训练方法。
27、本发明提供的掩码视频图像模型的快速训练方法,通过对未来视频帧图像分别进行多次掩码,得到多个掩码图像,基于初始掩码图像模型,将未来视频帧图像对应的历史视频帧图像的历史图像特征作为键值对,以及将各掩码图像的掩码图像特征作为查询,预测各掩码图像对应的补全图像,基于补全图像对初始掩码图像模型进行参数迭代,使得完整的未来视频帧图像参与初始掩码图像模型的训练,提升样本数据的利用率,通过自洽机制保证各补全图像趋于一致,可以迅速收敛,同时使得模型充分学习到样本数据各区域之间的时间维度上的联系,进而提升模型的训练效率。
1.一种掩码视频图像模型的快速训练方法,其特征在于,包括:
2.根据权利要求1所述的掩码视频图像模型的快速训练方法,其特征在于,所述基于所述未来视频帧图像中的各子区域,分别对所述未来视频帧图像进行掩码,得到多个掩码图像,包括:
3.根据权利要求1所述的掩码视频图像模型的快速训练方法,其特征在于,所述基于各补全图像以及自洽机制,对所述初始掩码图像模型进行参数迭代,直至得到最后的掩码图像模型,包括:
4.根据权利要求3所述的掩码视频图像模型的快速训练方法,其特征在于,所述基于自洽损失函数,确定各补全图像对应的重叠区域之间的自洽重叠损失,包括:
5.根据权利要求4所述的掩码视频图像模型的快速训练方法,其特征在于,所述基于各补全图像中任意两补全图像对应的重叠区域的重叠图像特征之间的相似度,确定所述自洽重叠损失,包括:
6.根据权利要求2至4中任一项所述的掩码视频图像模型的快速训练方法,其特征在于,所述各子区域中的图像块各不相邻。
7.一种掩码视频图像模型的快速训练装置,其特征在于,包括:
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述掩码视频图像模型的快速训练方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述掩码视频图像模型的快速训练方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述掩码视频图像模型的快速训练方法。
