本申请涉及视频剪辑处理领域,且更为具体地,涉及一种基于人工智能的视频剪辑处理方法及系统。
背景技术:
1、随着互联网和数字媒体的快速发展,视频内容的数量和多样性不断增加。然而,观看大量视频内容并从中获取有用信息变得越来越具有挑战性。视频剪辑是一种将原始视频素材进行编辑和处理,以生成更具吸引力和信息密度的视频摘要的技术。
2、然而,传统视频剪辑通常需要专业编辑人员进行手动选择和处理视频素材,这需要编辑人员具备丰富的剪辑经验和技能,限制了视频剪辑的普及性和效率,并增加了成本和时间消耗。同时,传统方案无法根据用户的需求和喜好自动选择最佳的剪辑方案,需要依赖编辑人员的主观判断。也就是说,传统视频剪辑方案需要编辑人员对于用户需求进行理解,容易受到主观因素的影响,导致生成的剪辑视频可能不符合用户的需求和喜好。此外,传统视频剪辑方案需要编辑人员进行手动筛选、裁剪和组合视频素材,这限制了视频剪辑的效率和灵活性,对于大规模的视频内容和实时剪辑需求来说是不可行的,尤其在需要快速生成视频摘要的情况下。
3、因此,期望一种基于人工智能的视频剪辑处理方案。
技术实现思路
1、为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于人工智能的视频剪辑处理方法及系统。其可以提高视频剪辑的效率、减少人工干预、消除主观性和个人偏好,同时,还能够适应大规模的视频内容和实时剪辑需求,为用户提供更好的观看体验。
2、根据本申请的一个方面,提供了一种基于人工智能的视频剪辑处理方法,其包括:
3、获取待剪辑视频;
4、对所述待剪辑视频中的各个图像帧进行内容识别以得到各个图像帧的内容描述,其中,所述内容描述包括人物、物体、场景和动作;
5、从所述待剪辑视频获取第一视频剪辑方案;
6、将所述第一视频剪辑方案的各个图像帧的内容描述进行语义关联编码以得到第一视频剪辑方案语义编码特征向量;
7、获取视频剪辑需求文本描述;
8、对所述视频剪辑需求文本描述进行语义编码以得到视频剪辑需求文本语义理解特征向量;
9、对所述第一视频剪辑方案语义编码特征向量和所述视频剪辑需求文本语义理解特征向量进行语义特征交互关联分析以得到视频剪辑需求-视频剪辑方案语义交互特征;
10、以及基于所述视频剪辑需求-视频剪辑方案语义交互特征,确定视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值。
11、根据本申请的另一个方面,提供了一种基于人工智能的视频剪辑处理系统,其包括:
12、视频获取模块,用于获取待剪辑视频;
13、内容识别模块,用于对所述待剪辑视频中的各个图像帧进行内容识别以得到各个图像帧的内容描述,其中,所述内容描述包括人物、物体、场景和动作;
14、剪辑方案获取模块,用于从所述待剪辑视频获取第一视频剪辑方案;
15、内容描述语义关联编码模块,用于将所述第一视频剪辑方案的各个图像帧的内容描述进行语义关联编码以得到第一视频剪辑方案语义编码特征向量;
16、需求文本描述获取模块,用于获取视频剪辑需求文本描述;
17、文本描述语义编码模块,用于对所述视频剪辑需求文本描述进行语义编码以得到视频剪辑需求文本语义理解特征向量;
18、语义特征交互关联分析模块,用于对所述第一视频剪辑方案语义编码特征向量和所述视频剪辑需求文本语义理解特征向量进行语义特征交互关联分析以得到视频剪辑需求-视频剪辑方案语义交互特征;
19、以及适配度判断模块,用于基于所述视频剪辑需求-视频剪辑方案语义交互特征,确定视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值。
20、与现有技术相比,本申请提供的人工智能的视频剪辑处理方法及系统,其首先对待剪辑视频中的各个图像帧进行内容识别以得到各个图像帧的内容描述,接着,从所述待剪辑视频获取第一视频剪辑方案并对其各个图像帧的内容描述进行语义关联编码以得到第一视频剪辑方案语义编码特征向量,然后,对视频剪辑需求文本描述进行语义编码以得到视频剪辑需求文本语义理解特征向量,最后,基于对所述第一视频剪辑方案语义编码特征向量和所述视频剪辑需求文本语义理解特征向量进行语义特征交互关联分析得到的视频剪辑需求-视频剪辑方案语义交互特征确定视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值。这样,可以为用户提供更好的观看体验。
1.一种基于人工智能的视频剪辑处理方法,其特征在于,包括:
2.根据权利要求1所述的基于人工智能的视频剪辑处理方法,其特征在于,将所述第一视频剪辑方案的各个图像帧的内容描述进行语义关联编码以得到第一视频剪辑方案语义编码特征向量,包括:
3.根据权利要求2所述的基于人工智能的视频剪辑处理方法,其特征在于,对所述第一视频剪辑方案语义编码特征向量和所述视频剪辑需求文本语义理解特征向量进行语义特征交互关联分析以得到视频剪辑需求-视频剪辑方案语义交互特征,包括:
4.根据权利要求3所述的基于人工智能的视频剪辑处理方法,其特征在于,基于所述视频剪辑需求-视频剪辑方案语义交互特征,确定视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值,包括:
5.根据权利要求4所述的基于人工智能的视频剪辑处理方法,其特征在于,将所述视频剪辑需求文本语义理解特征向量和所述第一视频剪辑方案语义编码特征向量通过类clip模型以得到关联矩阵,包括:
6.根据权利要求5所述的基于人工智能的视频剪辑处理方法,其特征在于,对所述优化视频剪辑需求-视频剪辑方案语义交互特征向量的各个特征值进行校正以得到校正后优化视频剪辑需求-视频剪辑方案语义交互特征向量,包括:以如下校正公式对所述优化视频剪辑需求-视频剪辑方案语义交互特征向量的各个特征值进行校正以得到所述校正后优化视频剪辑需求-视频剪辑方案语义交互特征向量;
7.根据权利要求6所述的基于人工智能的视频剪辑处理方法,其特征在于,将所述校正后优化视频剪辑需求-视频剪辑方案语义交互特征向量通过分类器以得到分类结果,所述分类结果用于表示视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值,包括:使用所述分类器的全连接层对所述校正后优化视频剪辑需求-视频剪辑方案语义交互特征向量进行全连接编码以得到编码分类特征向量;
8.一种基于人工智能的视频剪辑处理系统,其特征在于,包括:
9.根据权利要求8所述的基于人工智能的视频剪辑处理系统,其特征在于,所述内容描述语义关联编码模块,用于:
10.根据权利要求9所述的基于人工智能的视频剪辑处理系统,其特征在于,所述语义特征交互关联分析模块,用于:
