本申请涉及一种集群内快速分析处理音视频的方法、装置及电子设备,属于计算机技术领域。
背景技术:
在音视频处理领域,实时采集的音视频中会存在一定量的无效的音视频单元,因此在对音视频进行处理时,对有效音视频单元和无效音视频单元进行同等的处理会导致处理资源的浪费和处理效率的降低。
技术实现要素:
本发明实施例提供一种集群内快速分析处理音视频的方法、装置及电子设备以对音视频单元进行筛选,提高视频处理效率。
为了实现上述目的,本发明实施例提供了一种集群内快速分析处理音视频的方法,包括:
获取音视频片段;
将所获取的音视频片段划分为多个音视频单元;
对所述多个音视频单元进行第一处理,所述第一处理包括计算所述多个音视频单元中的每个音视频单元与参考单元的差异度,其中,所述参考单元为基于当前进行所述第一处理的音视频单元之前的音视频单元生成的音视频单元;
对差异度大于预置阈值的所述音视频单元进行标记;
对被标记的所述音视频单元进行第二处理。
本发明实施例还提供了一种集群内快速分析处理音视频的装置,包括:
音视频片段获取模块,用于获取音视频片段;
音视频单元划分模块,用于将所获取的音视频片段划分为多个音视频单元;
第一处理模块,用于对所述多个音视频单元进行第一处理,
所述第一处理包括计算所述多个音视频单元中的每个音视频单元与参考单元的差异度,其中,所述参考单元为基于当前进行所述第一处理的音视频单元之前的音视频单元生成的音视频单元;
标记模块,用于对差异度大于预置阈值的所述音视频单元进行标记;
第二处理模块,用于对被标记的所述音视频单元进行第二处理。
本发明实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,以执行上述的集群内快速分析处理音视频的方法。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的集群内快速分析处理音视频的方法的应用场景示意图;
图2为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之一;
图3为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之二;
图4为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之三;
图5为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之一;
图6为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之二;
图7为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之三;
图8为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在音视频处理领域,实时采集的音视频中会存在一定量的无效的音视频单元,因此在对音视频进行处理时,对有效音视频单元和无效音视频单元进行同等的处理会导致处理资源的浪费和处理效率的降低。
本发明实施例通过将音视频单元与参考单元进行对比,筛选出有效音视频单元,然后对有效音视频单元进行进一步处理。
在本申请中,音视频片段和音视频单元可以包含音频、视频或音视频的组合。
在具体场景中,音视频采集设备采集到音视频片段,然后将音视频片段划分为多个连续的音视频单元,在连续的音视频单元当中,有些音视频单元是包含有效信息的音视频单元,因此,可以作为有效音视频单元。而有些音视频单元不包含有效信息,可以作为无效音视频单元。以采集视频为例,例如,监控小区大门的视频中,在上下班时间,出入小区的人流量较大,所拍摄的视频中,反映小区居民出入情况的图像变化较大的音视频单元较多,可以作为有效音视频单元,而在夜间,居民出入较少,视频拍摄到的多为无人经过的静态的小区大门的画面,这些类似于图像没有变化的小区大门图像的音视频单元就可以作为无效音视频单元。
因此,对于音视频片段所划分的多个音视频单元,可以先对其进行第一处理,也就是将音视频单元与参考单元进行对比,计算音视频单元与参考单元的差异度,从而筛选出差异度大于预设阈值的有效音视频单元。需要说明的是,这里所说的计算音视频单元与参考单元的差异度,是通过提取音视频单元与参考单元的图像特征,然后通过计算二者的图像特征的差异度实现的。
具体地,在本发明实施例中,上述的参考单元作为音视频单元筛选(第一处理)过程中的比较基准,例如图1所示,其为本发明实施例的集群内快速分析处理音视频的方法的应用场景示意图,当当前单元(为方便描述,可以将当前进行第一处理的音视频单元称为当前单元)为音视频片段的第1单元,即第一个音视频单元时,参考单元可以为预置音视频单元或者基于预置音视频单元生成的音视频单元。
当当前单元为第1单元之后的音视频单元时,其参考单元可以为基于该当前单元之前的音视频单元与该当前单元之前的音视频单元的参考单元按比例合成而生成的音视频单元。例如,在本发明实施例中,当前单元的参考单元可以是基于当前单元的前一单元与该前一单元的参考单元按比例合成而生成的音视频单元。例如,如图1所示,第2单元的参考单元为基于10%的第1单元与90%的第1单元的参考单元生成,第3单元的参考单元为基于10%的第2单元与90%的第2单元的参考单元生成,以此类推,第n单元的参考单元为基于10%的第n-1单元与90%的第n-1单元的参考单元生成。
此外,在本发明的另外的实施例中,当前单元的参考单元也可以是基于当前单元的之前的单元与该之前的单元的参考单元按比例合成而生成的音视频单元。
进一步地,如果当前单元通过与参考单元对比,计算当前单元与参考单元的差异度大于预设阈值,那么,则将该音视频单元视为有效音视频单元,并对其进行标记,其中,这里的标记可以包括为了实现将有效音视频单元筛选出来的多种处理,例如,可以为有效音视频单元添加特殊标识,还可以将有效音视频单元进行单独存储等。另外,如果计算其差异度小于或等于预设的阈值,可以将该音视频单元视为无效音视频单元,并且可以删除该音视频单元。
以上介绍了通过将音视频单元与参考单元进行对比,计算其差异度,从而筛选出有效音视频单元的第一处理,进一步地,对于筛选出的有效音视频单元,可以进行进一步的第二处理,例如,人脸识别等分析处理。
此外,在上述方案的基础上,为了避免由于待进行第一处理的音视频单元的数量较大,或者第一处理的效率较低从而造成待处理的音视频单元堆积,可以在将音视频片段划分为多个音视频单元之后,将音视频单元先发送到临时存储区,然后根据第一处理的处理状态,从临时存储区获取相应数量的音视频单元进行第一处理。
另外,同样的道理,在完成第一处理筛选出有效音视频单元后,为避免待进行第二处理的有效音视频单元堆积,也可以将有效音视频单元发送到临时存储区,然后根据第二处理的处理状态从临时存储区中获取相应数量的有效音视频单元进行第二处理。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
下面通过一些具体实施例来进一步说明本发明的技术方案。
实施例一
如图2所示,其为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之一,该方法包括如下步骤:
s201:获取音视频片段。
具体地,可以通过视频采集设备获取音视频片段,例如,摄像头等。
s202:将所获取的音视频片段划分为多个音视频单元。
s203:对多个音视频单元进行第一处理。
第一处理可以包括计算多个音视频单元中的每个音视频单元与参考单元的差异度,在本发明实施例中,参考单元可以为基于当前进行第一处理的音视频单元之前的音视频单元生成的音视频单元。
例如,可以获取多个音视频单元中的每个音视频单元与参考单元的图像特征,根据多个音视频单元中的每个音视频单元与参考单元的图像特征计算差异度。其中,音视频单元的图像特征可以包括颜色特征、形状特征、空间关系特征、纹理特征等。
例如,以采集视频为例,在安防系统对房间进行监控的场景中,视频采集设备采集到某房间有人入室盗窃的音视频片段,并通过对音视频片段进行预处理将该音视频片段划分为多个音视频单元。
然后,获取每个音视频单元的参考单元,在本发明实施例中,参考单元作为音视频单元第一处理过程中音视频单元的比较基准,当当前单元(为方便描述,可以将当前进行第一处理的音视频单元称为当前单元)为音视频片段的第1单元,即第一个音视频单元时,参考单元可以为预置音视频单元或者基于预置音视频单元生成的音视频单元。例如,在上述情景中,该第1单元的参考单元可以为预先采集的房间内没有人时的图片,或者基于没有人时房间的图片以预定算法生成的图像。当当前单元为第1单元之后的音视频单元时,其参考单元可以为基于该当前单元之前的音视频单元与该当前单元之前的音视频单元的参考单元按比例合成而生成的音视频单元。例如,在本发明实施例中,当前单元的参考单元可以是基于当前单元的前一单元与该前一单元的参考单元按比例合成而生成的音视频单元。当然,在本申请实施例中,也可以根据音视频单元的其他信息来计算每个音视频单元与参考单元的差异度。
例如图1所示,其为本发明实施例的集群内快速分析处理音视频的方法的应用场景示意图(图中参考单元的构成为示意性表示),以第2单元为例,其参考单元可以是基于第1单元与第1单元的参考单元按比例生成的,例如,在上述情景中,第1单元可以为房间门被推开一个小缝隙,第1单元的参考单元可以为房间门关闭并且房间内没有人时的图片。因此,可以基于例如10%的第1单元与90%的第1单元的参考单元生成第2单元的参考单元。再以第3单元为例,其参考单元可以基于10%的第2单元与90%的第2单元的参考单元生成。由此,在本发明实施例中,在第1单元之后,每个音视频单元的参考单元都可以是基于该音视频单元的前一单元及前一单元的参考单元按比例生成的,例如,第n单元的参考单元为基于10%的第n-1单元与90%的第n-1单元的参考单元生成。另外,在本发明的另外的实施例中,当前单元的参考单元也可以是基于当前单元的之前的单元与该之前的单元的参考单元按比例合成而生成的音视频单元。
进一步地,提取多个音视频单元及其参考单元的图像特征,例如,第1单元为小偷还没有进入房间,仅将门推开一个小缝隙的图像,第1单元的参考单元是房间门关闭并且房间内没有人时的图片,那么所提取的该第1单元与其参考单元的图像特征可以是图像的颜色特征、形状特征、空间关系特征等,例如,房间内沙发的颜色特征、桌子形状特征、以及各个物体的位置关系特征等,因此,第1单元与其参考单元的图像特征之间的差异可以通过计算房间门关闭时与被推开一个小缝隙后,房间门与房间内墙及房间内其他物体的相对位置关系特征之间的差异,或者门推开后出现的小缝隙的背景颜色与门的颜色之间的特征差异来进行计算。例如门的颜色为棕色,而出现的小缝隙的背景是墙的颜色,也就是白色。从而可以根据上述的图像特征来计算该第1单元与其参考单元的差异度。
s204:对差异度大于预置阈值的音视频单元进行标记。
如果所计算出的音视频单元与参考单元的图像特征之间的差异度大于预设的阈值,那么,可以将该音视频单元视为图像特征变化较大的音视频单元(在本发明实施例中,可以将其称为有效音视频单元),并对其进行标记。例如,在本申请实施例中,预设的阈值可以设置为20%。例如,在上述小偷进入房间的场景中,可以通过计算第1单元中棕色的面积并且将其与参考单元中棕色的面积来进行对比,当第一单元中棕色的面积相对于参考单元中棕色的面积减少了超过20%时,即可以确定该第1单元是值得用户观看的音视频单元,即有效视频单元,因此可以对该第1单元进行标记。对音视频单元的标记可以包括为了实现将有效音视频单元筛选出来的多种操作,例如,可以为有效音视频单元添加特殊标识,还可以将有效音视频单元进行单独存储等。
另外,在本发明实施例中,如果计算出的音视频单元与参考单元的图像特征之间的差异度小于或等于预设的阈值,可以将该音视频单元视为无效音视频单元,并且可以删除该音视频单元。例如,在上述小偷进入房间的场景中,当第一单元中棕色的面积相对于参考单元中棕色的面积减少了不超过20%时,该情况可能是由于偶发事件(例如,宠物跑过或遮挡等等),即可以确定该第1单元是无需用户特别注意的音视频单元,即无效音视频单元。在本申请实施例中,可以对无效视频单元进行删除。
s205:对被标记的音视频单元进行第二处理。
具体地,这里的第二处理可以包括对被标记的音视频单元进行进一步的分析处理。例如,在上述的监控房间的情景中,对音视频单元进行第一处理之后筛选出了小偷出现在房间里的音视频单元后,可以对所筛选出的音视频单元进行进一步的人脸识别等处理。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例二
如图3所示,其为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之二,该方法可以包括如下步骤:
在实施例一的基础上,在步骤s202之后,可以增加步骤s303。
s301:获取音视频片段。
s302:将所获取的音视频片段划分为多个音视频单元。
s303:将多个音视频单元发送至第一存储区,
根据第一处理的处理状态,获取第一存储区中存储的至少一部分多个音视频单元。
具体地,在上述方案的基础上,为了避免由于待进行第一处理的音视频单元的数量较大,或者第一处理的效率较低从而造成待处理的音视频单元堆积,可以在将音视频片段划分为多个音视频单元之后,将音视频单元先发送到临时存储区(也就是第一存储区)暂存,然后根据第一处理的处理状态,从临时存储区获取相应数量的音视频单元进行第一处理。
需要说明的是,这里的第一处理的处理状态可以由第一处理的处理资源的使用情况、进行第一处理的处理效率以及进行第一处理的音视频单元的排队情况等因素单独进行评估,也可以综合其中的多个因素进行评估。从而,所获取的音视频单元的数量将根据第一处理的处理状态确定,例如,当用于第一处理的处理资源剩余50%时,可以获取50%的处理资源所能处理的音视频单元,还可以再综合第一处理的处理效率,在50%处理资源所能处理的音视频单元数量基础上增加处理完原有任务释放出的处理资源所能处理的音视频单元数量。
另外,这里的临时存储区可以为多节点构成的集群内的不同的物理节点,例如,在集群内,存在编号为1至10的10个节点,即节点1至节点10,其中,节点1为预处理节点(在本发明实施例中,预处理节点也可以是集群外的节点),这里的预处理节点用来接收音视频片段,并将音视频片段划分为多个音视频单元。另外,节点2为处理任务的节点,节点3至节点10中的一个或多个节点可以作为节点2的临时存储区。例如,音视频片段经过节点1的预处理后被划分为80个音视频单元,那么,可以将这80个音视频单元先发送到临时存储区,例如,节点3至节点10,在各个节点没有接收音视频单元时,也就是第一次分配音视频单元时,可以将音视频单元平均分配到节点3至节点10,也就是每个节点分配10个音视频单元。在后续的处理过程中,还可以根据各个节点广播自身的状态,对音视频单元进行分配。例如,节点4的状态为可以存储8个音视频单元,那么可以向节点4发送8个音视频单元。
节点3至节点10接收到音视频单元后,可以先对音视频单元进行暂存,然后,再根据节点2的处理状态将音视频单元发送给节点2,例如,当节点2完成10个音视频单元的第一处理后,可以从上述的节点3至节点10中的一个节点或者多个节点获取10个音视频单元,例如,节点2可以通过接收并读取节点3至节点10的任务列表,在任务列表中选出所要获取任务的节点以及所要处理的音视频单元数量,例如,可以选择节点3存储的10个音视频单元,也可以选择节点3存储的8个音视频单元以及节点4存储的2个音视频单元,然后,再向所选择的节点发送任务请求,任务请求中可以包括节点2的网络标识(例如,编号2或者其他按照预定规则编制的代表节点2的标识)以及请求发送的音视频单元的数量,从而所选择的节点接收到任务请求后,向节点2发送对应数量的音视频单元。
另外,针对单一节点,临时存储区也可以为同一节点的缓存区,例如,对于某个时间段内,某个节点需要处理的音视频单元较多,可以先由接收节点将音视频单元发送到该节点的缓存区,然后,在其他待处理音视频单元较少的时间段里,可以处理缓存区内的音视频单元,例如,监控小区大门人员进出情况的场景中,白天进出小区的人员较多,因此所拍摄的小区大门的多个音视频单元图像中包含不同的人员,也就是说,所拍摄到的多个音视频单元图像之间变化较大,因此,拍摄到的音视频单元中有效音视频单元较多。而在夜晚,人员出入较少,所拍摄到的音视频单元图像多为无人经过的小区大门的图像,图像间差异度较小,因此,夜晚拍摄的音视频单元多为无效音视频单元。在这种情况下,白天需要处理的有效音视频单元任务较多,而夜晚需要处理的有效音视频单元较少,那么,可以将白天的未处理的有效音视频单元发送到处理节点的缓存区,在夜晚需要处理的有效音视频单元较少时,再对发送到缓存区内的有效音视频单元进行处理,
s304:对多个音视频单元进行第一处理。
第一处理可以包括计算多个音视频单元中的每个音视频单元与参考单元的差异度,在本发明实施例中,参考单元可以为基于当前进行第一处理的音视频单元之前的音视频单元生成的音视频单元。
s305:对差异度大于预置阈值的音视频单元进行标记。
如果差异度大于预设阈值,则对音视频单元进行标记。
另外,在本发明实施例中,如果计算出的音视频单元与参考单元的图像特征之间的差异度小于或等于预设的阈值,可以将该音视频单元视为无效音视频单元,并且可以删除该音视频单元。
s306:对被标记的音视频单元进行第二处理。
具体地,步骤s301、s302、s304至s306与实施例一中的步骤s201至s205相同,此处不再赘述。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例三
如图4所示,其为本发明实施例的集群内快速分析处理音视频的方法的流程示意图之三,该方法可以包括如下步骤:
在实施例一的基础上,在步骤s204之后,可以增加步骤s405。
s401:获取音视频片段。
s402:将所获取的音视频片段划分为多个音视频单元。
s403:对多个音视频单元进行第一处理。
第一处理可以包括计算多个音视频单元中的每个音视频单元与参考单元的差异度,在本发明实施例中,参考单元可以为基于当前进行第一处理的音视频单元之前的音视频单元生成的音视频单元。
s404:对差异度大于预置阈值的音视频单元进行标记。
如果差异度大于预设阈值,则对音视频单元进行标记。
另外,在本发明实施例中,如果计算出的音视频单元与参考单元的图像特征之间的差异度小于或等于预设的阈值,可以将该音视频单元视为无效音视频单元,并且可以删除该音视频单元。
s405:将被标记的音视频单元发送至第二存储区,
根据第二处理的处理状态,获取第二存储区中存储的至少一部分被标记的音视频单元。
具体地,这里的第二存储区的概念与实施例二中的第一存储区相同,以及将被标记的音视频单元发送至第二存储区与实施例二中的将多个音视频单元发送至第一存储区的操作也相同,这里不再赘述。
s406:对被标记的音视频单元进行第二处理。
具体地,步骤s401至404及s406与步骤实施例一中的步骤s201至s205相同,此处不再赘述。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例四
如图5所示,其为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之一,该装置包括:
音视频片段获取模块501,用于获取音视频片段。
音视频单元划分模块502,用于将所获取的音视频片段划分为多个音视频单元。
第一处理模块503,用于对多个音视频单元进行第一处理,
第一处理包括计算多个音视频单元中的每个音视频单元与参考单元的差异度,其中,参考单元为基于当前进行第一处理的音视频单元之前的音视频单元生成的音视频单元。
具体地,可以获取多个音视频单元中的每个音视频单元与参考单元的图像特征,根据多个音视频单元中的每个音视频单元与参考单元的图像特征计算差异度。其中,音视频单元的图像特征可以包括颜色特征、形状特征、空间关系特征、纹理特征等。
另外,在本发明实施例中,上述的参考单元作为音视频单元筛选(第一处理)过程中的比较基准,当当前单元(为方便描述,可以将当前进行第一处理的音视频单元称为当前单元。)为音视频片段的第一单元,即第一个音视频单元时,参考单元可以为预置音视频单元或者基于预置音视频单元生成的音视频单元。当当前单元为第一单元之后的音视频单元时,其参考单元可以为基于该当前单元之前的音视频单元与该当前单元之前的音视频单元的参考单元按比例合成而生成的音视频单元。
标记模块504,用于对差异度大于预置阈值的音视频单元进行标记。
如果所计算出的音视频单元与参考单元的图像特征之间的差异度大于预设的阈值,那么,可以将该音视频单元视为图像特征变化较大的音视频单元(在本发明实施例中,可以将其称为有效音视频单元),并对其进行标记。对音视频单元的标记可以包括为了实现将有效音视频单元筛选出来的多种操作,例如,可以为有效音视频单元添加特殊标识,还可以将有效音视频单元进行单独存储等。
另外,在本发明实施例中,如果计算出的音视频单元与参考单元的图像特征之间的差异度小于或等于预设的阈值,本发明实施例还可以包括删除模块,删除模块用于删除差异度小于或等于预置阈值的音视频单元。
第二处理模块505,用于对被标记的音视频单元进行第二处理。
具体的,本发明实施例的集群内快速分析处理音视频的装置中各模块实现其功能的具体过程可参见上述实施例一所示方法实施例中的相关描述,此处不再赘述。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例五
如图6所示,其为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之二,本发明实施例的集群内快速分析处理音视频的装置,在实施例四的基础上,还可以包括第一缓存模块506。
第一缓存模块506,用于将多个音视频单元发送至第一存储区,根据第一处理的处理状态,获取第一存储区中存储的至少一部分多个音视频单元。
具体地,该模块所执行的处理可以在上述实施例中音视频单元划分模块所执行的处理之后进行。
需要说明的是,这里的第一处理的处理状态可以由第一处理模块所执行第一处理的处理资源的使用情况、进行第一处理的处理效率以及进行第一处理的音视频单元的排队情况等因素单独进行评估,也可以综合其中的多个因素进行评估。从而,所获取的音视频单元的数量将根据第一处理模块所执行的第一处理的处理状态确定,例如,当用于第一处理的处理资源剩余50%时,可以获取50%的处理资源所能处理的音视频单元,还可以再综合第一处理的处理效率,在50%处理资源所能处理的音视频单元数量基础上增加处理完原有任务释放出的处理资源所能处理的音视频单元数量。
具体的,本发明实施例的集群内快速分析处理音视频的装置中各模块实现其功能的具体过程可参见上述实施例二所示方法实施例中的相关描述,此处不再赘述。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例六
如图7所示,其为本发明实施例的集群内快速分析处理音视频的装置的结构示意图之三,本发明实施例的集群内快速分析处理音视频的装置,在实施例四的基础上,还可以包括第二缓存模块507。
第二缓存模块507,用于将被标记的音视频单元发送至第二存储区,根据第二处理的处理状态,获取第二存储区中存储的至少一部分被标记的音视频单元。
具体地,该模块所执行的处理可以在上述实施例中第一处理模块所执行的处理之后进行。
需要说明的是,这里的第二处理的处理状态可以由第二处理模块所执行第二处理的处理资源的使用情况、进行第二处理的处理效率以及进行第二处理的音视频单元的排队情况等因素单独进行评估,也可以综合其中的多个因素进行评估。从而,所获取的被标记的音视频单元的数量将根据第二处理模块所执行的第二处理的处理状态确定。
具体的,本发明实施例的集群内快速分析处理音视频的装置中各模块实现其功能的具体过程可参见上述实施例三所示方法实施例中的相关描述,此处不再赘述。
本发明实施例通过对音视频单元进行预处理,也就是通过将音视频单元与参考单元进行比较筛选出差异度较大的有效音视频单元,再对有效音视频单元进行进一步的处理,从而避免处理无效音视频单元导致的资源浪费,并提高音视频单元的处理效率。
实施例七
前面实施例描述了本发明实施例的流程处理及装置结构,上述的方法和装置的功能可借助一种电子设备实现完成,如图8所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器810和处理器820。
存储器810,用于存储程序。
除上述程序之外,存储器810还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器810可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
处理器820,耦合至存储器810,用于执行存储器810中的程序,以执行前述实施例中所描述的集群内快速分析处理音视频的方法的操作步骤。
此外,处理器820也可以包括前述实施例所描述的各种模块以执行集群内快速分析处理音视频,并且存储器810可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。
进一步,如图所示,电子设备还可以包括:通信组件830、电源组件840、音频组件850、显示器860等其它组件。图中仅示意性给出部分组件,并不意味着电子设备只包括图中所示组件。
通信组件830被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如wifi,3g、4g或5g,或它们的组合。在一个示例性实施例中,通信组件830经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件830还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
电源组件840,为电子设备的各种组件提供电力。电源组件840可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件850被配置为输出和/或输入音频信号。例如,音频组件850包括一个麦克风(mic),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器810或经由通信组件830发送。在一些实施例中,音频组件850还包括一个扬声器,用于输出音频信号。
显示器860包括屏幕,其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
1.一种集群内快速分析处理音视频的方法,包括:
获取音视频片段;
将所获取的音视频片段划分为多个音视频单元;
对所述多个音视频单元进行第一处理,所述第一处理包括计算所述多个音视频单元中的每个音视频单元与参考单元的差异度,其中,所述参考单元为基于当前进行所述第一处理的音视频单元之前的音视频单元生成的音视频单元;
对差异度大于预置阈值的所述音视频单元进行标记;
对被标记的所述音视频单元进行第二处理。
2.根据权利要求1所述的方法,其中,在将所获取的音视频片段划分为多个音视频单元之后还包括:
将所述多个音视频单元发送至第一存储区,
根据所述第一处理的处理状态,获取所述第一存储区中存储的至少一部分所述多个音视频单元。
3.根据权利要求1所述的方法,其中,所述计算所述多个音视频单元中的每个音视频单元与参考单元的差异度包括:
获取所述多个音视频单元中的每个音视频单元与所述参考单元的图像特征;以及
根据所述多个音视频单元中的每个音视频单元与所述参考单元的图像特征计算差异度。
4.根据权利要求1所述的方法,其中,所述对差异度大于预置阈值的音视频单元进行标记之后,所述方法还包括:
将被标记的所述音视频单元发送至第二存储区,
根据所述第二处理的处理状态,获取所述第二存储区中存储的至少一部分被标记的所述音视频单元。
5.根据权利要求1所述的方法,其中,还包括:
删除所述差异度小于或等于预置阈值的音视频单元。
6.根据权利要求1所述的方法,其中,
当所述当前进行第一处理的音视频单元为所述音视频片段中的第一个音视频单元时,所述参考单元为基于预置音视频单元生成的音视频单元。
7.一种集群内快速分析处理音视频的装置,包括:
音视频片段获取模块,用于获取音视频片段;
音视频单元划分模块,用于将所获取的音视频片段划分为多个音视频单元;
第一处理模块,用于对所述多个音视频单元进行第一处理,
所述第一处理包括计算所述多个音视频单元中的每个音视频单元与参考单元的差异度,其中,所述参考单元为基于当前进行所述第一处理的音视频单元之前的音视频单元生成的音视频单元;
标记模块,用于对差异度大于预置阈值的所述音视频单元进行标记;
第二处理模块,用于对被标记的所述音视频单元进行第二处理。
8.根据权利要求7所述的装置,其中,还包括:
第一缓存模块,用于将所述多个音视频单元发送至第一存储区,
根据所述第一处理的处理状态,获取所述第一存储区中存储的至少一部分所述多个音视频单元。
9.根据权利要求7所述的装置,其中,所述计算所述多个音视频单元中的每个音视频单元与参考单元的差异度包括:
获取所述多个音视频单元中的每个音视频单元与所述参考单元的图像特征;以及
根据所述多个音视频单元中的每个音视频单元与所述参考单元的图像特征计算差异度。
10.根据权利要求7所述的装置,其中,还包括:
第二缓存模块,用于将被标记的所述音视频单元发送至第二存储区,
根据所述第二处理的处理状态,获取所述第二存储区中存储的至少一部分被标记的所述音视频单元。
11.根据权利要求7所述的装置,其中,还包括:
删除模块,用于删除所述差异度小于或等于预置阈值的音视频单元。
12.根据权利要求7所述的装置,其中,
当所述当前进行第一处理的音视频单元为所述音视频片段中的第一个音视频单元时,所述参考单元为基于预置音视频单元生成的音视频单元。
13.一种电子设备,包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,以执行权利要求1至6中任一所述的集群内快速分析处理音视频的方法。
技术总结