本发明涉及图像数据处理技术领域,具体涉及一种语句含义的动态呈现方法和装置、电子设备以及存储介质。
背景技术:
现有技术中为了帮助用户理解、记忆某些语句,通常采用静态图片或短视频的方式。然而,静态图片往往仅可以展示实物名词,对动词或短语的表现效果不好;短视频虽然表现效果丰富生动,但往往掺入较多的干扰信息,例如周围环境信息,分散了用户的注意力,同时消耗大量的流量成本。
技术实现要素:
有鉴于此,本发明实施例致力于提供一种语句含义的动态呈现方法和装置、电子设备以及存储介质,以解决现有技术中在进行语句含义展示时,采用静态图片或短视频两种展示方式的展示效果不好的问题。
本发明第一方面提供了一种语句含义的动态呈现方法,包括:获取根据目标语句的含义生成的动作视频;从动作视频中抽取一组关键帧图像;根据一组关键帧图像生成帧动画。
在一个实施例中,在从动作视频中抽取一组关键帧图像之前,还包括:对动作视频进行预处理。
在一个实施例中,对动作视频进行预处理包括:对动作视频的格式、大小和时长中的至少一项进行统一调整。
在一个实施例中,对动作视频进行预处理包括:将动作视频调整为mp4格式;和/或将动作视频的大小调整为356×200dpi;和/或将动作视频的时长调整为6秒以内。
在一个实施例中,从动作视频中抽取一组关键帧图像包括:利用视频编辑软件从动作视频中抽取一组关键帧图像。
在一个实施例中,在从动作视频中抽取一组关键帧图像之后,还包括:检查一组关键帧图像的播放效果是否符合预定播放要求。
在一个实施例中,在获取根据目标语句的含义生成的动作视频之前,还包括:对目标语句的含义进行拆分得到至少一个场景描述语句;根据至少一个场景描述语句生成动作脚本数据;根据动作脚本数据生成动作视频。
在一个实施例中,目标语句包括动词和动词性短语中的至少一项。
本发明第二方面提供了一种语句含义的动态呈现装置,包括:获取模块,获取根据目标语句的含义生成的动作视频;抽取模块,从动作视频中抽取一组关键帧图像;生成模块,根据一组关键帧图像生成帧动画。
在一个实施例中,还包括预处理模块,用于对动作视频进行预处理。
在一个实施例中,预处理模块具体用于对所述动作视频的格式、大小和时长中的至少一项进行统一调整。
在一个实施例中,预处理模块具体用于将动作视频调整为mp4格式;和/或,将动作视频的大小调整为356×200dpi;和/或,将动作视频的时长调整为6秒以内。
在一个实施例中,抽取模块具体用于利用pr软件从所述动作视频中抽取一组关键帧图像。
在一个实施例中,还包括检查模块,用于检查一组关键帧图像的播放效果是否符合预定播放要求;其中,根据一组关键帧图像生成帧动画包括:在一组关键帧图像的播放效果符合预定播放要求的情况下,根据一组关键帧图像生成帧动画。
在一个实施例中,还包括拆分模块、第一生成子模块和第二生成子模块。拆分模块用于对目标语句的含义进行拆分得到至少一个场景描述语句;第一生成子模块用于根据至少一个场景描述语句生成动作脚本数据;第二生成子模块用于根据动作脚本数据生成动作视频。
本发明第三方面提供了一种电子设备,包括存储器、处理器以及存储在存储器上被处理器执行的计算机程序,处理器执行计算机程序时实现上述任一实施例提供的语句含义的动态呈现方法的步骤。
本发明第四方面提供了一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例提供的语句含义的动态呈现方法的步骤。
根据本发明提供的语句含义的动态呈现方法和装置、电子设备以及存储介质,选取动作视频中的一组关键帧图像来制成帧动画,通过帧动画的形式将语句含义动态呈现出来。这样的好处是,一方面,去除了短视频中大量的冗余信息,有利于用户注意力的聚焦,同时降低了流量成本;另一方面,采用动态呈现方式,相比于静态图片呈现方式而言,表现效果更加丰富生动,加强记忆。
附图说明
图1示出了可以应用本发明实施例提供的语句含义的动态呈现方法和装置的示例性系统架构。
图2所示为本发明第一实施例提供的语句含义的动态呈现方法流程图。
图3为本发明第二实施例提供的语句含义的动态呈现方法流程图。
图4为本发明第三实施例提供的语句含义的动态呈现方法流程图。
图5为本发明第四实施例提供的语句含义的动态呈现方法流程图。
图6为本发明第一实施例提供的语句含义的动态呈现装置的结构框图。
图7为本发明第二实施例提供的语句含义的动态呈现装置的结构框图。
图8为本发明一实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了可以应用本发明实施例提供的语句含义的动态呈现方法和装置的示例性系统架构。该系统架构可用于学校或网络教学系统,如图1所示,系统架构100包括终端设备101、网络102和服务器103。
网络102用于在终端设备101和服务器102之间提供通信链路的介质。网络102包括各种连接类型,例如有线通信链路、无线通信链路或者光纤电缆等。终端设备101可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等。服务器103可以是提供各种服务的服务器。这样,用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息。
在一个实施例中,本发明实施例提供的语句含义的动态呈现方法由服务器103执行,相应地,语句含义的动态呈现装置设置于服务器中。当服务器运行程序以执行本发明实施例提供的语句含义的动态呈现方法时,生成用于释义语句含义的帧动画。后续服务器103响应终端设备101的请求,将帧动画发送给终端设备101,终端设备101播放帧动画。在其他实施例中,某些终端设备101具有与服务器相似的功能,从而执行该语句含义的动态呈现方法的步骤,并设置有相应的语句含义的动态呈现装置。
应当理解,图1所示的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实际需要,可以设置任意数目的终端设备101、网络102和服务器103。比如,服务器103可以是多个服务器组成的服务器集群。
图2所示为本发明第一实施例提供的语句含义的动态呈现方法流程图。如图2所示,该语句含义的动态呈现方法200包括:
步骤s210,获取根据目标语句的含义生成的动作视频。
目标语句可以是词、短语或句子。由于动态呈现方法包含时间要素,因此该方法更适用于包含时间要素的目标语句,例如动词或动词性短语。
动作视频包括主体对象和由主体对象展现的动作。主体对象可以是实体对象,例如真人,也可以是虚拟对象,例如动画人物。主体对象的动作应当反映目标语句的含义,以确保动作视频起到解释目标语句含义的作用。
步骤s220,从动作视频中抽取一组关键帧图像。
一组关键帧图像是指能够完整反映目标语句含义的一个序列帧图像。采用不同的抽取策略时,从同一段动作视频中抽取的一组关键帧图像不同。然而,考虑到动作视频可能包括两个相同内容的帧图像,因此,即便采用不同的抽取策略时,从同一段动作视频中抽取的一组关键帧图像也可能相同。
在一个实施例中,步骤s220具体执行为:每隔预定时间从动作视频中抽取一个关键帧图像,遍历整个动作视频,以得到一组关键帧图像。这里的预定时间可以人为设置。
在一个实施例中,利用视频编辑软件,例如pr(adobepremiere)软件,从动作视频中抽取一组关键帧图像。
步骤s230,根据一组关键帧图像生成帧动画。
这里可以采用gif、javascript、css3animation中的任一项技术实现帧动画的制作,具体制作过程为现有技术,这里不予赘述。
根据本实施例提供的语句含义的动态呈现方法,选取动作视频中的一组关键帧图像来制成帧动画,通过帧动画的形式将语句含义动态呈现出来。这样的好处是,一方面,去除了单纯的短视频中大量的冗余信息,有利于用户注意力的聚焦,同时降低了流量成本;另一方面,采用动态呈现方式,相比于静态图片呈现方式而言,表现效果更加丰富生动,加强记忆。
图3为本发明第二实施例提供的语句含义的动态呈现方法流程图。如图3所示,该动态呈现方法300和图2所示动态呈现方法200的区别仅在于,动态呈现方法300在步骤s220之前还包括:步骤s310,对动作视频进行预处理。
这里提到的预处理操作包括对动作视频的格式、大小和时长中的至少一项进行统一调整,以使后续从动作视频中抽取的一组关键帧满足帧动画的制作要求。例如,在一个实施例中,步骤s310具体执行为:将动作视频调整为mp4格式;和/或,将动作视频的大小调整为356×200dpi;和/或,将动作视频的时长调整为6秒以内。
根据本实施例提供的语句含义的动态呈现方法,在对动作视频进行抽帧操作之前,对动作视频进行预处理,以便于后续帧动画的制作。
图4为本发明第三实施例提供的语句含义的动态呈现方法流程图。如图4所示,该动态呈现方法400和图2所示动态呈现方法200的区别仅在于,动态呈现方法400在步骤s220之后还包括:步骤s410,检查一组关键帧图像的播放效果是否符合预定播放要求。这种情况下,步骤s230具体执行为步骤s420:在一组关键帧图像的播放效果符合预定播放要求的情况下,根据一组关键帧图像生成帧动画。
这里提到的预定播放要求包括播放效果是否足够清晰流畅,以满足观看需求。在一个实施例中,利用acdsee软件对一组关键帧图像进行幻灯片演示,若幻灯片演示效果能够满足观看需求,则确定抽取的一组关键帧图像可以用户后续帧动画的制作。
根据本实施例提供的语句含义的动态呈现方法,在将一组关键帧图像制成帧动画之前对该一组关键帧图像进行预播放,通过预播放效果判断提取的该一组关键帧是否满足需求,为下一步的帧动画制作过程提供保障。
在一个实施例中,在步骤s410之前还包括:检查一组关键帧图像的数量是否小于等于预定数量。一组关键帧图像预定数量可以人为设置,例如30帧。
图5为本发明第四实施例提供的语句含义的动态呈现方法流程图。如图5所示,该动态呈现方法500和图2所示动态呈现方法200的区别仅在于,动态呈现方法500在步骤s210之前还包括:
步骤s510,对目标语句的含义进行拆分得到至少一个场景描述语句。
每一个目标语句的含义都可以通过相应的场景表现出来,为了对该场景进行关键点提炼,即在确保该场景可以完整展现目标语句含义的基础上,尽可能地对场景进行简化,可以将该场景用至少一个场景描述语句来描述。
例如,目标语句为:dressedup,其对应的至少一个场景描述语句包括:场景一,镜子前,小朋友穿着漂亮的裙子;妈妈给小朋友整理衣服,帮小朋友检查是否穿戴整齐。场景二,整理好后,小朋友很开心在镜子前面,转几圈。
又例如,目标语句为:getup,其对应的至少一个场景描述语句包括:场景一,人物在床上躺着到起身离开的动作过程。
在一个实施例中,步骤s510具体执行为:首先,基于关键词识别技术对目标语句进行分词,从而识别出目标语句所包含的至少一个关键词;然后,将识别到的至少一个关键词输入深度神经网络,以获得至少一个关键词对应的至少一个场景描述语句。
步骤s520,根据至少一个场景描述语句生成动作脚本数据。
动作脚本数据包括生成动作视频所需要的参数信息,例如包括用于呈现至少一个场景描述语句所需要的道具、人数、人员、场所、旁白内容等。
步骤s530,根据动作脚本数据生成动作视频。
在一个实施例中,基于预先设置好的虚拟形象,结合动作脚本,生成动作视频。
在一个实施例中,根据动作脚本数据拍摄真人视频,以作为动作视频。
根据本实施例提供的语句含义的动态呈现方法,依据动作脚本生成动作视频。由于动作脚本是根据由目标语句的含义拆分得到的至少一个场景描述语句得到的,该至少一个场景描述语句是对目标语句含义的关键点提炼,从而减少了动作视频中的冗余信息。
本发明还提供了一种语句含义的动态呈现装置。图6为本发明第一实施例提供的语句含义的动态呈现装置的结构框图。如图6所示,语句含义的动态呈现装置60包括获取模块61、抽取模块62和生成模块63。获取模块61用于获取根据目标语句的含义生成的动作视频。抽取模块62用于从动作视频中抽取一组关键帧图像。生成模块63用于根据一组关键帧图像生成帧动画。
在一个实施例中,抽取模块62具体用于每隔预定时间从动作视频中抽取一个关键帧图像,遍历整个动作视频,以得到一组关键帧图像。
在一个实施例中,抽取模块62具体用于利用pr软件从动作视频中抽取一组关键帧图像。
根据本实施例提供的语句含义的动态呈现装置,选取动作视频中的一组关键帧图像来制成帧动画,通过帧动画的形式将语句含义动态呈现出来。这样的好处是,一方面,去除了短视频中大量的冗余信息,有利于用户注意力聚焦,同时降低了流量成本;另一方面,采用动态呈现方式,相比于静态图片呈现方式而言,表现效果更加丰富生动,加强记忆。
图7为本发明第二实施例提供的语句含义的动态呈现装置的结构框图。如图7所示,语句含义的动态呈现装置70在图6所示语句含义的动态呈现装置60的基础上,进一步包括预处理模块71和检查模块72。预处理模块71用于对动作视频进行预处理。检查模块72用于检查一组关键帧图像的播放效果是否符合预定播放要求。
预处理模块71执行的预处理操作包括对动作视频的格式、大小和时长中的至少一项进行统一调整。例如,将动作视频调整为mp4格式;和/或,将动作视频的大小调整为356×200dpi;和/或,将动作视频的时长调整为6秒以内。
预定播放要求包括播放效果是否足够清晰流畅,以满足观看需求。在一个实施例中,利用acdsee软件对一组关键帧图像进行幻灯片演示。
在一个实施例中,语句含义的动态呈现装置70还包括拆分模块、第一生成子模块和第二生成子模块。拆分模块用于对目标语句的含义进行拆分得到至少一个场景描述语句。第一生成子模块用于根据至少一个场景描述语句生成动作脚本数据。第二生成子模块用于根据动作脚本数据生成动作视频。
本实施例提供的语句含义的动态呈现装置,与本发明实施例所提供的语句含义的动态呈现方法属于同一发明构思,可执行本发明任意实施例所提供的语句含义的动态呈现方法,具备执行语句含义的动态呈现方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例提供的语句含义的动态呈现方法,此处不再加以赘述。
应当理解,尽管在上文的详细描述中提及了装置的若干模块或单元,但是这种划分仅仅是示例性而非强制性的。实际上,根据本发明的示例性实施方式,上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现,反之,上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外,上文描述的某些模块/单元在某些应用场景下可被省略。
本发明还提供了一种电子设备。图8为本发明一实施例提供的电子设备的结构框图。该电子设备80可以是图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备,该单机设备可以与终端设备101和服务器103进行通信,以从它们接收所采集到的输入信号。
如图8所示,电子设备80包括一个或多个处理器81和存储器82。
处理器81可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备80中的其他组件以执行期望的功能。
存储器82可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器81可以运行所述程序指令,以实现上文所述的本申请的各个实施例的语句含义的动态呈现方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备80还可以包括:输入装置83和输出装置84,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,在该电子设备80是终端设备101或服务器103时,该输入装置83可以是摄像头,用于捕捉视频画面的输入信号。在该电子设备是单机设备时,该输入装置83可以是通信网络连接器,用于从终端设备101和服务器103接收所采集的输入信号。
此外,该输入设备83还可以包括例如键盘、鼠标等等。
该输出装置84可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备84可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图8中仅示出了该电子设备80中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备80还可以包括任何其他适当的组件。
本发明还提供了一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本发明上述任一实施例提供的语句含义的动态呈现方法的步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。
1.一种语句含义的动态呈现方法,其特征在于,包括:
获取根据目标语句的含义生成的动作视频;
从所述动作视频中抽取一组关键帧图像;
根据所述一组关键帧图像生成帧动画。
2.根据权利要求1所述的语句含义的动态呈现方法,其特征在于,在从所述动作视频中抽取一组关键帧图像之前,还包括:
对所述动作视频进行预处理。
3.根据权利要求2所述的语句含义的动态呈现方法,其特征在于,所述对所述动作视频进行预处理包括:
对所述动作视频的格式、大小和时长中的至少一项进行统一调整。
4.根据权利要求2所述的语句含义的动态呈现方法,其特征在于,所述对所述动作视频进行预处理包括:
将所述动作视频调整为mp4格式;和/或
将所述动作视频的大小调整为356×200dpi;和/或
将所述动作视频的时长调整为6秒以内。
5.根据权利要求1所述的语句含义的动态呈现方法,其特征在于,所述从所述动作视频中抽取一组关键帧图像包括:
利用视频编辑软件从所述动作视频中抽取一组关键帧图像。
6.根据权利要求1至5中的任一项所述的语句含义的动态呈现方法,其特征在于,在从所述动作视频中抽取一组关键帧图像之后,还包括:
检查所述一组关键帧图像的播放效果是否符合预定播放要求,
其中所述根据所述一组关键帧图像生成帧动画,包括:
在所述一组关键帧图像的播放效果符合预定播放要求的情况下,根据所述一组关键帧图像生成帧动画。
7.根据权利要求1至5中的任一项所述的语句含义的动态呈现方法,其特征在于,在所述获取根据目标语句的含义生成的动作视频之前,还包括:
对所述目标语句的含义进行拆分得到至少一个场景描述语句;
根据所述至少一个场景描述语句生成动作脚本数据;
根据所述动作脚本数据生成所述动作视频。
8.根据权利要求1至5中的任一项所述的语句含义的动态呈现方法,其特征在于,所述目标语句包括动词和动词性短语中的至少一项。
9.一种语句含义的动态呈现装置,其特征在于,包括:
获取模块,获取根据目标语句的含义生成的动作视频;
抽取模块,从所述动作视频中抽取一组关键帧图像;
生成模块,根据所述一组关键帧图像生成帧动画。
10.一种电子设备,包括存储器、处理器以及存储在所述存储器上被所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述语句含义的动态呈现方法的步骤。
11.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述语句含义的动态呈现方法的步骤。
技术总结