本发明属于无线多媒体通信
技术领域：
，具体涉及一种适应无线传输动态变化的视频编码处理方法和装置。
背景技术：
：随着移动终端及网络的普及，越来越多的人开始通过手机、平板电脑及个人电脑等终端，通过有线或无线的方式观看视频。但人们在享受现代科技带来便利的同时也受到一些问题的困扰。如在网络状况不佳的情况下，影响用户的观看体验，因此如何解决海量视频传输的问题，已成为学术界与工业界迫切解决的问题。为了解决这一实际问题，相关科研人员与机构开始从不同维度探索与挖掘资源，用来提高现有通信网络传输的有效性和可靠性，提出了可分级视频编码技术，该技术是为了使发送端视频的码率可以更好的适应网络段宽，将视频编码成一个可适应网络最低段宽的基础层和可以提高视频质量的若干增强层。该技术可以解决网络段宽波动的问题，具有一定的鲁棒性。由于对网络的适应性依靠增强层的层数，越多的增强层可以适应越宽的段宽，但也会导致系统的复杂性大大提高，即使编码较多的增强层，也只能适应几个固定的段宽，不够灵活，且增加了网络传输的压力。有鉴于此，本发明人提出了一种用于无线传输动态变化的视频编码方法和装置，本方法经过反复实验，能够解决上述问题。技术实现要素：为了解决现有技术中存在的上述问题，本发明提供一种适应无线传输动态变化的视频编码处理方法和装置，本发明通过对视频进行可分级视频编码，生成视频数据流；寻找视频数据流中所有的基础层与增强层所对应的数据段；依次丢弃一些优先级低的增强层，形成可以适应网络段宽的新视频数据流；再对形成的新视频数据流进行传输；这样可以动态地适应段宽波动较大的网络，提高了传输的鲁棒性，缓解了网络传输的压力。本发明要解决的技术问题通过以下技术方案实现：本发明提供一种适应无线传输动态变化的视频编码处理方法，包括以下步骤：步骤1：对视频进行可分级视频编码，生成视频数据流编码器选择相应编码结构对输入视频进行编码，生成多个分层视频数据流，每个所述视频数据流包括一个基础层和零个及多个增强层；步骤2：寻找步骤1中生成的视频数据流中不同优先级所对应的数据段；步骤3：根据无线传输链路的状态以及数据段优先级关系，选择数据段优先级别低的丢弃，形成适应网络状态的新视频数据流；步骤4：对步骤3所形成的新视频数据流进行无线传输。进一步地，所述步骤1中可分级视频编码结构包括：时间可分级视频编码，空间可分级视频编码，质量可分级视频编码；其中，所述质量可分级视频编码包括粗粒度质量可分级视频编码，中粒度质量可分级编码，细粒度质量可分级视频编码。进一步地，所述编码器为基于h.264编码标准的编码器时，选择中粒度质量可分级编码结构，将视频编码成二进制视频数据流；所述中粒度质量可分级编码结构的具体方法为：关键帧参考前一个关键帧的基础层重构图像，并且关键帧的时间层为0；关键帧与关键帧之间的帧参考上一个时间级的帧的增强层与基础层的重构图像。进一步地，所述步骤2具体方法为：在步骤1中承载编码视频数据流的文件中，寻找基础层以及增强层所对应的数据流位置信息；从所述基础层以及增强层所对应的数据流位置信息，根据码流分析提取视频结构以及每层数据流的起始位置，找到每帧的基础层与增强层的数据，进而确定视频数据流中数据段的优先级顺序。进一步地，所述步骤3具体方法为：按照步骤2确定的数据段优先级顺序，对所有的视频数据段进行排序，然后按照由低到高的优先级顺序依次丢弃增强层或基础层对应优先级低的数据段，直至视频数据匹配网络状态，形成适应网络状态的新视频数据流。进一步地，一种适应无线传输动态变化的视频编码处理装置包括视频数据流生成模块、视频数据段映射模块、视频数据流调整模块与视频数据流传输模块；所述视频数据流生成模块用于根据视频编码器，选择相应的视频编码结构，对视频进行可分级视频编码，生成视频数据流；所述数据段映射模块用于在承载编码视频数据流的文件中寻找基础层以及增强层对应的视频数据流位置信息；所述视频数据流调整模块用于将优先级别低的数据段依次丢弃，形成适应网络传输速率的新视频数据流；所述视频数据流传输模块用于对形成的新视频数据流进行无线传输。与现有技术相比，本发明具有如下有益效果：本发明通过分析可分级视频编码后的视频数据流，找到所有的基础层与增强层所对应的数据流，在无线传输之前先丢弃一些优先级比较低的增强层数据段，以获得和段宽相匹配的视频码率，形成适应网络状态的新视频数据流，再对形成的新视频数据流进行无线传输。由于可以依次丢弃视频增强层的数据段，故丢弃增强层后的视频数据流可以在很大程度上适应网络段宽，解决了目前可分级视频编码技术(svc)只能适应几个固定速率的网络段宽，提高了传输的鲁棒性，缓解了网络传输的压力。附图说明图1为本发明适应无线传输动态变化的视频编码处理方法的流程图；图2为本发明适应无线传输动态变化的视频编码处理装置的示意图；图3本发明实施例采用的中粒度质量可分级编码(mgs)结构图；图4是本发明实施例的数据流分析图。具体实施方式为使本发明所解决的技术问题、技术方案及有益效果更加清晰，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明，详细说明如下。发明人通过大量实验论证，做出了本发明无线传输动态变化的视频编码方法和装置，该方法和装置解决了以往可分级视频编码技术(svc)只能适应几个固定速率的段宽，提高了传输的鲁棒性，缓解了网络传输的压力，以下结合实施例和附图对本发明作进一步的详细描述。实施例：如附图1所示，一种适应无线传输动态变化的视频编码处理方法，其包括以下步骤：步骤1：对视频进行可分级视频编码，生成视频数据流编码器选择相应编码结构对输入视频进行编码，生成尽可能多的分层视频数据流，每个视频数据流包括一个基础层和零个及多个增强层。其中，视频编码是指：保证一定重构质量的前提下，由于存在冗余，可能减少用来表征视频信息的比特数；冗余是指：图像的各像素数据之间存在极强的相关性；基础层是指：提供基本图像质量的数据流；增强层是指：提供在基本层基础上重构的更高图像质量所需的数据流。可分级视频编码结构包括：时间可分级视频编码，空间可分级视频编码，质量可分级视频编码。其中，质量可分级视频编码包括粗粒度质量可分级视频编码，中粒度质量可分级编码，细粒度质量可分级视频编码。具体的，本发明选择其中一种进行视频编码结构描述(其余不再赘述)，编码器为基于h.264编码标准的编码器，例如选择jsvm编码器时，选择中粒度质量可分级编码(mgs)结构，将视频编码成二进制数据流。中粒度质量可分级编码(mgs)结构的具体方法为：关键帧参考前一个关键帧的基础层重构图像，并且关键帧的时间层为0；关键帧与关键帧之间的帧参考上一个时间级的帧的增强层与基础层的重构图像。选择中粒度质量可分级编码(mgs)优点是有效阻止了编码结构中的错误漂移现象，把编码可能出现的错误固定在一个gop中，不会继续传至下一个gop中。下面结合一个实例，将一个名为foreman_352x288_30_orig_01.yuv的yuv420格式的视频，利用jsvm编码器，选择中粒度质量可分级编码(mgs)结构，编码成二进制数据流。配置jsvm编码器的encode.cfg来设置视频的帧率、要编码的帧数、gop的大小、增强层的层数等基本参数。具体如表一所示：表一：帧率30编码帧数8gop尺寸4增强层层数1以下列出配置基础层layer0.cfg和增强层layer1.cfg的一些关键参数，具体如表二所示：表二：视频名称foreman_352x288_30_orig_01.yuv视频宽、高352x288layer0qp34layer1qp28中粒度质量可分级编码(mgs)的结构如图3所示：第一个gop层内，编码器首先编码第1帧的基础层，再编码增强层；其次编码第5帧的基础层，第5帧的基础层用第1帧的基础层重构图像作为参考，再编码增强层；接下来，编码第3帧的基础层，第3帧的基础层用第1帧和第5帧的基础层和增强层的重构图像作为参考，再编码增强层，第3帧的增强层用第1帧和第5帧的增强层作为参考图像；类似地，剩下的第2帧和第4帧按照图中标示的箭头进行编码；第二个gop层与第一个gop层的编码方式相同。其中，根据参考帧及编码顺序的不同，引入时间层t0、t1、t2：t0：第1帧、第5帧、第9帧t1：第3帧、第7帧t2：第2帧、第4帧、第6帧、第8帧gop是指：视频压缩时，首先将视频帧序列分成若干图像组，每一个图像组即为一个gop。步骤2：寻找步骤1中生成的视频数据流中不同优先级所对应的数据段在承载编码视频数据流的文件中寻找基础层以及增强层对应的数据流位置信息；具体为在承载编码视频数据流的文件中寻找分隔符、进而找到各个层数据的头文件和下一个层数据的头文件，中间的部分就是层数据，进而找到基础层和增强层对应的数据段；从基础层以及增强层所对应的视频数据流位置信息，如图4所示，椭圆的内容表示头文件，方框的内容表示基础层数据，剩下的为增强层数据。然后根据码流分析提取视频结构以及每层数据流的起始位置，找到每帧的基础层与增强层的数据，进而确定视频数据流中数据段的优先级顺序。步骤3：根据无线传输链路的状态以及数据段优先级关系，选择数据段优先级别低的丢弃，形成适应网络状态的新视频数据流按照步骤2确定的数据段优先级顺序，对所有的视频数据段进行排序，然后按照由低到高的优先级顺序依次丢弃增强层或基础层对应优先级低的数据段，直至视频数据匹配网络状态，形成适应网络状态的新数据流。其中，按照先编码层数据的优先级大于后编码层数据的优先级的排序原则，对层数据进行优先级排序，再按照由低到高的优先级顺序依次丢弃数据，直到适应网络状态。最终将视频编码成一个可适应网络最低段宽的基础层和可以提高视频质量的若干增强层形成的新视频数据流。下面以上述实例对数据段的丢弃方法进行详细说明如下：从低到高的层优先级顺序依次丢弃增强层数据流的方法有以下两种：方法一：定义bli，i＝1,2,3...表示第i帧的基础层；eli,i＝1,2,3...表示第i帧的增强层。以步骤1中mgs的编码结构为例，在第一个gop层内，对增强层数据按照优先级从低到高的顺序排列为：el4，el2，el3，el5，el1。即当网络段宽降低时，可依次丢弃el4，el2，el3，el5，el1，直到满足网络段宽为止。方法二：定义bli，i＝1,2,3...表示第i帧的基础层；eli,i＝1,2,3...表示第i帧的增强层。以步骤1中mgs的编码结构为例，在第一个gop层内优先级最低的增强层为el4，第二低的增强层为el2；在第二个gop层内优先级最低的增强层为el8，第二低的增强层为el6。以此类推继续丢弃下一个gop中对应增强层；若将每一个gop中优先级最低的增强层数据全部丢弃后，仍然不满足当前网络宽度，此时开始丢弃优先级第二低的增强层数据；即当网络段宽降低时，可依次丢弃el8，el4……el2，el6……，直到满足网络段宽为止。步骤4：对步骤3所形成的新视频数据流进行无线传输。如图2所示，本发明适应无线传输动态变化的视频编码处理装置包括视频数据流生成模块21、视频数据段映射模块22、视频数据流调整模块23与视频数据流传输模块24。具体的，视频数据流生成模块21用于根据视频编码器选择相应的视频编码结构，对视频进行可分级视频编码生成视频数据流。例如视频数据流生成模块21将一个名为foreman_352x288_30_orig_01.yuv的yuv420格式的视频，基于h.264编码标准的编码器，例如选择jsvm编码器，选择中粒度质量可分级视频编码结构，编码成二进制视频数据流，然后视频数据段映射模块22在承载编码视频数据流的文件中寻找基础层以及增强层对应视频数据流的位置信息；视频数据流调整模块23按照从低到高的层优先级顺序依次丢弃增强层数据流，视频数据流传输模块24对形成的新视频数据流进行传输。其中，视频数据段映射模块22的处理过程为：在承载编码视频数据流的文件中寻找基础层以及增强层对应数据流的位置信息；寻找分隔符进而找到各个层数据的头文件和下一个层数据的头文件；中间的部分就是层数据，由此判断nalu类型；进而找到基础层和增强层对应的位置信息。如图4所示，椭圆的内容表示头文件，方框的内容表示基础层数据，剩下的为增强层数据。其中，视频数据流调整模块23的处理过程为：根据视频配置文件提取视频结构以及每层视频数据流的起始位置，找到每帧的基础层与增强层的数据段，进而确定视频增强层优先级顺序；以得到的每帧的基础层与增强层的数据段及优先级顺序；按照先编码层数据的优先级大于后编码层数据的优先级对的排序原则，对所有的层数据进行排序；按照由低到高的优先级顺序依次丢弃增强层或基础层对应视频数据流，直至适应当前网络状态。上述模块可以分布于一个装置，也可以分布于多个装置。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块，上述适应无线传输动态变化的视频编码的装置可以作为一个单独的装置独立设置，也可以集成在基站和移动终端设备中。通过以上描述，本领域技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明技术方案可以以软件产品的形式体现出来，该产品可以存储在一个非易失性存储介质(可以是cd-rom、u盘、移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备等)执行本发明各个实施例所述的方法。本发明提供一种适应无线传输动态变化的视频编码处理方法和装置，通过对视频进行视频编码，生成视频数据流；找到视频数据流中不同优先级所对应的数据段；根据无线传输链路的状态以及数据段优先级关系，选择丢弃优先级别低的数据段，形成可以适应网络状态的新视频数据流；对形成的新视频数据流进行无线传输；该方法和装置解决了以往的svc只能适应几个固定速率的段宽的瓶颈，提高了传输的鲁棒性，缓解了网络传输的压力，且本发明经过多次实验验证，在保证传输质量的同时提高传输的稳定性。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属
技术领域：
的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。当前第1页1 2 3
技术特征：1.一种适应无线传输动态变化的视频编码处理方法，其特征在于，包括以下步骤：
步骤1：对视频进行可分级视频编码，生成视频数据流
编码器选择相应编码结构对输入视频进行编码，生成视频数据流，所述视频数据流包括一个基础层和零个及多个增强层；
步骤2：寻找步骤1中生成的视频数据流中不同优先级所对应的数据段；
步骤3：根据无线传输链路的状态以及数据段优先级关系，选择数据段优先级别低的丢弃，形成适应网络状态的新视频数据流；
步骤4：对步骤3所形成的新视频数据流进行无线传输。
2.根据权利要求1所述的一种适应无线传输动态变化的视频编码处理方法，其特征在于：所述步骤1中可分级视频编码结构包括：时间可分级视频编码，空间可分级视频编码，质量可分级视频编码；
其中，所述质量可分级视频编码包括粗粒度质量可分级视频编码，中粒度质量可分级编码，细粒度质量可分级视频编码。
3.根据权利要求2所述的一种适应无线传输动态变化的视频编码处理方法，其特征在于：所述编码器为基于h.264编码标准的编码器时，选择质量可分级视频编码中的中粒度质量可分级编码结构，将视频编码成二进制视频数据流；
所述中粒度质量可分级编码结构的具体方法为：关键帧参考前一个关键帧的基础层重构图像，并且关键帧的时间层为0；关键帧与关键帧之间的帧参考上一个时间级的帧的增强层与基础层的重构图像。
4.根据权利要求1所述的一种适应无线传输动态变化的视频编码处理方法，其特征在于：所述步骤2具体方法为：在步骤1中承载编码视频数据流的文件中，寻找基础层以及增强层所对应的数据流位置信息；
从所述基础层以及增强层所对应的数据流位置信息，根据码流分析提取视频结构以及每层数据流的起始位置，找到每帧的基础层与增强层的数据，进而确定视频数据流中数据段的优先级顺序。
5.根据权利要求4所述的一种适应无线传输动态变化的视频编码处理方法，其特征在于：所述步骤3具体方法为：按照步骤2确定的数据段优先级顺序，对所有的视频数据段进行排序，然后按照由低到高的优先级顺序依次丢弃增强层或基础层对应优先级低的数据段，直至视频数据匹配网络状态，形成适应网络状态的新视频数据流。
6.一种适应无线传输动态变化的视频编码处理装置，其特征在于：包括视频数据流生成模块、视频数据段映射模块、视频数据流调整模块与视频数据流传输模块；
所述视频数据流生成模块用于根据视频编码器，选择相应的视频编码结构，对视频进行可分级视频编码，生成视频数据流；
所述数据段映射模块用于在承载编码视频数据流的文件中寻找基础层以及增强层对应的视频数据流位置信息；
所述视频数据流调整模块用于将优先级别低的数据段依次丢弃，形成适应网络传输速率的新视频数据流；
所述视频数据流传输模块用于对形成的新视频数据流进行无线传输。
技术总结本发明属于无线多媒体通信技术领域，具体涉及一种适应无线传输动态变化的视频编码处理方法和装置，包括步骤1：对视频进行可分级视频编码，生成视频数据流；步骤2：寻找步骤1中生成的视频数据流中不同优先级所对应的数据段；步骤3：根据无线传输链路的状态以及数据段优先级关系，选择数据段优先级别低的丢弃，形成适应网络状态的新视频数据流；步骤4：对步骤3所形成的新视频数据流进行无线传输；该装置包含相应的执行模块。本发明通过形成新视频数据流使其适应了段宽波动较大的网络，解决了现有无线网络传输系统中网络传输压力大的问题，突破了现有相关无线网络传输系统传输鲁棒性差的瓶颈，在保证传输质量的同时提高传输的稳定性。
技术研发人员：韩维佳;彭斯琦;马骁;罗航航
受保护的技术使用者：陕西师范大学
技术研发日：2019.12.16
技术公布日：2020.06.09
