本发明属于视频编码
技术领域：
，具体涉及一种基于空间相关度的多变换核快速处理方法。
背景技术：
：由于高质量和高分辨率视频的普遍应用，需要制定出超越目前高效视频编码(highefficiencyvideocoding，简称hevc)标准的下一代视频编码技术。运动图像专家组(movingpictureepertgroup，简称mpeg)和视频编码专家组(videocodingepertgroup，简称vceg)联合成立了联合视频探索小组(jointvideoeplorationteam，简称jvet)，并在第10次jvet会议上，定义了多功能视频编码(versatilevideocoding，简称vvc)的初稿和vvc测试模型1(vtm1)的编码方法。在第11次会议上，jvet启动了vvc工作草案2，其中采用了几种新的编码工具，例如仿射运动补偿预测和多变换核选择(multipletransformselection，简称mts)。在第12次会议上，vvc工作草案3中包括了对mts内核派生的简化，并在vtm3中进行了实施。除了已在hevc中使用的dct-ii外，vvc还包括mts以通过利用多个选定的变换方式提高转换效率。新引入的变换矩阵是dst-vii和dct-viii，它们都可以在水平和垂直方向上应用。如果在序列参数集(sps)上启用了mts，则在将dct-ii应用于两个方向之后，将在水平和垂直方向上依次对dst-vii和dct-viii的组合进行rd检查。vvc帧内cu变换过程要经过两个阶段，并使用cu级的mts标志(mtsflag)指示当前cu是否启用mts。在第一阶段，mtsflag为0，对cu用dct-ii进行变换，在第二阶段，mtsflag为1，对cu用mts候选变换依次进行变换。编码器将选取率失真代价最小的变换为最佳变换。由于vvc中增加了大量的工具，导致其复杂度和时间成本大幅增加，实用性受到影响，因此，需要新的方法来降低vtm的复杂度。技术实现要素：本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种基于空间相关度的多变换核快速处理方法，该处理方法与未添加算法的编码器相比，增量比特率(bjotegaarddeltabitrate，简称bdbr)损失0.27％的情况下时间减少37.60％。根据本发明第一方面实施例的一种基于空间相关度的多变换核快速处理方法，所述处理方法为：根据周围cu块的mts信息跳过当前cu块的mts执行过程。根据本发明实施例的多变换核快速处理方法，至少具有如下技术效果：一帧图像的信息是有相关性的，距离越近的cu块相关性越大，本发明实施例的方法通过获取周围cu块的mts信息，判断当前cu块的mts过程是否需要跳过，在质量损失不大的情况下，极大的减少了编码的时间，提高了编码效率，使编码器更具实用性。本发明实施例的处理方法与未添加算法的编码器相比，增量比特率(bjotegaarddeltabitrate，简称bdbr)损失0.27％的情况下时间减少37.60％。根据周围cu块的mts信息跳过当前cu块的mts执行过程是本发明的核心。根据本发明的一些实施例，基于空间相关度的多变换核快速处理方法，包括以下步骤：s1：对当前cu执行帧内编码流程；s2：遍历67种预测模式，跳过vvc中的32种角度模式，只对hevc中存在的35种模式进行satd值的计算，将satd值从小到大排序，从中选出satd值较小的前n个模式存入模式列表，其中n的大小由查表得到；s3：遍历步骤s2选出的模式，若模式编号属于2～66，则比较每种模式与其相邻的两个模式的satd值，从中选出satd值最小的一个模式，更新模式列表，得到第一次更新的模式列表；s4：构建mpm列表并遍历mpm列表中的6种模式，计算6种模式的satd值，并与步骤s3中的模式列表中的satd值比较，选择satd值较小的模式，更新模式列表，得到第二次更新的模式列表；s5：执行mip模块，用哈达玛变换导出mip的候选模式，并将mip的mpm模式添加到模式列表，得到第三次更新的模式列表；s6：执行isp模块，更新模式列表，得到第四次更新的模式列表，即用于执行后续流程的模式列表；s7：获取第四次更新的模式列表中的第一个模式，计算得到在使用该预测模式情况下当前cu的预测值；s8：将当前cu的原始像素值减去由步骤s7得到的预测值，得到原始像素值与预测值的残差值；s9：对步骤s8得到的残差值执行变换模块，首先以mts标志位为0进行变换，将变换之后的值执行量化、反量化和反变换操作，得到重构像素值；s10：计算使用步骤s9的变换核时的r-dcost值，公式为：j＝d λ*r，其中，d是指失真值，λ为编码器设定数值，r为编码当前cu所使用的比特数值，j为最终计算得到的r-dcost值；s11：获取周围cu块的mts标志位以及mts候选索引，若周围块选择的最优模式存在以下两种情况之一，则执行步骤s12；第一种情况：周围块选择的最优模式都是mts标志位为0的情况；第二种情况：周围块选择的最优模式既存在mts标志位为0又存在mts标志位为1且mts候选索引为0的情况；s12：选择mts标志位为1并且mts候选索引为0时的变换核执行变换模块，将变换之后的值执行量化、反量化和反变换操作得到重构像素值，重复执行步骤s10，将得到的r-dcost值与步骤s10得到的r-dcost值对比，选择r-dcost最小时对应的mts的标志位及其索引值作为最优的mts选择，并跳过执行当mts标志位为1时，选择其他所有的mts候选索引作为变换核的变换模块以及后续的量化、反量化和反变换以及步骤s10的操作；s13：将步骤s6中确定的模式列表中的所有模式循环执行步骤s7至步骤s12，比较每个模式的r-dcost，选择r-dcost最小的模式作为最优模式，完成帧内模式选择。根据本发明的一些实施例，步骤s9中，以mts标志位为0进行变换，该变换方式使用的是离散余弦变换type2。根据本发明的一些实施例，步骤s9中，d的值由将步骤s9得到的当前cu的每个像素的重构像素值与原始像素值做差，将差值取绝对值，并将当前cu的所有像素取绝对值后的差值相加。根据本发明的一些实施例，步骤s11中，周围cu块包括左方cu块、上方cu块、左上方cu块、左下方cu块以及右上方cu块。根据本发明的一些实施例，步骤s11中，若周围块选择的最优模式不都是mts标志位为0或者最优模式只存在mts标志位为0以及mts标志位为1且mts候选索引为0两种情况，则执行以下步骤：循环选择mts标志位为1且mts候选索引为0以及周围5个cu块选择的最优模式中存在的mts标志位为1时所选择的mts候选索引时的变换核执行变换模块，即如果周围5个cu块，只存在两种情况，有部分cu块的最优模式是选择mts标志位为1且选择的mts候选索引为2作为变换核，剩余cu块的最优模式选择mts标志位为1且选择的mts候选索引为3作为变换核，需要循环选择mts标志位为1且mts候选索引为0、mts标志位为1且mts候选索引为2以及mts标志位为1且mts候选索引为3作为变换核进行变化模块，并分别将变换之后的值执行量化、反量化、反变换操作，得到重构像素值，并执行步骤s10，由此分别得到r-dcost值，循环所有情况后将得到的r-dcost值进行对比，选择r-dcost值最小时对应的mts的标志位及其索引值作为最优的mts选择，从而跳过了选择mts标志位为1且选择的mts候选索引为1作为变换核执行变换模块的情况。根据本发明的一些实施例，步骤s12中，选择其他所有的mts候选索引，包括mts候选索引1、mts候选索引2以及mts候选索引3。图1是使用mts的编码单元(codingunit，简称cu)进行帧内编码过程的流程图，其中mts候选索引用于指示应用了变换矩阵的哪种组合。表1列出了mts候选索引和相应的变换矩阵。表1mts候选索引与变换矩阵对应表mts候选索引水平垂直0dst-viidst-vii1dst-viidct-viii2dct-viiidst-vii3dct-viiidct-viiivvc帧内cu变换过程要经过两个阶段，并使用cu级的mts标志(mtsflag)指示当前cu是否启用mts。在第一阶段，mtsflag为0，对cu用dct-ii进行变换，在第二阶段，mtsflag为1，对cu用mts候选变换依次进行变换。编码器将选取率失真代价最小的变换为最佳变换。由于vvc中增加了大量的工具，导致其复杂度急剧地增加，这也导致其时间成本增加，实用性大打折扣的原因。因此本发明实施例的方法根据空间相关性对多变换核进行相应的跳过，从而达到降低vtm复杂度的目的。附图说明图1是使用mts的编码单元帧内编码过程流程图。具体实施方式以下是本发明的具体实施例，并结合实施例对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。实施例本例提供了一种基于空间相关度的多变换核快速处理方法，该处理方法根据周围cu块的mts信息跳过当前cu块的mts执行过程。具体包括以下步骤：s1：对当前cu执行帧内编码流程；s2：遍历67种预测模式，跳过vvc中的32种角度模式，只对hevc中存在的35种模式进行绝对变换差之和(sumofabsolutetransformeddifference，简称satd)的计算，将satd值从小到大排序，从中选出satd值较小的前n个模式存入模式列表，其中n的大小由查表得到；；s3：遍历步骤s2选出的模式，若模式编号属于2～66，则比较每种模式与其相邻的两个模式的satd值，从中选出satd值最小的一个模式，更新模式列表，得到第一次更新的模式列表；s4：构建最优模式(mostprobablymode，简称mpm)列表并遍历mpm列表中的6种模式，计算6种模式的satd值，并与步骤s3中的模式列表中的satd值比较，选择satd值较小的模式，更新模式列表，得到第二次更新的模式列表；s5：执行基于矩阵的帧内预测模块(matrix-basedintraprediction，简称mip)，用哈达玛变换导出mip的候选模式，并将mip的mpm模式添加到模式列表，得到第三次更新的模式列表；s6：执行isp模块，更新模式列表，得到第四次更新的模式列表，即用于执行后续流程的模式列表；s7：获取第四次更新的模式列表中的第一个模式，计算得到在使用该预测模式情况下当前cu的预测值；s8：将当前cu的原始像素值减去由步骤s7得到的预测值，得到原始像素值与预测值的残差值；s9：对步骤s8得到的残差值执行变换模块，首先以多变换核选择(multipletransformselection，简称mts)标志位为0进行变换，将变换之后的值执行量化、反量化和反变换操作，得到重构像素值；s10：计算使用步骤s9的变换核时的率失真消耗(rate-distortioncost，简称r-dcost)值，公式为：j＝d λ*r，其中，d是指失真值，λ为编码器设定数值，r为编码当前cu所使用的比特数值，j为最终计算得到的r-dcost值；s11：获取周围cu块的mts标志位以及mts候选索引，若周围块选择的最优模式存在以下两种情况之一，则执行步骤s12；第一种情况：周围块选择的最优模式都是mts标志位为0的情况；第二种情况：周围块选择的最优模式既存在mts标志位为0又存在mts标志位为1且mts候选索引为0的情况；s12：选择mts标志位为1并且mts候选索引为0时的变换核执行变换模块，将变换之后的值执行量化、反量化和反变换操作得到重构像素值，重复执行步骤s10，将得到的r-dcost值与步骤s10得到的r-dcost值对比，选择r-dcost最小时对应的mts的标志位及其索引值作为最优的mts选择，并跳过执行当mts标志位为1时，选择其他所有的mts候选索引作为变换核的变换模块以及后续的量化、反量化和反变换以及步骤s10的操作；s13：将步骤s6中确定的模式列表中的所有模式循环执行步骤s7至步骤s12，比较每个模式的r-dcost，选择r-dcost最小的模式作为最优模式，完成帧内模式选择。步骤s9中，以mts标志位为0进行变换，该变换方式使用的是离散余弦变换type2。d的值由将步骤s9得到的当前cu的每个像素的重构像素值与原始像素值做差，将差值取绝对值，并将当前cu的所有像素取绝对值后的差值相加。步骤s11中，周围cu块包括左方cu块、上方cu块、左上方cu块、左下方cu块以及右上方cu块。若周围块选择的最优模式不都是mts标志位为0或者最优模式只存在mts标志位为0以及mts标志位为1且mts候选索引为0两种情况，则执行以下步骤：循环选择mts标志位为1且mts候选索引为0以及周围5个cu块选择的最优模式中存在的mts标志位为1时所选择的mts候选索引时的变换核执行变换模块，即如果周围5个cu块，只存在两种情况，有部分cu块的最优模式是选择mts标志位为1且选择的mts候选索引为2作为变换核，剩余cu块的最优模式选择mts标志位为1且选择的mts候选索引为3作为变换核，需要循环选择mts标志位为1且mts候选索引为0、mts标志位为1且mts候选索引为2以及mts标志位为1且mts候选索引为3作为变换核进行变化模块，并分别将变换之后的值执行量化、反量化、反变换操作，得到重构像素值，并执行步骤s10，由此分别得到r-dcost值，循环所有情况后将得到的r-dcost值进行对比，选择r-dcost值最小时对应的mts的标志位及其索引值作为最优的mts选择，从而跳过了选择mts标志位为1且选择的mts候选索引为1作为变换核执行变换模块的情况。步骤s12中，选择其他所有的mts候选索引，包括mts候选索引1、mts候选索引2以及mts候选索引3。与未添加算法的编码器相比,在bdbr损失0.27％的情况下时间减少37.60％。该结果在vvc官方参考软件vtm3.0上实现，并使用jvet的通用测试条件进行实验。在编码器的设置上，使用默认的all-intra(全帧内)配置中的设置，测试所用视频序列为官方推荐的采样格式为420的视频序列。编码性能主要由bdbr和tr(timereduction，时间减少)两个指标进行评估，并以原始的vtm3.0编码器为基准评估算法的编码性能。其中，bdbr表示在同样的客观质量下两种编码方法的码率差值，由同一段视频在4个qp(quantizationparameter量化参数)取值下(22，27，32，37)分别编码并计算码率和psnr(peaksignaltonoiseratio峰值信噪比，一种评价图像的客观标准)所得到。bdbr能够综合反映视频的码率和质量，它表示在同样的客观质量下，较优的编码方法可以节省的码率百分比。当bdbr为负值，表示相同psnr下，码率减少，性能提高。正值表示码率增加，性能下降。tr则用于衡量快速算法在原编码器的基础上对编码时间的缩减程度，计算方式如下：其中，t1为将本发明实施例方法应用到vtm3.0后的总编码时间，t0为原始vtm3.0的总编码时间。当tr为负值时表示添加算法的编码器比未添加算法的编码器所使用的时间降低。具体结果如表2所示。表2序列名称bdbr损失时间减少blowingbubbles0.29％-39.83％chinaspeed0.14％-37.50％johnny0.31％-35.05％racehorsesc0.46％-39.75％vidyo10.13％-35.86％average0.27％-37.60％当前第1页1 2 3
技术特征：1.一种基于空间相关度的多变换核快速处理方法，其特征在于，所述基于空间相关度的多变换核快速处理方法为：根据周围cu块的mts信息跳过当前cu块的mts执行过程。
2.根据权利要求1所述的基于空间相关度的多变换核快速处理方法，其特征在于，包括以下步骤：
s1：对当前cu执行帧内编码流程；
s2：遍历67种预测模式，跳过vvc中的32种角度模式，只对hevc中存在的35种模式进行satd值的计算，将satd值从小到大排序，从中选出satd值较小的前n个模式存入模式列表，其中n的大小由查表得到；
s3：遍历步骤s2选出的模式，若模式编号属于2～66，则比较每种模式与其相邻的两个模式的satd值，从中选出satd值最小的一个模式，更新模式列表，得到第一次更新的模式列表；
s4：构建mpm列表并遍历mpm列表中的6种模式，计算6种模式的satd值，并与步骤s3中的模式列表中的satd值比较，选择satd值较小的模式，更新模式列表，得到第二次更新的模式列表；
s5：执行mip模块，用哈达玛变换导出mip的候选模式，并将mip的mpm模式添加到模式列表，得到第三次更新的模式列表；
s6：执行isp模块，更新模式列表，得到第四次更新的模式列表，即用于执行后续流程的模式列表；
s7：获取第四次更新的模式列表中的第一个模式，计算得到在使用该预测模式情况下当前cu的预测值；
s8：将当前cu的原始像素值减去由步骤s7得到的预测值，得到原始像素值与预测值的残差值；
s9：对步骤s8得到的残差值执行变换模块，首先以mts标志位为0进行变换，将变换之后的值执行量化、反量化和反变换操作，得到重构像素值；
s10：计算使用步骤s9的变换核时的r-dcost值，公式为：
j＝d λ*r，
其中，d是指失真值，λ为编码器设定数值，r为编码当前cu所使用的比特数值，j为最终计算得到的r-dcost值；
s11：获取周围cu块的mts标志位以及mts候选索引，若周围块选择的最优模式存在以下两种情况之一，则执行步骤s12；第一种情况：周围块选择的最优模式都是mts标志位为0的情况；第二种情况：周围块选择的最优模式既存在mts标志位为0又存在mts标志位为1且mts候选索引为0的情况；
s12：选择mts标志位为1并且mts候选索引为0时的变换核执行变换模块，将变换之后的值执行量化、反量化和反变换操作得到重构像素值，重复执行步骤s10，将得到的r-dcost值与步骤s10得到的r-dcost值对比，选择r-dcost最小时对应的mts的标志位及其索引值作为最优的mts选择，并跳过执行当mts标志位为1时，选择其他所有的mts候选索引作为变换核的变换模块以及后续的量化、反量化和反变换以及步骤s10的操作；
s13：将步骤s6中确定的模式列表中的所有模式循环执行步骤s7至步骤s12，比较每个模式的r-dcost，选择r-dcost最小的模式作为最优模式，完成帧内模式选择。
3.根据权利要求2所述的基于空间相关度的多变换核快速处理方法，其特征在于，步骤s9中，以mts标志位为0进行变换，变换方式使用的是离散余弦变换type2。
4.根据权利要求2所述的基于空间相关度的多变换核快速处理方法，其特征在于，步骤s10中，d的值由将步骤s9得到的当前cu的每个像素的重构像素值与原始像素值做差，将差值取绝对值，并将当前cu的所有像素取绝对值后的差值相加。
5.根据权利要求2所述的基于空间相关度的多变换核快速处理方法，其特征在于，步骤s11中，周围cu块包括左方cu块、上方cu块、左上方cu块、左下方cu块以及右上方cu块。
6.根据权利要求2所述的基于空间相关度的多变换核快速处理方法，其特征在于，步骤s11中，若周围块选择的最优模式不都是mts标志位为0或者最优模式只存在mts标志位为0以及mts标志位为1且mts候选索引为0两种情况，则执行以下步骤：
循环选择mts标志位为1且mts候选索引为0以及周围5个cu块选择的最优模式中存在的mts标志位为1时所选择的mts候选索引时的变换核执行变换模块，即如果周围5个cu块，只存在两种情况，有部分cu块的最优模式是选择mts标志位为1且选择的mts候选索引为2作为变换核，剩余cu块的最优模式选择mts标志位为1且选择的mts候选索引为3作为变换核，需要循环选择mts标志位为1且mts候选索引为0、mts标志位为1且mts候选索引为2以及mts标志位为1且mts候选索引为3作为变换核进行变化模块，并分别将变换之后的值执行量化、反量化、反变换操作，得到重构像素值，并执行步骤s10，由此分别得到r-dcost值，循环所有情况后将得到的r-dcost值进行对比，选择r-dcost值最小时对应的mts的标志位及其索引值作为最优的mts选择，从而跳过了选择mts标志位为1且选择的mts候选索引为1作为变换核执行变换模块的情况。
7.根据权利要求2所述的基于空间相关度的多变换核快速处理方法，其特征在于，步骤s12中，其他所有的mts候选索引，包括mts候选索引1、mts候选索引2以及mts候选索引3。
技术总结本发明实施例提供了一种基于空间相关度的多变换核快速处理方法，该处理方法发明构思的核心是根据周围CU块的MTS信息跳过当前CU块的MTS执行过程。本发明实施例的方法通过获取周围CU块的MTS信息，判断当前CU块的MTS过程是否需要跳过，在质量损失不大的情况下，极大的减少了编码的时间，提高了编码效率，使编码器更具实用性。与未添加算法的编码器相比，增量比特率(Bjotegaard Delta Bit rate，简称BDBR)损失0.27％的情况下时间减少37.60％。
技术研发人员：张昊;马学睿;冯冰雪;钟培雄;姜俊宏;苏昊天
受保护的技术使用者：中南大学
技术研发日：2020.02.28
技术公布日：2020.06.09
