本发明涉及图像处理技术领域，特别是指一种基于jnd模型的cu分割预测和模式决策纹理编码方法。
背景技术：
在过去的几年中，随着3d电视(3dtv)、ftv、3d游戏和3d电影等立体显示和相关应用程序的发展，3d视频变得越来越流行。为了提高多纹理视频的编码效率，最新的视频标准hevc已经开发了3d-hevc，利用组件之间的相关性设计了其他编码工具来有效地压缩纹理视频数据。官方的3d-hevc参考软件比3d视频内容的hevc可节省46％的比特率，除了传统的视频编码器hevc以外，还可以通过几种编码工具获得显著的压缩改进，其中编码工具包括：“相邻块视差矢量(nbdv)”、“视图间运动预测(imp)”和“视图综合预测(vsp)”。这些编码工具实现了最高的编码效率，同时复杂性比较大。
目前，已经进行了关于降低3d-hevc的纹理编码复杂度的研究。n.zhang等人提出基于早期的cu分割和合并模式终止的快速编码方法，该方法利用纹理多视图视频的视图间相关性来加速计算。l.shen等人开发了一种快速的方法来加速3d-hevc的编码过程，该方法使用相邻cu深度级别之间的预测模式相关性和多视图纹理视频与深度图的相关性，自适应地调整纹理视频和深度视频的模式决策过程。y.song等人引入了用于基于视图间编码模式之间的相关性的3d-hevc的快速纹理编码。h.r.tohidypour等人利用了一种基于在线学习的复杂度降低方法来加快3d-hevc编码器中的纹理视图编码，此外，该方法还可以自适应地调整运动搜索的范围，并降低纹理编码中预测模式搜索的复杂度。l.shen等人设计了一种有效的cu处理方法，以节省3d-hevc实时应用程序的编码时间。q.zhang等人提出了一种使用梯度信息的快速模式决策方法，以节省3d-hevc的编码时间。上述方法是针对3d-hevc纹理视频压缩而精心设计的，可以减少编码时间。但是，这些方法没有充分利用人类视觉系统(hvs)的感知特性，3d-hevc纹理编码的复杂性还很大。
为了利用hvs的感知特性，jnd模型是基于心理学和生理学的高效模型。在视频压缩应用中使用jnd模型是降低编码器复杂性的一种有前景的方法。在最近的一些研究中，jnd模型已经用于快速hevc编码。j.kim等人提出了一种基于jnd的hevc兼容方案，以通过hvs的感知特性来减少hevc的编码运行时间。p.lee等人设计了一种快速的cu大小决定方法，以根据jnd模型分配hevc的计算复杂度，它可以在hevc编码过程中选择性地省略不必要的模式。j.kim等人提出了一种快速skip模式决策方法的发展，以基于感知失真度量来加快hevc的编码时间。但是目前缺少基于jnd定理的3d-hevc纹理视频压缩的方法。
技术实现要素：
针对上述背景技术中存在的不足，本发明提出了一种基于jnd模型的cu分割预测和模式决策纹理编码方法，解决了现有编码技术没有将jnd模型和hvs的感知特性相结合，造成编码复杂度高的技术问题。
本发明的技术方案是这样实现的：
一种基于jnd模型的cu分割预测和模式决策纹理编码方法，其步骤如下：
s1、启动模式决策，通过亮度jnd模型、空间jnd模型和时间jnd模型构建纹理视频的多视图纹理jnd模型；
s2、根据纹理视频的内容设置多视图纹理jnd模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的cu、中间纹理的cu和复杂纹理的cu；
s3、根据当前树块所属的类型对当前树块进行自适应cu分割；
s4、根据当前树块所属的类型对自适应cu分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。
所述多视图纹理jnd模型为：
jndm(i,j,t)＝[jndl(i,j)]α·[jnds(i,j)]β·[jndt(i,j,t)]χ，
其中，jndm表示多视图纹理jnd模型，jndl表示亮度jnd模型，jnds表示空间jnd模型，jndt表示时间jnd模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。
所述亮度jnd模型为：
其中，l(i,j)表示树块的平均亮度值。
所述空间jnd模型为：
jnds(i,j)＝m(i,j)·ε(l(i,j)) φ(l(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，l(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数；
所述最大加权平均值m(i,j)为：
其中，
所述线性函数ε(l(i,j))和φ(l(i,j))分别为：
ε(l(i,j))＝l(i,j)·0.0001 0.115，
φ(l(i,j))＝0.25-l(i,j)·0.01。
所述时间jnd模型为：
其中，
所述根据阈值将纹理视频的每个树块分为三种类型的方法为：
其中，h和c均表示多视图纹理jnd模型的阈值，jndm表示多视图纹理jnd模型。
所述根据当前树块所属的类型对每个树块进行自适应cu分割的方法为：如果当前树块属于均匀纹理的cu，选择cu分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的cu，选择cu分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的cu，选择cu分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应cu分割。
所述根据当前树块所属的类型对自适应cu分割的树块进行快速模式决策的预测，确定树块的最佳编码模式的方法为：如果当前树块属于均匀纹理的cu，选择“skip”模式对当前树块进行编码，即均匀纹理的cu对应的最佳编码模式为“skip”模式；如果当前树块属于中间纹理的cu，选择“skip”、“merge”和其他帧间模式对当前树块进行编码，即中间纹理的cu对应的最佳编码模式为“skip”、“merge”和其他帧间模式；如果当前树块属于复杂纹理的cu，选择“skip”、“merge”、“intra2n×2n”和其他帧间模式对当前树块进行编码，即复杂纹理的cu对应的最佳编码模式为“skip”、“merge”、“intra2n×2n”和其他帧间模式；其中，其他帧间模式包括inter2n×n、intern×2n、intern×n、inter2n×nu、inter2n×nd、internl×2n、internr×2n模式。
本技术方案能产生的有益效果：本发明利用jnd模型分析纹理图像的树块特征，确定在没有常规编码过程的情况下运用早期跳过模式决策和快速cu分区终止在早期阶段跳过纹理视频的一些树块，可显著降低3d-hevc的编码复杂度，同时保证视频质量，rd性能的损失可以忽略不计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的纹理编码中的模式分布图；
图3为本发明方法与fedtc、fmdra、emmdt和fmddi方法的节省的编码时间结果对比；
图4为本发明方法与fedtc、fmdra、emmdt和fmddi方法的增加bdbrs的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
与hevc类似，htm的模式决策过程会尝试所有编码模式和深度级别，以最小的rd成本来寻找最佳模式，rd成本函数为：
jmode＝(sseluma ωchroma·ssechroma) λmode·rmode，
其中，jmode表示rd成本函数，sseluma表示当前树块与其亮度分量重构块之间的失真，ssechroma表示当前树块及其色度分量重构块之间的失真，ωchroma表示色度参数，λmode表示拉格朗日乘数，rmode表示比特率成本。这种“尝试所有并选择最佳”的方法可以实现良好的rd性能，但是会导致很高的复杂度。图2显示了纹理视频的帧间模式分布，固定区域的多视图纹理视频主要选择“skip/merge”模式，特别是对于深度视频序列，选择“skip/merge”模式的百分比非常高。因此，如果可以预先确定树块的最佳模式是否为“skip/merge”模式，则可以降低计算复杂性。
因此，本发明实施例提供了一种基于jnd模型的cu分割预测和模式决策纹理编码方法，利用jnd模型分析纹理图像的树块特征，确定在没有常规编码过程的情况下在早期阶段跳过纹理视频的一些树块，以此来加速编码过程。如图1所示，具体步骤如下：
s1、启动模式决策，通过亮度jnd模型、空间jnd模型和时间jnd模型构建纹理视频的多视图纹理jnd模型；本发明提出一种用于多视图纹理编码的精确jnd模型，根据多视角纹理视频的特点，该模型不仅考虑了亮度适应的变化，而且还包括了时空视觉效果。jnd模型通常表示为基本阈值和某些调制因子的乘积。因此，通过使用亮度jnd模型、空间jnd模型和时间jnd模型建立了一个多视图纹理jnd模型。
jndm(i,j,t)＝[jndl(i,j)]α·[jnds(i,j)]β·[jndt(i,j,t)]χ，
其中，jndm表示多视图纹理jnd模型，jndl表示亮度jnd模型，jnds表示空间jnd模型，jndt表示时间jnd模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。jnd模型的特点是有助于软件和硬件集成，这是由于所有操作都位于3d-hevc的一个纹理树块中，jnd模型的操作复杂度很低。
所述亮度jnd模型是采用亮度作为平均亮度的函数：
其中，l(i,j)表示树块的平均亮度值。
所述空间jnd模型采用空间jnds作为亮度对比度和空间掩膜的函数：
jnds(i,j)＝m(i,j)·ε(l(i,j)) φ(l(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，通过计算像素周围四个方向的带权亮度改变量而得到的，l(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数，ε(·)和φ(·)都与背景亮度有关，同时与亮度差呈线性关系。
所述最大加权平均值m(i,j)为：
其中，
所述线性函数ε(l(i,j))和φ(l(i,j))分别为：
ε(l(i,j))＝l(i,j)·0.0001 0.115，
φ(l(i,j))＝0.25-l(i,j)·0.01。
通常，帧之间的亮度差异较大会导致较大的时间效应，因此时间jnd模型为：
其中，
s2、根据纹理视频的内容设置多视图纹理jnd模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的cu、中间纹理的cu和复杂纹理的cu；纹理视频包括真实场景中的大多数详细信息，例如纹理变化和对象信息。除非纹理来自平滑区域，否则大多数纹理信息都很重要。通常，如果纹理树块越复杂，则纹理视频的jndm越大。
其中，h和c均表示纹理视频内容的权重因子，jndm表示多视图纹理jnd模型。
s3、根据当前树块所属的类型对每个树块进行自适应cu分割；如果当前树块属于均匀纹理的cu，选择cu分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的cu，选择cu分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的cu，选择cu分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应cu分割。其中，cu是编码的基本单元，大小是以2幂次方为宽高的正方形，大小有64×64、32×32、16×16、8×8四种尺寸，尺寸64×64对应深度级别“0”，尺寸32×32对应深度级别“1”，尺寸16×16对应深度级别“2”，尺寸8×8对应深度级别“3”。
在3d-hevc中，四叉树结构的cu结构也用于压缩纹理视频，3d-hevc使用的最大树块大小为64，cu深度级别的范围为“0”到“3”。对于纹理编码的整个编码过程，深度级别具有给定的范围。与hevc相似，运动估计(me)和视差估计(de)过程将搜索所有候选深度级别，并通过最小的rd成本找到最佳模式，这些技术在htm中可以尽可能地提高编码效率，但是计算复杂性会显著提高。实际上，具有均匀纹理的树块选择较小的深度级别，而具有复杂纹理的树块选择较大的深度级别。可以注意到，对于具有均匀纹理的cu的深度值“0”的深度级别出现的次数很多，而对于具有复杂纹理的cu则很少选择深度值“0”的深度级别，这表明可以通过树块的纹理特征来自适应地确定3d-hevc中的cu分割预测。
每个纹理树块可以分为三种类型：均匀纹理的cu，中间纹理的cu和复杂纹理的cu。针对三种类型的纹理树块分析3d-hevc的cu深度分布。如果将最大深度级别设置为“0”，则将会覆盖约97.6％的纹理树块，纹理编码中的均匀纹理的cu只有当深度级别为“0”才用于纹理编码；如果深度级别从“0”到“1”，则将覆盖97.0％的纹理树块，纹理编码中的中间纹理的cu最佳深度为“0”到“1”；对于具有复杂纹理的cu的树块，在纹理视频中选择深度级别“0”、“1”、“2”和“3”的可能性均大于5.9％，因此，在复杂纹理的cu中，任何深度级别都不能忽略。根据这些分析，利用所提出的自适应cu分裂预测方法，3d-hevc中的许多纹理树块能够跳过2-3个深度级别。
s4、根据当前树块所属的类型对自适应cu分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。与hevc相似，在htm中帧间预测编码中会执行各种模式，htm的帧间预测会计算所有分区模式，以找到最小的rd成本的最佳模式。实际上，对于均匀纹理的cu总是选择大块的分区，同时，在复杂纹理的cu中很少选择大块的分区。由于当前树块的最佳帧间模式依赖于内容，因此执行所有分区会导致效率低下。基于以上讨论，可以使用jndm模式来预测当前的树块特征并自适应跳过不必要的模式。根据模式相关性，得出如果当前树块属于均匀纹理的cu，选择“skip”模式对当前树块进行编码，即均匀纹理的cu对应的最佳编码模式为“skip”模式；如果当前树块属于中间纹理的cu，选择“skip”、“merge”和其他帧间模式对当前树块进行编码，即中间纹理的cu对应的最佳编码模式为“skip”、“merge”和其他帧间模式；如果当前树块属于复杂纹理的cu，选择“skip”、“merge”、“intra2n×2n”和其他帧间模式对当前树块进行编码，即复杂纹理的cu对应的最佳编码模式为“skip”、“merge”、“intra2n×2n”和其他帧间模式。其中，其他帧间模式包括inter2n×n、intern×2n、intern×n、inter2n×nu、inter2n×nd、internl×2n、internr×2n。
为了评估本发明方法的有效性，在3d-hevc编码器(htm16.1)上进行了仿真测试，通过使用bjontegaarddeltabitrate(bdbr)来评估压缩特性，编码性能是在具有两个e5-2640@2.0ghzcpu的工作站上实现的，bdbrs和bdbrt分别指示使用合成视图和纹理图像psnr计算的bd速率。
表1给出了与原始编码器相比采用acsp和fmd方法的整体方案的编码结果。在均匀纹理的cu中，跳过了许多不必要的预测模式和深度值，从而减少运行时间。同时，纹理视频的平均bdbr增量为0.42％，合成视图的平均bdbr增量为0.29％。因此，本发明可以有效地节省编码时间，并且rd性能的损失可以忽略不计。
表1本发明与原始编码器的对比结果
将本发明方法与最新的3d-hevc快速方法相比较。这些3d-hevc快速方法包括fedtc、fmdra、emmdt和fmddi。图3和图4分别给出了节省编码时间和bdbr的编码结果，由图3和图4可知，本发明方法可以减少计算量，并具有良好的rd特性。本发明方法与fedtc、emmdt相比具有更少的计算量。htm编码器中可以进一步节省4.8％-44.9％的运行时间。此外，本发明方法与fmdra、fmddi方法相比，可在压缩时间上实现11.1％-20.9％的增益，并减少0.37％-0.42％的bdbr。因此，本发明方法对于各种3d视频都是有效的，并且在目标性能评估中，比htm的最新方案的计算量减少的更多。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，其步骤如下：
s1、启动模式决策，通过亮度jnd模型、空间jnd模型和时间jnd模型构建纹理视频的多视图纹理jnd模型；
s2、根据纹理视频的内容设置多视图纹理jnd模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的cu、中间纹理的cu和复杂纹理的cu；
s3、根据当前树块所属的类型对当前树块进行自适应cu分割；
s4、根据当前树块所属的类型对自适应cu分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。
2.根据权利要求1所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述多视图纹理jnd模型为：
jndm(i,j,t)＝[jndl(i,j)]α·[jnds(i,j)]β·[jndt(i,j,t)]χ，
其中，jndm表示多视图纹理jnd模型，jndl表示亮度jnd模型，jnds表示空间jnd模型，jndt表示时间jnd模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。
3.根据权利要求1或2所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述亮度jnd模型为：
其中，l(i,j)表示树块的平均亮度值。
4.根据权利要求1或2所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述空间jnd模型为：
jnds(i,j)＝m(i,j)·ε(l(i,j)) φ(l(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，l(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数；
所述最大加权平均值m(i,j)为：
其中，
所述线性函数ε(l(i,j))和φ(l(i,j))分别为：
ε(l(i,j))＝l(i,j)·0.0001 0.115，
φ(l(i,j))＝0.25-l(i,j)·0.01。
5.根据权利要求1或2所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述时间jnd模型为：
其中，
6.根据权利要求1或2所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述根据阈值将纹理视频的每个树块分为三种类型的方法为：
其中，h和c均表示多视图纹理jnd模型的阈值，jndm表示多视图纹理jnd模型。
7.根据权利要求6所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述根据当前树块所属的类型对每个树块进行自适应cu分割的方法为：如果当前树块属于均匀纹理的cu，选择cu分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的cu，选择cu分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的cu，选择cu分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应cu分割。
8.根据权利要求1所述的基于jnd模型的cu分割预测和模式决策纹理编码方法，其特征在于，所述根据当前树块所属的类型对自适应cu分割的树块进行快速模式决策的预测，确定树块的最佳编码模式的方法为：如果当前树块属于均匀纹理的cu，选择“skip”模式对当前树块进行编码，即均匀纹理的cu对应的最佳编码模式为“skip”模式；如果当前树块属于中间纹理的cu，选择“skip”、“merge”和其他帧间模式对当前树块进行编码，即中间纹理的cu对应的最佳编码模式为“skip”、“merge”和其他帧间模式；如果当前树块属于复杂纹理的cu，选择“skip”、“merge”、“intra2n×2n”和其他帧间模式对当前树块进行编码，即复杂纹理的cu对应的最佳编码模式为“skip”、“merge”、“intra2n×2n”和其他帧间模式；其中，其他帧间模式包括inter2n×n、intern×2n、intern×n、inter2n×nu、inter2n×nd、internl×2n、internr×2n模式。
技术总结