动态图像编码装置、动态图像编码方法、动态图像编码用计算机程序、动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序与流程

专利2022-06-28  110


本发明例如涉及对动态图像数据进行编码的动态图像编码装置、动态图像编码方法和动态图像编码用计算机程序、对编码后的动态图像数据进行解码的动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序。



背景技术:

动态图像数据一般具有非常大的数据量。因此,在对动态图像数据进行处理的装置要将动态图像数据发送到其他装置的情况或要将动态图像数据存储到存储装置中的情况下,通过对动态图像数据进行编码来压缩动态图像数据。作为代表性的动态图像的编码标准,制定了高级视频编码(advancedvideocoding)(mpeg-4avc|itu-th.264)和高效视频编码(highefficiencyvideocoding)(hevc|itu-th.265)(例如,参照非专利文献1)。

在这样的编码标准中,编码对象的图像(picture)分割为每个块。而且,针对作为编码对象的每个块,根据已经编码后的其他图像或编码对象图像的已编码区域生成预测块,通过对作为编码对象的块与预测块之间的差分进行编码来削减冗余性。

例如,在hevc中,动态图像数据所包含的各图像按照多个阶段被分割。因此,首先,对hevc中的图像的分割进行说明。

图1是示出hevc的图像的分割的一例的图。如图1所示,按照作为编码处理的单位的编码树单元(ctu,codingtreeunit)(或者,也称作最大编码单元(lcu,largestcodingunit))为单位来分割图像100。各ctu101按照栅格(raster)扫描的顺序进行编码。ctu101的尺寸能够从64x64~16x16像素中选择。

ctu101还按照四分树结构分割为多个编码单元(cu,codingunit)102。一个ctu101内的各cu102以z扫描的顺序编码。cu102的尺寸是可变的,该尺寸从cu分割模式8x8~64x64像素中选择。cu102成为选择作为编码模式的帧内(intra)预测编码方式和帧间(inter)预测编码方式的单位。另外,帧内预测编码方式是参考编码对象图像的已编码区域来生成预测块的编码方式。此外,帧间预测编码方式是参考对已经编码后的其他图像进行解码而获得的参考图像(也称作局部解码图像)来生成预测块的编码方式。

cu102以预测单元(pu,predictionunit)103为单位或以转换单元(tu,transformunit)104为单位分别进行处理。pu103为进行与编码模式对应的预测的、预测块的生成单位。例如,在帧内预测编码方式中,pu103成为应用预测模式的单位,该预测模式规定了在生成预测块时被参考的像素和预测块的生成方法。另一方面,在帧间预测编码方式中,pu103成为进行运动补偿的单位。例如,在应用帧间预测编码方式的情况下,pu103的尺寸能够从2nx2n、nxn、2nxn、nx2n、2nxu、2nxnd、nrx2n、nlx2n(n为cu尺寸/2)中选择。另一方面,tu104是正交变换的单位,针对每个tu进行正交变换。tu104的尺寸从4x4像素~32x32像素中选择。tu104按照四分树结构进行分割,以z扫描的顺序进行处理。

另外,ctu是对图像进行分割而获得的块的一例。此外,cu是块的其他一例。并且,cu也是对块进行分割而获得的子块的一例。

在hevc中,ctu被分割成使cu为正方形。但是,在图像的水平方向的尺寸或垂直方向的尺寸不是ctu的水平方向或垂直方向的尺寸的整数倍的情况下,在右端或下端的ctu中,在该ctu内包含图像端部。在该情况下,为了对该ctu进行编码使得不包含图像外的信息,该ctu优选被分割成cu之间的边界与图像端部一致、即图像端部不包含于任意一个cu内。但是,有时要求缩小cu的尺寸而增大ctu内所包含的cu的数量,以将ctu分割成在任意一个cu内不包含图像端部。在这样的情况下,有时ctu的编码数据所包含的语法(syntax)的信息增加,从而编码效率下降。

另一方面,为了更加提高编码效率,提出了通过在将ctu按照四分树结构分割为多个子块之后,对各个子块按照二分树结构进一步进行分割来确定各个cu(例如,参照非专利文献2)。在该情况下,cu有时成为长方形。

但是,即使在如上述那样应用二分树结构的情况下,已经分割为正方形状的子块彼此不连结,因此,有时针对包含图像端部的ctu,无法对ctu进行分割,以使cu尺寸增大。

此外,提出有判别尺寸小于宏块尺寸的边缘块(edgeblock)的技术。在该技术中,可检测出被识别为边缘块的非正方区域的尺寸、或对边缘块在水平方向和垂直方向中的任意一个方向进行分割而获得的多个非正方区域的尺寸中的、编码效率高的一方的尺寸(例如,参照专利文献1)。

现有技术文献

专利文献

专利文献1:日本特开2011-223303号公报

非专利文献

非专利文献1:itu-trecommendationh.265|iso/iec23008-2"highefficiencyvideocoding"、2013年4月

非专利文献2:j.an其他、"blockpartitioningstructurefornextgenerationvideocoding"、itu-tsg16doc.com16-c966、2015年9月



技术实现要素:

发明要解决的问题

但是,即使在将边缘块作为非正方区域进行编码的情况下,动态图像编码装置也将表示边缘块的分割模式(pattern)的语法包含在编码动态图像数据中。因此,作为非正方区域的边缘块的分割模式的种类越增加,编码量越增加,其结果,编码效率下降。

在一个侧面中,本发明提供一种动态图像编码装置,即使在将图像端部包含在作为编码处理的单位的块内的情况下,也能够提高编码效率。

用于解决问题的手段

根据一个实施方式,可提供对动态图像数据中包含的编码对象图像进行编码的动态图像编码装置。该动态图像编码装置具有:分割模式判定部,其通过对分割编码对象图像而获得的多个块中的、包含编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块,依照四分树结构进行四分割,或者在与图像端部块所包含的编码对象图像的端部垂直的方向上进行二分割,将图像端部块分割为多个子块,以使任意一个子块中不包含编码对象图像的端部;预测块生成部,其针对多个子块中的各个子块,参考已编码的其他图像或编码对象图像的已编码区域,生成预测块;编码部,其针对多个子块中的各个子块,计算该子块与对应的预测块的对应像素之间的预测误差,对预测误差进行编码;以及附加部,其将表示针对图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的动态图像数据中。

此外,根据其他实施方式,可提供对编码后的动态图像数据中所包含的解码对象图像进行解码的动态图像解码装置。该动态图像解码装置具有:分割模式判定部,其通过参考包含于编码后的动态图像数据中的、表示图像端部块是依照四分树结构进行了四分割、还是进行了二分割的分割信息,对图像端部块依照四分树结构进行四分割,或者在与图像端部块所包含的解码对象图像端部垂直的方向上进行二分割,将图像端部块分割为多个子块,以使任意一个子块中不包含解码对象图像的端部,其中图像端部块是对分割解码对象图像而获得的多个块中的、包含解码对象图像的水平方向的端部和垂直方向的端部中的任意一方的块;预测块生成部,其针对多个子块中的各个子块,参考已解码的其他图像或解码对象图像的已解码区域,生成预测块;解码部,其通过针对多个子块中的各个子块,将编码后的动态图像数据中包含的该子块与对应的预测块的对应像素之间的预测误差加上预测块的对应像素的值,对图像端部块进行解码。

发明效果

在一个侧面中,即使在作为编码处理的单位的块内包含图像端部的情况下,本说明书所公开的动态图像编码装置也能够提高编码效率。

附图说明

图1是示出hevc的图像的分割的一例的图。

图2是示出包含图像端部的ctu的分割的一例的图。

图3是示出一个实施方式的动态图像编码装置的概略结构图。

图4是示出包含图像的下端的ctu的分割的一例的图。

图5是示出包含图像的右端的ctu的分割的一例的图。

图6是示出包含图像的下端和右端双方的ctu的分割的一例的图。

图7是示出编码模式判定部的分割模式和编码模式判定处理的动作流程图。

图8是动态图像编码处理的动作流程图。

图9是动态图像解码装置的概略结构图。

图10是分割模式判定部的分割模式判定处理的动作流程图。

图11是动态图像解码处理的动作流程图。

图12是通过使实现实施方式或其变形例的动态图像编码装置或动态图像解码装置的各部的功能的计算机程序工作来作为动态图像编码装置或动态图像解码装置工作的计算机的结构图。

具体实施方式

以下,参考附图,对动态图像编码装置进行说明。

首先,对包含图像端部的ctu的分割进行说明。

图2是示出包含图像端部的ctu的分割的一例的图。在该例子中,由于图像200的水平方向尺寸和垂直方向尺寸中的任意一方都不是ctu尺寸的整数倍,所以图像200的右端和下端分别包含在右端或下端的ctu内。当关注其中的、包含图像200的下端的ctu201时,如分割模式210所示,ctu201被分割成在任意一个cu202中都不包含图像端部220。这时,使用四分树结构,为了将ctu201分割成使得图像端部220与cu202彼此的边界一致,可以使用ctu201的1/4尺寸的cu202。其结果,在该例子中,ctu201通过6个cu202进行分割。此外,在使用四分树结构对ctu201进行分割之后,即使使用二分树结构进一步对各cu202进行分割,也可使用更多的cu对ctu201进行分割。

另一方面,在从最开始起就应用二分树结构来对包含图像端部的ctu201进行分割的情况下,能够使用如分割模式211所示的、非正方形的cu203对ctu201进行分割。但是,在应用四分树结构将ctu分割为多个子块后将二分树结构应用于各个子块的现有技术中,ctu201首先被分割为正方形的子块。因此,不容许如分割模式211那样分割ctu201。

因此,在本实施方式中,动态图像编码装置使用四分树结构的子块(正方形)和二分树结构的子块(长方形)中的、编码成本低的一方的子块对包含图像的右端和下端中的任意一方的块进行分割。然后,该动态图像编码装置将表示针对包含图像端部的块应用了四分树结构、还是应用了二分树结构的语法附加于编码动态图像数据。

此外,如图2所示,在将二分树结构应用于包含图像的下端的块而将该块分割为多个子块的情况下,优选沿着与图像端部垂直的方向对该块进行分割,以减少子块的数量。即,包含图像的下端的块优选被分割成子块之间的边界线与图像端部平行。因此,优选沿着垂直方向将包含图像的下端的块分割成使得子块之间的边界线成为水平。同样地,在将二分树结构应用于包含图像的右端的块的情况下,优选沿着水平方向将该块分割成使得子块之间的边界线成为垂直。因此,动态图像编码装置也可以不将针对应用二分树结构的块的分割方向包含在编码动态图像数据中。此外,动态图像编码装置也可以针对包含图像的下端和右端双方的块应用四分树结构来进行分割。

另外,图像也可以是帧或场(field)中的任意一个。帧是动态图像数据中的一个静态图像,另一方面,场是能够通过从帧仅取出奇数行的数据或偶数行的数据来获得的静态图像。

此外,在本实施方式中,假设动态图像编码装置如hevc那样对图像以ctu为单位进行分割并以ctu为单位进行编码。但是,动态图像编码装置也可以基于将图像分割为多个块而针对每个块进行编码的其他编码标准、对动态图像数据进行编码。

图3是一个实施方式的动态图像编码装置的概略结构图。动态图像编码装置1具有运动搜索部11、编码模式判定部12、预测块生成部13、预测编码部14、解码部15、存储部16和熵编码部17。

动态图像编码装置1针对编码对象的图像,以栅格扫描的顺序对各ctu进行编码。因此,以下,针对动态图像编码装置1的各部,以针对一个ctu的处理为例进行说明。

在包含编码对象ctu的编码对象图像为能够应用帧间预测编码方式的p图像或b图像的情况下,运动搜索部11针对能够对编码对象ctu应用的每个pu计算运动矢量。另外,亮度成分是第1成分的一例。此外,例如根据控制部(未图示)应用于编码对象的动态图像数据的图像组(gop,groupofpictures)的结构和编码对象图像在gop内的位置来确定编码对象图像的类别。

运动搜索部11针对编码对象ctu的关注的pu,对关于至少一个局部解码图像各自的可参考区域进行块匹配(blockmatching),确定与关注的pu最一致的参考块。而且,运动搜索部11计算表示关注的pu与参考块之间的移动量的矢量作为运动矢量。另外,在编码对象图像为能够应用双向预测编码模式的b图像的情况下,运动搜索部11针对l0预测和l1预测双方计算运动矢量。运动搜索部11将表示各pu的运动矢量和通过该运动矢量参考的局部解码图像的信息存储到存储部16中,并且通知给编码模式判定部12。

编码模式判定部12是分割模式判定部的一例,确定对编码对象ctu进行分割的cu、pu和tu的分割模式和应用于每个cu的编码模式。编码模式判定部12例如根据从未图示的控制部取得的、表示包含有编码对象ctu的编码对象的图像的类型的信息,确定能够应用于该ctu的编码模式。而且,编码模式判定部12从可应用的编码模式中选择实际应用的编码模式。如果编码对象的图像的类型为仅能够应用帧内预测编码方式的i图像,则编码模式判定部12选择帧内预测编码方式作为所应用的编码模式。此外,如果编码对象的图像的类型为p图像或b图像,则编码模式判定部12例如选择帧间预测编码方式和帧内预测编码方式中的任意一个,作为所应用的编码模式。

编码模式判定部12以cu为单位分别计算针对可应用的编码模式的编码对象ctu的编码后的数据量的评价值即编码成本。例如,编码模式判定部12针对帧间预测编码方式,针对对ctu进行分割的cu分割模式、pu分割模式和规定运动矢量的预测矢量的生成方法的矢量模式的每个组合计算编码成本。另外,编码模式判定部12例如能够利用自适应运动矢量预测(amvp,adaptivemotionvectorprediction)模式和合并(merge模式)中的任意一个模式,作为矢量模式。

此外,针对帧内预测编码方式,编码模式判定部12针对对ctu进行分割的cu分割模式、pu分割模式和规定图像内的参考方向的预测模式的每个组合,计算编码成本。

编码模式判定部12例如针对关注的pu,依照下式计算预测误差、即像素差分绝对值和sad,以计算编码成本。

sad=σ|orgpixel-predpixel|

这里,orgpixel是关注的pu中所包含的像素的值,predpixel是与关注的块对应的、依照作为编码成本的计算对象的编码模式而生成的预测块中包含的像素的值。

而且,编码模式判定部12例如依照下式,计算关于关注的cu的编码成本cost。

cost=σsad λ*b

这里,σsad是针对关注的cu所包含的各pu计算出的sad的总和。此外,b是关于运动矢量、表示预测模式的标记(flag)等除了预测误差以外的项目的编码量的估计值。而且,λ是拉格朗日的不确定乘数。

另外,编码模式判定部12也可以替代sad,计算对关注的pu与预测块之间的差分图像进行哈达玛(hadamard)变换之后的各像素的哈达玛系数的绝对值和satd。

编码模式判定部12针对编码对象ctu,例如从可采取的cu尺寸中的尺寸大的一方起依次设定关注的cu。而且,编码模式判定部12针对关注的cu,关于帧内预测编码方式,针对该cu内的每个pu分割模式选择成本为最小的预测模式。此外,编码模式判定部12针对关注的cu,关于帧间预测编码方式,针对该cu内的每个pu分割模式选择成本为最小的矢量模式。并且,编码模式判定部12针对相同尺寸的每个cu,选择帧内预测编码方式和帧间预测编码方式中的、编码成本小的一方,作为应用于该cu的编码模式。

并且,在关注的cu中不包含图像端部的情况下,编码模式判定部12将依照四分树结构对关注的cu进行四分割后的各个cu依次作为关注的cu,执行相同的处理从而计算最小编码成本。而且,如果关于分割后的各个cu计算出的、最小编码成本的总和比关于关注的cu的最小编码成本小,则编码模式判定部12依照四分树结构对关注的cu进行四分割。编码模式判定部12重复上述的处理直到不对各cu进行分割为止,从而确定应用于编码对象ctu的cu分割模式和pu分割模式。

此外,在关注的ctu或cu(以下,称作关注的块)包含图像的右端和下端双方的情况下,编码模式判定部12依照四分树结构对关注的块进行四分割。这是因为,在关注的块内包含图像的右端和下端双方的情况下,为了使得在任意一个cu中不包含图像的右端和下端双方,要求沿着水平方向和垂直方向双方对关注的块进行分割。

并且,在关注的块包含图像的右端并且不包含图像的下端的情况下,编码模式判定部12依照四分树结构将关注的块分割为4个子块。并且,编码模式判定部12依照二分树结构将关注的块在水平方向上分割为2个子块。同样地,在关注的块包含图像的下端并且不包含图像的右端的情况下,编码模式判定部12依照四分树结构将关注的块分割为4个子块,并且将关注的块在垂直方向上分割为2个子块。

另外,在分割关注的块而获得的任意的子块中包含图像端部的情况下,编码模式判定部12如上述那样对包含图像端部的子块进一步进行四分割或二分割。编码模式判定部12重复上述的处理直到在任意的子块中都不包含图像端部为止。

但是,编码模式判定部12针对临时应用二分树结构并且沿着水平方向而分割的块,对分割该块而获得的各子块中的、包含图像端部的子块,依照二分树结构并且沿着水平方向进行分割。同样地,编码模式判定部12针对临时应用二分树结构并且沿着垂直方向而分割后的块中的、包含图像端部的块,对分割该块而获得的各子块也依照二分树结构并且沿着垂直方向进行分割。

编码模式判定部12针对所获得的子块的每个组合,进行与上述相同的处理从而计算编码成本。然后,编码模式判定部12选择编码成本为最小的子块的组合,设所选择的组合所包含的各个子块分别为一个cu即可。

图4是示出包含图像的下端的ctu的分割的一例的图。在图4所示的例子中,在ctu400中包含图像的下端401。因此,编码模式判定部12将四分树结构应用于ctu400而分割为4个正方形cu410-1~410-4,或者应用二分树结构而在垂直方向上分割为2个cu420-1、420-2。而且,编码模式判定部12也可以针对cu410-1和cu410-2,由于在cu410-1和cu410-2中不包含图像的下端401,所以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本,确定是否对cu410-1和cu410-2进行四分割即可。此外,编码模式判定部12针对cu410-3和cu410-4,由于在cu410-3和cu410-4中包含图像的下端401,所以依照四分树结构进行四分割,或者依照二分树结构在垂直方向上进行二分割。

编码模式判定部12也可以对不包含图像的下端401的cu420-1,也依照二分树结构进一步在垂直方向上进行二分割。编码模式判定部12可以根据编码成本,确定是否对cu420-1进行二分割。此外,编码模式判定部12针对包含图像的下端401的cu420-2,依照二分树结构进一步在垂直方向上二分割为cu421-1和cu421-2。

最后,可针对在全部cu中不包含图像的下端401时的cu的各个组合计算针对每个cu而计算的编码成本的合计,依照该合计为最小的cu的组合对ctu400进行分割。例如,在关于cu420-1与cu421-1的组合的编码成本的合计为最小的情况下,ctu401被分割为cu420-1和cu421-1。而且,编码模式判定部12在每次对ctu或cu进行分割时,生成表示对该ctu或cu应用了四分树结构和二分树结构中的哪一个的语法,将该语法通知给熵编码部17。另外,表示应用了四分树结构和二分树结构中的哪一个的语法是分割信息的一例。但是,针对应用二分树结构而获得的cu,即使在对该cu进一步进行分割的情况下,也不应用四分树结构,所以也可以不生成表示应用了四分树结构和二分树结构中的哪一个的语法。

图5是示出包含图像的右端的ctu的分割的一例的图。在图5所示的例子中,在ctu500中包含图像的右端501。因此,编码模式判定部12将四分树结构应用于ctu500而分割为4个正方形cu510-1~510-4,或者应用二分树结构而在水平方向上分割为2个cu520-1、520-2。而且,编码模式判定部12也可以针对cu510-1和cu510-3,由于在cu510-1和cu510-3中不包含图像的右端501,所以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本,确定是否对cu510-1和cu510-3进行四分割即可。此外,编码模式判定部12针对cu510-2和cu510-4,由于在cu510-2和cu510-4中包含图像的右端501,因此依照四分树结构进行四分割,或者依照二分树结构在水平方向上进行二分割。此外,编码模式判定部12针对包含图像的右端501的cu520-2,依照二分树结构在水平方向上二分割为cu521-1和cu521-2。

最后,可针对在全部cu中不包含图像的右端501时的cu的各个组合,计算针对每个cu而计算的编码成本的合计,依照该合计为最小的cu的组合,对ctu500进行分割。

图6是示出包含图像的下端和右端双方的ctu的分割的一例的图。在图6所示的例子中,在ctu600中包含图像的右端601和图像的下端602。因此,编码模式判定部12将四分树结构应用于ctu600,并分割为4个正方形cu610-1~610-4。而且,编码模式判定部12针对cu610-1,由于在cu610-1中不包含图像的右端601和图像的下端602双方,所以也可以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本,确定是否对cu610-1进行四分割即可。此外,编码模式判定部12针对cu610-3,由于在cu610-3中包含图像的下端602,所以与图4所示的ctu400同样地,依照四分树结构或二分树结构反复进行分割直到在cu内不包含图像的下端602为止即可。另外,由于在cu610-2和cu610-4中不包含图像,所以可忽略cu610-2和cu610-4。

并且,编码模式判定部12针对遵循如上述那样所确定的cu分割模式的每个cu,确定tu分割模式。这时,编码模式判定部12针对可应用的每个tu分割模式,通过下式计算rd成本cost。

[式1]

其中,org(i)为关注的cu所包含的像素的值,ldec(i)表示使用关注的tu分割模式对该cu进行编码并进一步解码而获得的解码像素的值。此外,比特(bit)表示使用关注的tu分割模式对该cu进行编码时的编码量。(1)式的右边的第一项表示编码失真,右边的第二项表示编码量。因此,在rd成本为最小的tu分割模式中,编码失真和编码量达到最佳的平衡。

因此,编码模式判定部12选择rd成本cost为最小的tu分割模式。

编码模式判定部12将针对编码对象ctu选择出的cu和pu的分割模式和编码模式的组合通知给预测块生成部13,将tu分割模式通知给预测编码部14。此外,编码模式判定部12将针对编码对象ctu选择出的cu、pu和tu的分割模式和编码模式的组合保存到存储部16中。另外,表示将ctu分割为各个cu的分割模式的信息例如包含表示是否针对递归地分割ctu而获得的各个子块进行了分割的信息。并且,编码模式判定部12生成表示针对包含图像端部的ctu和递归地分割该ctu而获得的各个子块中的、包含图像端部的子块是应用4分树结构、还是应用二分树结构的语法。而且,编码模式判定部12向熵编码部17传送该语法。

图7是编码模式判定部12的分割模式和编码模式判定处理的动作流程图。

编码模式判定部12判定在关注的块中是否包含图像的端部(步骤s101)。另外,最开始第一个关注的块为编码对象ctu。

在关注的块中不包含图像的端部的情况下(步骤s101-否),编码模式判定部12将关注的块进行分割使得编码成本最小化(步骤s102)。另外,在不对关注的块进行分割时编码成本更小的情况下,关注的块也可以不进行进一步的分割。另一方面,在关注的块中包含图像的端部的情况下(步骤s101-是),编码模式判定部12判定在关注的块中是否包含图像的右端和下端双方(步骤s103)。

在关注的块中包含图像的右端和下端双方的情况下(步骤s103-是),编码模式判定部12对关注的块依照四分树结构进行四分割(步骤s104)。另一方面,在关注的块所包含的图像端部为图像的右端或下端中的任意一方的情况下(步骤s103-否),编码模式判定部12判定是否对包含关注的块的块进行了二分割(步骤s105)。

在对包含关注的块的块进行了二分割的情况下(步骤s105-是),编码模式判定部12也将关注的块分割为2个子块(步骤s106)。这时,编码模式判定部12也沿着与针对包含关注的块的块的分割方向相同的方向,对关注的块进行分割即可。

另一方面,在未对包含关注的块的块进行二分割的情况下(步骤s105-否),编码模式判定部12对关注的块进行四分割,从而生成正方形的4个子块。并且,编码模式判定部12对关注的块沿着与图像端部垂直的方向进行二分割,从而生成长方形的2个子块(步骤s107)。

在步骤s102、s104、s106或s107之后,编码模式判定部12判定是否存在包含图像端部的子块(步骤s108)。在任意的子块中包含图像端部的情况下(步骤s108-是),编码模式判定部12将各子块分别设定为关注的块(步骤s109)。而且,编码模式判定部12针对每个关注的块,执行步骤s101以后的处理。

另一方面,在任意的子块中都不包含图像端部的情况下(步骤s108-否),编码模式判定部12从所获得的块的组合中选择编码成本为最小的组合。而且,编码模式判定部12根据所选择的组合,确定cu、pu和tu各自的分割模式、所应用的编码模式(步骤s110)。而且,编码模式判定部12结束分割模式和编码模式判定处理。

预测块生成部13依照针对编码对象ctu而选择的cu和pu的分割模式和编码模式的组合,针对每个pu生成预测块。

例如,在对关注的pu进行帧内预测编码的情况下,预测块生成部13根据依照对该pu而选择的预测模式所参考的、该pu的周围的局部解码块内的像素的值,生成预测块。另一方面,在对关注的pu进行了帧间预测编码的情况下,预测块生成部13根据针对该pu计算出的运动矢量,对从存储部16读出的、针对该pu参考的局部解码图像进行运动补偿,生成预测块。

预测块生成部13向预测编码部14和解码部15传送所生成的预测块。

预测编码部14对编码对象ctu进行预测编码。

预测编码部14执行编码对象ctu内的各像素与预测块的对应像素之间的差分运算。而且,预测编码部14将针对编码对象ctu内的各tu,通过该差分运算而获得的与tu内的各像素对应的差分值设为该tu的各像素的预测误差信号。

并且,预测编码部14针对被帧间预测编码的各pu,依照由编码模式判定部12判定为所应用的矢量模式,生成该pu的预测矢量的候选的列表。而且,预测编码部14计算该pu的运动矢量与各预测矢量的候选之间的预测误差信号。预测编码部14针对被帧间预测编码的各pu,根据针对各预测矢量的候选计算出的预测误差信号,从各预测矢量的候选中确定预测矢量。然后,预测编码部14针对各pu的运动矢量,将在预测矢量的候选的列表中确定预测矢量的信息、和运动矢量与预测矢量之间的预测误差信号等传送到熵编码部17。

此外,预测编码部14针对编码对象ctu内的各tu,通过对该tu的预测误差信号进行正交变换,求出表示预测误差信号的水平方向上的频率成分和垂直方向上的频率成分的正交变换系数。例如,预测编码部14通过对预测误差信号执行离散余弦变换(discretecosinetransform,dct)作为正交变换处理,获得dct系数的组作为正交变换系数。

而且,预测编码部14通过在编码对象ctu中对每个tu的正交变换系数,依照包含指定量化宽度的qp值等的量化参数进行量化,计算量化后的正交变换系数。另外,以下,有时将量化后的正交变换系数简称作量化系数。

预测编码部14向解码部15和熵编码部17输出量化后的正交变换系数。

解码部15根据编码对象ctu内的各tu的量化系数,生成为了对比该tu靠后的cu等进行编码而参考的局部解码块,将该局部解码块存储到存储部16中。

解码部15通过对各tu的量化后的量化系数进行逆量化,恢复量化前的正交变换系数。例如,解码部15针对每个tu,对恢复后的正交变换系数进行逆正交变换。例如,在预测编码部14使用dct作为正交变换的情况下,解码部15执行逆dct处理作为逆正交变换。由此,解码部15针对每个tu,将具有与编码前的预测误差信号相同程度的信息的预测误差信号恢复。

解码部15针对每个tu,将该tu的预测块的各像素值加上恢复后的预测误差信号,由此生成局部解码块。

解码部15在每次生成局部解码块时,使存储部16存储该局部解码块。

并且,解码部15将通过对1张图像的局部解码块按照各ctu的编码顺序进行结合而获得的局部解码图像写入存储部16中。

存储部16临时存储从解码部15受理的局部解码块。存储部16向运动搜索部11、编码模式判定部12和预测块生成部13供给局部解码图像或局部解码块。另外,存储部16存储编码对象图像有可能参考的、预先确定的规定张数的局部解码图像,当局部解码图像的张数超过该规定张数时,从编码顺序早的局部解码图像起依次舍弃。

并且,存储部16存储针对帧间预测编码后的各个局部解码块的运动矢量。此外,存储部16存储针对各ctu所选择的cu、pu和tu的分割模式和编码模式的组合。

熵编码部17是附加部的一例,对编码对象ctu的各tu的量化系数和各种语法等进行熵编码。此外,熵编码部17针对帧间预测编码后的各pu,也对在预测矢量的候选的列表中确定预测矢量的信息等进行熵编码。另外,在语法中,针对包含图像端部的ctu,包含如下的语法:该语法表示针对该ctu和递归地分割该ctu而获得的、并且包含图像端部的每个子块,四分树结构和二分树结构中的所应用的一方。

在本实施方式中,熵编码部17使用基于上下文的自适应二进制算术编码(cabac,context-basedadaptivebinaryarithmeticcoding)这样的算术编码处理,作为熵编码方式。然后,熵编码部17输出通过熵编码而获得的比特流。

由熵编码部17输出的各ctu的比特流以规定的顺序结合,附加由hevc规定的报头信息等,由此能够获得包含编码后的动态图像数据的编码比特流。动态图像编码装置1将该编码比特流存储到存储装置(未图示)中,或者向其他设备输出该编码比特流,该存储装置具有磁记录介质、光记录介质或半导体存储器等。

图8是由动态图像编码装置1执行的动态图像编码处理的动作流程图。动态图像编码装置1针对每个ctu,依照以下所示的动作流程图执行动态图像编码处理。

运动搜索部11针对编码对象ctu内的能够应用帧间预测编码方式的各pu,计算运动矢量(步骤s201)。然后,运动搜索部11向编码模式判定部12通知各pu的运动矢量。另外,在包含编码对象ctu的编码对象图像为b图像的情况下,针对l0方向和l1方向分别计算运动矢量。此外,在编码对象图像为i图像的情况下,也可以省略步骤s201的处理。

编码模式判定部12针对编码对象ctu,将cu、pu和tu各自的分割模式、所应用的编码模式确定成使得编码成本最小化(步骤s202)。而且,编码模式判定部12将cu和pu的分割模式、所应用的编码模式通知给预测块生成部13,并且将tu分割模式通知给预测编码部14。此外,编码模式判定部12将cu、pu和tu各自的分割模式和所应用的编码模式存储到存储部16中。

预测块生成部13根据所确定的cu和pu的分割模式、所应用的编码模式,生成预测块(步骤s203)。然后,预测块生成部13向预测编码部14和解码部15传送所生成的预测块。

预测编码部14计算编码对象ctu与预测块的对应像素之间的预测误差信号(步骤s204)。然后,预测编码部14通过针对每个tu对各像素的预测误差信号进行正交变换,针对每个tu计算正交变换系数(步骤s205)。并且,预测编码部14对编码对象ctu的各tu的正交变换系数进行量化,计算量化系数(步骤s206)。而且,预测编码部14向解码部15和熵编码部17输出各tu的量化系数。

解码部15从针对编码对象ctu的各tu的量化系数而恢复预测误差信号,根据恢复后的预测误差信号和对应的预测块来生成与该ctu对应的局部解码块(步骤s207)。然后,解码部15将局部解码块存储到存储部16中。

熵编码部17对量化系数和各种语法等进行熵编码(步骤s208)。在各种语法中还包含表示针对包含图像端部的ctu或cu应用四分树结构和二分树结构中的哪一个结构的语法。熵编码部17输出所获得的编码比特流。而且,动态图像编码装置1结束针对一个ctu的动态图像编码处理。

如以上所说明的那样,该动态图像编码装置依照四分树结构和与图像端部垂直的方向上的二分树结构中的、编码成本小的一方,对包含图像的右端和下端中的任意一方的块进行分割。因此,该动态图像编码装置还能够从最开始起对包含图像端部的块应用二分树结构,所以能够防止对包含图像端部的块过度细地进行分割。并且,该动态图像编码装置针对包含图像端部的块,将表示四分树结构和二分树结构中的所应用的结构的语法附加于编码后的动态图像数据。另一方面,也可以针对应用了二分树结构的块,不将表示分割方向的语法附加于编码后的动态图像数据。因此,该动态图像编码装置能够削减编码动态图像数据所包含的、表示包含图像端部的块的分割模式的信息的编码量。因此,即使在图像端部包含在块内的情况下,该动态图像编码装置也能够提高编码效率。

图9是对由上述的实施方式的动态图像编码装置编码后的动态图像数据进行解码的动态图像解码装置的概略结构图。动态图像解码装置2具有熵解码部21、分割模式判定部22、预测块生成部23、解码部24和存储部25。

动态图像解码装置2具有的这些各部分别形成为单个的电路。或动态图像解码装置2具有的这些各部也可以作为集成有与该各部对应的电路的一个集成电路而安装在动态图像解码装置2中。并且,动态图像解码装置2具有的这些各部也可以是通过在动态图像解码装置2具有的处理器上执行的计算机程序来实现的功能模块。

动态图像解码装置2例如经由通信网络和接口电路取得包含编码后的动态图像数据的编码比特流,该接口电路用于将动态图像解码装置2与通信网络连接。然后,动态图像解码装置2使未图示的缓冲存储器存储该编码比特流。动态图像解码装置2以ctu为单位从缓冲存储器读出编码后的数据,向熵解码部21输入该以ctu为单位的数据。

熵解码部21对以ctu为单位进行编码后的数据进行熵解码。而且,熵解码部21对ctu内的各tu的量化系数进行解码。此外,熵解码部21针对进行帧间预测编码后的各cu,对用于针对该cu所包含的各pu确定运动矢量的信息(例如,表示所应用的矢量模式和运动矢量的预测矢量的信息等)进行熵解码。并且,熵解码部21针对进行帧内预测编码后的各cu,对针对该cu所包含的各pu的预测模式进行熵解码。并且,熵解码部21对包含所应用的分割模式和编码模式的各种语法进行熵解码。而且,熵解码部21向分割模式判定部22和预测块生成部23传送表示cu、pu和tu的分割模式的语法。并且,熵解码部21向分割模式判定部22传送表示针对包含图像端部的ctu、和递归地分割该ctu而获得并且包含图像端部的各个子块应用四分树结构和二分树结构中的哪一个结构的语法。此外,熵解码部21向预测块生成部23传送其他各种语法等。并且,熵解码部21向解码部24传送量化系数。

分割模式判定部22针对解码对象ctu,分割成每个cu。这时,在解码对象ctu中不包含图像端部的情况下,分割模式判定部22参考表示针对由熵解码部21解码的解码对象ctu的分割模式的语法,将解码对象ctu分割为每个cu即可。

另一方面,在解码对象ctu包含图像的右端和下端中的任意一方的情况下,分割模式判定部22参考表示应用了四分树结构和二分树结构中的哪一个结构的语法,对解码对象ctu进行四分割或二分割。即,在针对解码对象ctu应用了四分树结构的情况下,分割模式判定部22对解码对象ctu进行四分割。另一方面,在针对解码对象ctu应用了二分树结构的情况下,分割模式判定部22对解码对象ctu进行二分割。这时,分割模式判定部22沿着与解码对象ctu所包含的图像端部垂直的方向对解码对象ctu进行二分割即可。即,如果在解码对象ctu中包含图像的右端,则分割模式判定部22沿着水平方向对解码对象ctu进行二分割。另一方面,如果在解码对象ctu中包含图像的下端,则分割模式判定部22沿着垂直方向对解码对象ctu进行二分割。

此外,在解码对象ctu包含图像的右端和下端双方的情况下,分割模式判定部22对解码对象ctu进行四分割。

分割模式判定部22针对分割解码对象ctu而获得的各个子块,进行与针对解码对象ctu的处理相同的处理即可。而且,分割模式判定部22针对各个子块,在不包含图像端部并且通过解码后的语法示出不进行进一步分割的情况下,将该各个子块分别设为一个cu。

图10是分割模式判定部22的分割模式判定处理的动作流程图。

分割模式判定部22判定在关注的块中是否包含图像的端部(步骤s301)。另外,最开始第一个关注的块是解码对象ctu。

在关注的块中包含图像的端部的情况下(步骤s301-是),分割模式判定部22判定在关注的块中是否包含图像的右端和下端双方(步骤s302)。

在关注的块中包含图像的右端和下端双方的情况下(步骤s302-是),分割模式判定部22对关注的块依照四分树结构进行四分割(步骤s303)。另一方面,在关注的块所包含的图像端部为图像的右端或下端中的任意一方的情况下(步骤s302-否),分割模式判定部22判定是否对包含关注的块的块进行了二分割(步骤s304)。

在对包含关注的块的块进行了二分割的情况下(步骤s304-是),分割模式判定部22也将关注的块分割为2个子块(步骤s305)。这时,分割模式判定部22也沿着与针对包含关注的块的块的分割方向相同的方向,对关注的块进行分割即可。

另一方面,在未对包含关注的块的块进行二分割的情况下(步骤s304-否),分割模式判定部22依照四分树结构和二分树结构中的、由语法表示的结构,对关注的块进行分割(步骤s306)。

在步骤s303、s305或s306之后,分割模式判定部22将分割关注的块而获得的各个子块分别设定为关注的块(步骤s307)。然后,编码模式判定部12针对关注的每个块,执行步骤s301以后的处理。

另一方面,在步骤s301中在关注的块中不包含图像的端部的情况下(步骤s301-否),分割模式判定部22依照用语法表示的分割模式,将关注的块分割为各cu(步骤s308)。然后,当不存在包含图像端部的块时,分割模式判定部22结束分割模式判定处理。

分割模式判定部22向预测块生成部23通知表示解码对象ctu所包含的各cu的信息。

预测块生成部23针对解码对象ctu中所包含的每个cu,依照所应用的编码模式和pu的分割模式,参考已解码的图像或解码对象图像的已解码区域来生成该cu中所包含的各pu的预测块。这时,预测块生成部23根据表示所应用的矢量模式的信息和运动矢量的预测误差信号等,也对运动矢量进行解码。

与动态图像编码装置1的预测块生成部13同样地,预测块生成部23针对解码对象ctu的各pu,依照应用于该pu的编码模式生成预测块。即,预测块生成部23依照熵解码后的编码模式,确定在已解码的参考图像或解码对象图像中所参考的区域,根据所确定的区域,以pu为单位生成预测块。这时,在对作为解码对象的pu进行了帧间预测编码的情况下,预测块生成部23针对该pu,使用解码后的运动矢量确定在已解码的参考图像中所参考的区域即可。此外,在对作为解码对象的pu进行了帧内预测编码的情况下,预测块生成部23依照解码后的预测模式,确定在解码对象图像中被参考的区域即可。

预测块生成部23向解码部24输出所生成的预测块。

解码部24通过对从熵解码部21接收到的各tu的量化系数乘以相当于根据从解码后的报头信息取得的量化参数所确定的量化宽度的规定数量,进行逆量化。通过该逆量化,恢复各tu的正交变换系数。然后,解码部24针对每个tu,对正交变换系数进行逆正交变换处理。通过对各tu的量化系数执行逆量化处理和逆正交变换处理,可再现全体ctu的各像素的预测误差信号。

解码部24通过对各pu的预测块的各像素值加上与该像素对应的再现后的预测误差信号,能够对各pu进行解码。而且,解码部24通过依照编码顺序对解码后的各pu进行结合,对ctu进行解码。解码部24使存储部25存储解码后的ctu。此外,解码部24通过依照编码顺序对解码后的ctu进行结合,对整个图像进行解码。解码部24将解码后的图像存储到存储部25中,并且将解码后的图像存储到缓冲存储器中。缓冲存储器中所存储的解码后的各图像通过控制部(未图示)按照显示顺序输出到显示装置(未图示)。

存储部25临时存储从解码部24接收到的、解码后的ctu和解码后的图像。而且,存储部25将ctu作为参考区域或者将图像作为参考图像供给到预测块生成部23。另外,存储部25存储预先确定的规定张数的图像,当所存储的数据量超过相当于该规定张数的量时,从编码顺序早的图像起依次舍弃。

图11是由动态图像解码装置2执行的动态图像解码处理的动作流程图。动态图像解码装置2针对作为解码对象的每个ctu,执行图11所示的动态图像解码处理。

熵解码部21对以ctu为单位进行编码后的数据进行熵解码。由此,熵解码部21对解码对象ctu的各tu的量化系数和各种语法等进行解码(步骤s401)。

分割模式判定部22确定解码对象ctu中所包含的各个cu(步骤s402)。这时,分割模式判定部22依照图10所示的流程图确定各个cu即可。

预测块生成部23针对解码对象ctu的各cu,针对该cu中所包含的每个pu,参考所应用的编码模式生成预测块(步骤s403)。

解码部24通过对从熵解码部21接收到的量化系数乘以相当于量化宽度的规定数量,进行逆量化,其中该量化宽度是根据从编码比特流中包含的报头信息取得的量化参数所确定的。然后,解码部24通过对正交变换信号以tu为单位进行逆正交变换处理,再现解码对象ctu的各像素的预测误差信号。然后,解码部24通过对预测块的各像素值加上与该像素对应的再现后的预测误差信号,再现解码对象ctu(步骤s404)。解码部24将再现后的ctu存储到存储部25中。然后,动态图像解码装置2结束针对解码对象ctu的动态图像解码处理。

如以上所说明的那样,即使通过上述的实施方式的动态图像编码装置对包含图像端部的块应用了二分树结构,该动态图像解码装置也能够对编码后的动态图像数据进行解码。

另外,根据变形例,动态图像编码装置1的编码模式判定部12也可以针对依照二分树结构进行二分割的各个块,也生成表示分割方向的语法。而且,熵编码部17也可以针对依照二分树结构进行二分割的各个块,将表示分割方向的语法附加于编码后的动态图像数据。由此,针对依照二分树结构进行二分割的块,将分割方向明确地传递到动态图像解码装置2。因此,动态图像解码装置2的分割模式判定部22参考由熵解码部21解码后的表示分割方向的语法,对附加有表示应用了二分树结构的语法的块,沿着该分割方向进行二分割即可。

此外,根据其他变形例,也可以以cu为单位生成预测块。或者,也可以以cu为单位进行正交变换。在该情况下,动态图像编码装置1的编码模式判定部12也可以不对pu的分割模式或tu的分割模式进行汇总。

或者,也可以不对cu进行是否包含图像端部的判断。在该情况下,动态图像编码装置1的编码模式判定部12也可以与上述的实施方式中的cu同样地针对包含图像端部的pu确定分割模式。同样地,编码模式判定部12也可以与上述的实施方式中的cu同样地针对包含图像端部的tu确定分割模式。在该情况下,动态图像解码装置2的分割模式判定部22也在针对每个pu或每个tu对解码对象ctu进行分割时,与上述的实施方式同样地确定分割模式。

此外,根据其他变形例,也可以针对不包含图像端部的ctu,也依照二分树结构递归地进行二分割。在该情况下,在针对关注的ctu或分割关注的ctu而获得的各个子块依照四分树结构进行四分割的情况和依照二分树结构进行二分割的情况下,动态图像编码装置1的编码模式判定部12计算编码成本即可。而且,编码模式判定部12只要确定是应用四分树结构、还是应用二分树结构,以使编码成本最小化即可。此外,在该情况下,编码模式判定部12针对关注的ctu或递归地分割关注的ctu而获得的各个子块,生成表示四分树结构和二分树结构中的所应用的结构的语法。并且,编码模式判定部12针对应用二分树结构的ctu或子块,生成表示分割方向的语法。而且,动态图像编码装置1的熵编码部17将表示所应用的结构的语法和表示分割方向的语法包含在编码后的动态图像数据中。此外,动态图像解码装置2的分割模式判定部22参考表示所应用的结构的语法和表示分割方向的语法来判定解码对象ctu的cu的分割模式即可。

图12是通过使实现上述的实施方式或该变形例的动态图像编码装置或动态图像解码装置的各部的功能的计算机程序工作而作为动态图像编码装置或动态图像解码装置工作的计算机的结构图。

计算机100具有用户接口101、通信接口102、存储器103、存储介质访问装置104和处理器105。处理器105例如经由总线与用户接口101、通信接口102、存储器103和存储介质访问装置104连接。

用户接口101例如具有键盘和鼠标等输入装置、液晶显示器这样的显示装置。或者,用户接口101也可以具有触摸面板显示器这样的使输入装置与显示装置一体化的装置。而且,用户接口101例如根据用户的操作,将选择要编码的动态图像数据或要解码的动态图像数据的操作信号输出到处理器105。另外,要编码的动态图像数据或要解码的动态图像数据也可以通过在处理器105上工作的应用程序来确定。

通信接口102例如具有用于与依照以太网(注册商标)等的通信标准的通信网络连接的通信接口及其控制电路。而且,通信接口102从与通信网络连接的其他设备取得要编码的动态图像数据,向处理器105传送该数据。此外,通信接口102也可以将从处理器105接收到的编码动态图像数据经由通信网络输出到其他设备。此外,通信接口102也可以从与通信网络连接的其他设备取得包含作为解码对象的、编码后的动态图像数据的比特流,向处理器105传送该比特流。

存储器103是存储部的一例,例如具有可读写的半导体存储器和读出专用的半导体存储器。而且,存储器103存储在处理器105上执行的、用于执行动态图像编码处理的计算机程序或者用于执行动态图像解码处理的计算机程序。并且,存储器103存储在动态图像编码处理或动态图像解码处理的中途或作为结果生成的数据。

存储介质访问装置104是存储部的其他一例,例如是访问磁盘、半导体存储卡和光存储介质这样的存储介质106的装置。存储介质访问装置104例如读入存储在存储介质106中的、在处理器105上执行的动态图像编码处理用计算机程序或动态图像解码处理用计算机程序,传送到处理器105。

处理器105例如包含中央处理单元(cpu,centralprocessingunit)、图形处理单元(gpu,graphicsprocessingunit)和数值运算处理器中的任意一个。而且,处理器105通过执行上述的实施方式或变形例的动态图像编码处理用计算机程序,对动态图像数据进行编码。而且,处理器105将编码后的动态图像数据保存到存储器103中,或者经由通信接口102向其他设备输出。或者,处理器105通过执行上述的实施方式或变形例的动态图像解码处理用计算机程序,对编码后的动态图像数据进行解码。而且,处理器105使用户接口101的显示装置显示解码后的图像。

另外,可以按照记录在计算机可读介质中的形式提供能够在处理器上执行动态图像编码装置1的各部的功能的计算机程序。同样地,可以按照记录在计算机可读介质中的形式提供能够在处理器上执行动态图像解码装置2的各部的功能的计算机程序。但是,这样的记录介质不包含载波。

此处列举的所有示例和特定用语旨在教示的目的,用于帮助读者理解本发明和本发明人为推进该技术而提出的构思,并且与显示本发明的优势和劣势相关的、本说明书的所有示例结构应当被解释为不限定于这样特定的列举的示例和条件。尽管已经详细描述了本发明的实施方式,但是应当理解,在不偏离本发明的精神和范围的情况下,可以对其作出多种变更、替换和修正。

标号说明

1:动态图像编码装置;11:运动搜索部;12:编码模式判定部;13:预测块生成部;14:预测编码部;15:解码部;16:存储部;17:熵编码部;2:动态图像解码装置;21:熵解码部;22:分割模式判定部;23:预测块生成部;24:解码部;25:存储部;100:计算机;101:用户接口;102:通信接口;103:存储器;104:存储介质访问装置;105:处理器;106:存储介质。


技术特征:

1.一种动态图像编码装置,其对动态图像数据中包含的编码对象图像进行编码,其中,该动态图像编码装置具有:

分割模式判定部,其通过对分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块,依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述编码对象图像的端部;

预测块生成部,其针对所述多个子块中的各个子块,参考已编码的其他图像或所述编码对象图像的已编码区域,生成预测块;

编码部,其针对所述多个子块中的各个子块,计算该子块与对应的所述预测块的对应像素之间的预测误差,对所述预测误差进行编码;以及

附加部,其将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。

2.根据权利要求1所述的动态图像编码装置,其特征在于,

在分割所述图像端部块而获得的所述多个子块中的第1子块中包含所述编码对象图像的水平方向的端部或垂直方向的端部的情况下,所述分割模式判定部对该第1子块进一步依照四分树结构进行四分割,或者在与该第1子块所包含的所述端部垂直的方向上进行二分割,

所述附加部将表示针对所述第1子块进行了四分割还是进行了二分割的信息附加于编码后的所述动态图像数据中。

3.根据权利要求2所述的动态图像编码装置,其特征在于,

在对所述第1子块进行二分割而获得的第2子块中包含所述编码对象图像的水平方向的端部或垂直方向的端部的情况下,所述分割模式判定部沿着与对所述第1子块进行分割的方向相同的方向,对该第2子块进一步进行二分割。

4.根据权利要求1~3中的任意一项所述的动态图像编码装置,其中,

在对所述图像端部块进行了二分割的情况下,所述附加部将表示对所述图像端部块进行分割的方向的信息附加于编码后的所述动态图像数据中。

5.一种动态图像解码装置,其对编码后的动态图像数据中所包含的解码对象图像进行解码,其中,该动态图像解码装置具有:

分割模式判定部,其通过参考包含于所述编码后的动态图像数据中的、表示图像端部块是依照四分树结构进行了四分割、还是进行了二分割的分割信息,对所述图像端部块依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述解码对象图像的端部,其中,所述图像端部块是对分割所述解码对象图像而获得的多个块中的、包含所述解码对象图像的水平方向的端部和垂直方向的端部中的任意一方的块;

预测块生成部,其针对所述多个子块中的各个子块,参考已解码的其他图像或所述解码对象图像的已解码区域,生成预测块;

解码部,其针对所述多个子块中的各个子块,对所述编码后的动态图像数据中包含的该子块与对应的所述预测块的对应像素之间的预测误差加上所述预测块的对应像素的值,从而对所述图像端部块进行解码。

6.根据权利要求5所述的动态图像解码装置,其特征在于,

在对所述图像端部块进行二分割并且在分割所述图像端部块而获得的所述多个子块中的第1子块中包含所述解码对象图像的水平方向的端部或垂直方向的端部的情况下,所述分割模式判定部沿着与该第1子块所包含的所述端部垂直的方向,对该第1子块进一步进行二分割。

7.一种动态图像编码方法,对动态图像数据中包含的编码对象图像进行编码,其中,该动态图像编码方法包含以下步骤:

通过对分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块,依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述编码对象图像的端部;

针对所述多个子块中的各个子块,参考已编码的其他图像或所述编码对象图像的已编码区域,生成预测块;

针对所述多个子块中的各个子块,计算该子块与对应的所述预测块的对应像素之间的预测误差,对所述预测误差进行编码;以及

将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。

8.一种动态图像解码方法,对编码后的动态图像数据中所包含的解码对象图像进行解码,其中,该动态图像解码方法包含以下步骤:

通过参考包含于所述编码后的动态图像数据中的、表示图像端部块是依照四分树结构进行了四分割、还是进行了二分割的分割信息,对所述图像端部块依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述解码对象图像的端部,其中,所述图像端部块是对分割所述解码对象图像而获得的多个块中的、包含所述解码对象图像的水平方向的端部和垂直方向的端部中的任意一方的块;

针对所述多个子块中的各个子块,参考已解码的其他图像或所述解码对象图像的已解码区域,生成预测块;

针对所述多个子块中的各个子块,对所述编码后的动态图像数据中包含的该子块与对应的所述预测块的对应像素之间的预测误差加上所述预测块的对应像素的值,从而对所述图像端部块进行解码。

9.一种动态图像编码用计算机程序,其对动态图像数据中所包含的编码对象图像进行编码,该动态图像编码用计算机程序用于使计算机执行以下步骤:

通过对分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块,依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述编码对象图像的端部;

针对所述多个子块中的各个子块,参考已编码的其他图像或所述编码对象图像的已编码区域,生成预测块;

针对所述多个子块中的各个子块,计算该子块与对应的所述预测块的对应像素之间的预测误差,对所述预测误差进行编码;以及

将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。

10.一种动态图像解码用计算机程序,其对编码后的动态图像数据中所包含的解码对象图像进行解码,该动态图像解码用计算机程序用于使计算机执行以下步骤:

通过参考包含于所述编码后的动态图像数据中的、表示图像端部块是依照四分树结构进行了四分割、还是进行了二分割的分割信息,对所述图像端部块依照四分树结构进行四分割,或者在与该图像端部块所包含的所述端部垂直的方向上进行二分割,将所述图像端部块分割为多个子块,以使任意一个子块中都不包含所述解码对象图像的端部,其中所述图像端部块是对分割所述解码对象图像而获得的多个块中的、包含所述解码对象图像的水平方向的端部和垂直方向的端部中的任意一方的块;

针对所述多个子块中的各个子块,参考已解码的其他图像或所述解码对象图像的已解码区域,生成预测块;

针对所述多个子块中的各个子块,对所述编码后的动态图像数据中包含的该子块与对应的所述预测块的对应像素之间的预测误差加上所述预测块的对应像素的值,从而对所述图像端部块进行解码。

技术总结
动态图像编码装置具有:分割模式判定部,其通过对分割编码对象图像而获得的多个块中的、包含编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块依照四分树结构进行四分割,或者在与图像端部块所包含的编码对象图像的端部垂直的方向上进行二分割,将图像端部块分割为多个子块;预测块生成部,其针对各子块,参考已编码的其他图像或编码对象图像的已编码区域,生成预测块;编码部,其针对各子块,计算该子块与对应的预测块的对应像素之间的预测误差,对预测误差进行编码;以及附加部,其将表示针对图像端部块进行了四分割、还是进行了二分割的分割信息附加于编码后的动态图像数据中。

技术研发人员:武内健士郎;G·D·C·巴洛克斯;数井君彦
受保护的技术使用者:富士通株式会社
技术研发日:2017.10.20
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-7928.html

最新回复(0)