编码装置、解码装置、编码方法和解码方法与流程

本发明涉及对包含多个图片的运动图像进行编码的编码装置等。

背景技术：

以往，作为用于对运动图像进行编码的规格，存在h.265。h.265也被称为hevc(highefficiencyvideocoding，高效视频编码)(非专利文献1)。

现有技术文献

非专利文献

非专利文献1：h.265(iso/iec23008－2hevc)/hevc(highefficiencyvideocoding)

技术实现要素：

发明要解决的课题

然而，如果没有适当地设定与运动图像的编码有关的信息，则不能适当地进行运动图像的编码。

因此，本发明提供一种能够适当地设定与运动图像的编码相关联的信息的编码装置等。

用于解决课题的手段

有关本发明的一技术方案的编码装置是对包含多个图片的运动图像进行编码的编码装置，具备电路和存储器，上述电路使用上述存储器，进行：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，上述电路在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

另外，这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的cd－rom等的非暂时性记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

有关本发明的一技术方案的编码装置等能够适当地设定与运动图像的编码相关联的信息。

附图说明

图1是表示有关实施方式1的编码装置的功能结构的框图。

图2是表示实施方式1的块分割的一例的图。

图3是表示与各变换类型对应的变换基函数的表。

图4a是表示alf中使用的滤波器的形状的一例的图。

图4b是表示alf中使用的滤波器的形状的另一例的图。

图4c是表示alf中使用的滤波器的形状的另一例的图。

图5a是表示帧内预测的67个帧内预测模式的图。

图5b是用来说明基于obmc处理进行的预测图像修正处理的概要的流程图。

图5c是用来说明基于obmc处理进行的预测图像修正处理的概要的概念图。

图5d是表示fruc的一例的图。

图6是用来说明沿着运动轨迹的2个块之间的图案匹配(双向匹配)的图。

图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的图。

图8是用来说明假定了等速直线运动的模型的图。

图9a是用来说明基于多个相邻块的运动矢量进行的子块单位的运动矢量的导出的图。

图9b是用来说明基于合并模式的运动矢量导出处理的概要的图。

图9c是用来说明dmvr处理的概要的概念图。

图9d是用来说明采用基于lic处理的亮度修正处理的预测图像生成方法的概要的图。

图10是表示有关实施方式1的解码装置的功能结构的框图。

图11是表示实施方式1中的编码装置的循环滤波部的结构的框图。

图12a是表示实施方式1中的滤波器信息的管理步骤的第1具体例的流程图。

图12b是表示实施方式1中的滤波器信息的设定步骤的第1具体例的流程图。

图13a是表示实施方式1中的滤波器信息的管理步骤的第2具体例的流程图。

图13b是表示实施方式1中的滤波器信息的设定步骤的第2具体例的流程图。

图14a是表示实施方式1中的滤波器信息的参照限制的第1具体例的概念图。

图14b是表示实施方式1中的滤波器信息的参照限制的第2具体例的概念图。

图15是表示实施方式1中的解码装置的循环滤波部的结构的框图。

图16是表示变形方式中的滤波器信息的处理顺序的第1具体例的流程图。

图17是表示变形方式中的滤波器信息的处理步骤的第2具体例的流程图。

图18是表示变形方式中的pps通知的第1具体例的概念图。

图19是表示变形方式中的pps通知的第2具体例的概念图。

图20a是表示变形方式中的pps通知的第3具体例的概念图。

图20b是表示变形方式中的pps通知的第4具体例的概念图。

图21a是表示变形方式中的pps通知的第5具体例的概念图。

图21b是表示变形方式中的pps通知的第6具体例的概念图。

图22是表示编码装置的安装例的框图。

图23是表示编码装置的第1动作例的流程图。

图24是表示编码装置的第2动作例的流程图。

图25是表示编码装置的第3动作例的流程图。

图26是表示编码装置的第4动作例的流程图。

图27是表示解码装置的安装例的框图。

图28是表示解码装置的第1动作例的流程图。

图29是表示解码装置的第2动作例的流程图。

图30是表示解码装置的第3动作例的流程图。

图31是表示解码装置的第4动作例的流程图。

图32是实现内容分发服务的内容供给系统的整体结构图。

图33是表示可分级编码时的编码构造的一例的图。

图34是表示可分级编码时的编码构造的一例的图。

图35是表示web页的显示画面例的图。

图36是表示web页的显示画面例的图。

图37是表示智能电话的一例的图。

图38是表示智能电话的结构例的框图。

具体实施方式

(本发明的基础见解)

例如，编码包括多个图片的运动图像的编码装置可以参照多个图片中的已编码图片来编码多个图片中的编码对象图片。同样地，解码包括多个图片的运动图像的解码装置可以参照多个图片中的已解码图片来解码多个图片中的解码对象图片。

有时对多个图片分别分配有表示与时间可扩展性有关的层次的时间id。时间id与0以上的整数值对应。例如，在编码对象图片的编码中，禁止参照时间id大于编码对象图片的已编码图片。由此，适当地限制在编码对象图片的编码中被参照的已编码图片，并抑制编码对象图片的编码中处理的复杂化。

同样地，在解码对象图片的解码中，禁止参照时间id大于解码对象图片的已解码图片。由此，适当地限制在解码对象图片的解码中被参照的已解码图片，并且抑制解码对象图片的解码中处理的复杂化。另外，解码装置通过仅对所有图片中的时间id在规定值以下的一部分图片进行解码，能够在运动图像的解码中进行间隔剔除，能够削减处理量。

另外，在运动图像的编码及解码中，有时将包含在多个图片中的图片作为tsa(temporalsub-layeraccess，时间子层访问)图片使用。例如，在按编码顺序为tsa图片以后的图片的编码中，禁止针对按编码顺序比tsa图片靠前的多个图片中的、与tsa图片相比时间id相同或更大的图片的参照。

tsa图片被解码时，可以从与tsa图片相比时间id小的各图片被解码的状态向与tsa图片相比时间id相同或大的各图片被解码的状态转变。这样，将向时间id更大的图片被解码的状态转变的情况称为上移。

时间id大的图片有可能不通过间隔剔除来解码。而且，在不使用tsa图片那样的限制地进行上移的情况下，有可能参照未解码的图片。因此，在不使用tsa图片那样的限制的情况下，适当的上移是困难的。

此外，在运动图像的编码及解码中，有包含在多个图片中的图片被用作stsa(step―wisetemporalsub-layeraccess，步进式时间子层访问)图片的情况。例如，按编码顺序在stsa图片以后且时间id与stsa图片相同的图片的编码中，禁止针对按编码顺序比stsa图片靠前且时间id与stsa图片相同的图片的参照。

由此，可以适当地从时间id小于stsa图片的各图片被解码的状态向时间id与stsa图片相同的各图片被解码的状态转变。

即，在tsa图片中，保证了从与tsa图片相比时间id小的各图片被解码的状态向与tsa图片相比时间id相同或大的各图片被解码的状态转变的上移。在stsa图片中，保证了从与stsa图片相比时间id小的各图片被解码的状态向与stsa图片相比时间id相同的各图片被解码的状态转变的上移。

另外，在运动图像的编码及解码中，使用各种信息。自适应循环滤波器的滤波器信息是在运动图像的编码及解码中使用的信息的一例。自适应循环滤波器是用于使在运动图像的编码或解码中生成的重构图像接近原图像的滤波器，是用于对重构图像进行平滑化或锐化等图像处理的滤波器。

通过适当地设定滤波器信息，使用滤波器信息对重构图像适当地应用自适应循环滤波器，适当地进行运动图像的编码及解码。另一方面，如果未适当地设定滤波器信息，则不能适当地进行运动图像的编码及解码。即，如果在运动图像的编码及解码中使用的信息未被适当设定，则不能适当地进行运动图像的编码及解码。

因此，例如，有关本发明的一技术方案的编码装置是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中，应用自适应循环滤波器的编码装置，其中，具备电路和存储器，上述电路使用上述存储器，进行：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按编码顺序比上述第1图片靠前的第2图片建立关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，上述电路在决定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer，网络抽象层)单元类型是规定nal单元类型的情况下，也可以禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

由此，编码装置能够参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，编码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，编码装置能够以与针对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，在决定上述第1滤波器信息的步骤中，上述电路可以禁止将第4滤波器信息作为上述第2滤波器信息进行参照，该第4滤波器信息与第4图片建立了关联，该第4图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id比上述第1图片大的图片。

由此，参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第2滤波器信息进行参照。因此，在时间可扩展性方面，以与对图片进行的参照限制相同的方式，编码装置能够对与图片建立了关联的滤波器信息进行参照限制。因此，编码装置能够适当地限制并设定被参照的滤波器信息。

另外，例如，上述电路还进行：参照第6滤波器信息来决定第5滤波器信息的步骤，该第5滤波器信息用于对上述多个图片中的按编码顺序比上述第1图片靠后的第5图片应用自适应循环滤波器，该第6滤波器信息与上述多个图片中的按编码顺序比上述第5图片靠前的第6图片建立了关联；以及使用所决定的上述第5滤波器信息，对上述第5图片应用自适应循环滤波器的步骤，上述电路在决定上述第5滤波器信息的步骤中，在将上述第1图片的nal单元类型作为上述规定nal单元类型的情况下，也可以禁止将与上述第3图片建立关联的上述第3滤波器信息作为上述第6滤波器信息进行参照。

由此，编码装置能够参照第6图片的第6滤波器信息来决定按编码顺序比第1图片靠后的第5图片的第5滤波器信息。此时，编码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，编码装置能够在比规定nal单元类型的第1图片靠后处，以与针对与第1图片相同层次的图片可能进行的参照限制相同的方式，对与第1图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述电路在决定上述第5滤波器信息的步骤中，在上述第1图片的nal单元类型为上述规定nal单元类型的情况下，也可以禁止将第4滤波器信息作为上述第6滤波器信息进行参照，该第4滤波器信息与第4图片建立关联，该第4图片是与上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id大于上述第1图片的图片。

由此，参照第6图片的第6滤波器信息来决定第5图片的第5滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第5滤波器信息进行参照。

即，编码装置能够在比规定nal单元类型的第1图片靠后处，以对时间id大于第1图片的图片可以进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述电路在决定上述第1滤波器信息的步骤中，在上述第1图片与第7图片之间，存在时间id与上述第7图片相同或者时间id小于上述第7图片的第8图片，该第7图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id大于0的图片，在上述第8图片的nal单元类型是上述规定nal单元类型的情况下，也可以禁止将与上述第7图片建立了关联的第7滤波器信息作为上述第2滤波器信息进行参照。

由此，编码装置能够在比规定nal单元类型的第8图片靠后处，禁止将与第8图片相比时间id相同或大的第7图片的第7滤波器信息作为第2滤波器信息进行参照。

即，编码装置能够在比规定nal单元类型的第8图片靠后处，以与可以对第7图片进行的参照限制相同的方式，对第7图片的第7滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述规定nal单元类型也可以是tsa(temporalsub-layeraccess)图片的nal单元类型。

由此，编码装置能够以与对与tsa图片相同层次的图片可能进行的参照限制相同的方式，对与tsa图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述电路还进行：参照第6滤波器信息来决定第5滤波器信息的步骤，该第5滤波器信息用于对上述多个图片中的按编码顺序比上述第1图片靠后的第5图片应用自适应循环滤波器，该第6滤波器信息与上述多个图片中的按编码顺序比上述第5图片靠前的第6图片建立了关联；以及使用所决定的上述第5滤波器信息，对上述第5图片应用自适应循环滤波器的步骤，上述电路在决定上述第5滤波器信息的步骤中，在上述第1图片的nal单元类型为上述规定nal单元类型且上述第5图片的时间id与上述第1图片的时间id相同的情况下，也可以禁止将与上述第3图片建立了关联的上述第3滤波器信息作为上述第6滤波器信息进行参照。

由此，编码装置能够参照第6图片的第6滤波器信息，决定在按编码顺序比第1图片靠后处与第1图片相同层次的第5图片的第5滤波器信息。此时，编码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，编码装置能够在比规定nal单元类型的第1图片靠后且在与第1图片相同层次处，以与对比第1图片靠前的图片可以进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述规定nal单元类型可以是stsa(step―wisetemporalsub-layeraccess)图片的nal单元类型。

由此，编码装置能够以与对与stsa图片相同层次的图片可能进行的参照限制相同的方式，对与stsa图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，有关本发明的一技术方案的解码装置，在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的解码中，应用自适应循环滤波器，具备电路和存储器，上述电路使用上述存储器，进行：参照参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息在上述多个图片中的按解码顺序比上述第1图片靠前的第2图片建立了关联；使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，上述电路在决定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer)单元类型是规定nal单元类型的情况下，也可以禁止将第3滤波器信息作为第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是在上述多个图片中的按解码顺序比上述第1图片靠前的图片，是时间id与上述第1图片相同的图片。

由此，解码装置能够参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，解码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，解码装置能够以对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，在决定上述第1滤波器信息的步骤中，上述电路可以禁止将第4滤波器信息作为上述第2滤波器信息进行参照，该第4滤波器信息与第4图片建立关联，该第4图片是上述多个图片中的按解码顺序比上述第1图片靠前的图片，且是与时间id大于上述第1图片的图片。

由此，参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第2滤波器信息进行参照。因此，在时间可扩展性方面，解码装置能够以与对图片可能进行的参照限制相同的方式，对与图片建立了关联的滤波器信息进行参照限制。因此，解码装置能够适当地限制并设定被参照的滤波器信息。

另外，例如，上述电路还进行：参照第6滤波器信息来决定第5滤波器信息的步骤，该第5滤波器信息用于对上述多个图片中的按解码顺序比上述第1图片靠后的第5图片应用自适应循环滤波器，该第6滤波器信息与上述多个图片中的按解码顺序比上述第5图片靠前的第6图片建立了关联；以及使用所决定的上述第5滤波器信息，对上述第5图片应用自适应循环滤波器的步骤，上述电路在决定上述第5滤波器信息的步骤中，在将上述第1图片的nal单元类型作为上述规定nal单元类型的情况下，也可以禁止将与上述第3图片建立了关联的上述第3滤波器信息作为上述第6滤波器信息进行参照。

由此，解码装置能够参照第6图片的第6滤波器信息来决定按解码顺序比第1图片靠后的第5图片的第5滤波器信息。此时，解码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，解码装置能够在比规定nal单元类型的第1图片靠后处，以与对与第1图片相同层次的图片可能进行的参照限制相同的方式，对与第1图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述电路在决定上述第5滤波器信息的步骤中，在上述第1图片的nal单元类型为上述规定nal单元类型的情况下，也可以禁止将第4滤波器信息作为上述第6滤波器信息进行参照，该第4滤波器信息与第4图片建立关联，该第4图片是与上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id大于上述第1图片的图片。

因此，参照第6图片的第6滤波器信息来决定第5图片的第5滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第5滤波器信息进行参照。

即，解码装置能够在比规定nal单元类型的第1图片靠后处，对时间id大于第1图片的图片进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，在决定上述第1滤波器信息的步骤中，上述电路在上述第1图片与第7图片之间，存在时间id与上述第7图片相同或者时间id比上述第7图片小的第8图片，在上述第8图片的nal单元类型是上述规定nal单元类型的情况下，也可以禁止将与上述第7图片建立了关联的第7滤波器信息作为上述第2滤波器信息进行参照，第7图片是上述多个图片中的按解码顺序比上述第1图片靠前的图片，且是时间id大于0的图片。

由此，解码装置能够在比规定nal单元类型的第8图片靠后处，禁止将与第8图片相比时间id相同或大的第7图片的第7滤波器信息作为第2滤波器信息进行参照。

即，解码装置能够在比规定nal单元类型的第8图片靠后处，以与可以对第7图片进行的参照限制相同的方式，对第7图片的第7滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述规定nal单元类型也可以是tsa(temporalsub-layeraccess)图片的nal单元类型。

由此，解码装置能够以与可以对与tsa图片相同层次的图片进行的参照限制相同的方式，对与tsa图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，上述电路还进行：参照第6滤波器信息来决定第5滤波器信息的步骤，该第5滤波器信息用于对上述多个图片中的按解码顺序比上述第1图片靠后的第5图片应用自适应循环滤波器，该第6滤波器信息与上述多个图片中的按解码顺序比上述第5图片靠前的第6图片建立了关联；以及使用所决定的上述第5滤波器信息，对上述第5图片应用自适应循环滤波器的步骤，上述电路在决定上述第5滤波器信息的步骤中，在将上述第1图片的nal单元类型作为上述规定nal单元类型、上述第5图片的时间id与上述第1图片的时间id相同的情况下，也可以禁止将与上述第3图片建立了关联的上述第3滤波器信息作为上述第6滤波器信息进行参照。

由此，解码装置能够参照第6图片的第6滤波器信息，决定在按解码顺序比第1图片靠后处与第1图片相同层次的第5图片的第5滤波器信息。此时，解码装置能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，解码装置能够在比规定nal单元类型的第1图片靠后且与第1图片相同层次处，以与对比第1图片靠前的图片可以进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述规定nal单元类型可以是stsa(step―wisetemporalsub-layeraccess)图片的nal单元类型。

由此，解码装置能够以与可以对与stsa图片相同层次的图片进行的参照限制相同，对与stsa图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，有关本发明的一技术方案的编码方法，是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中，应用自适应循环滤波器的编码方法，该编码方法包括：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按编码顺序比上述第1图片靠前的第2图片建立关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，在决定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer)单元类型是规定nal单元类型的情况下，也可以禁止第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

由此，可以参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，可以禁止将与规定nal单元类型的第1图片层相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，能够以与对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，可以将滤波器信息与图片建立关联并适当地管理，可以适当地限制并设定参照的滤波器信息。因此，可以适当地设定与运动图像的编码相关的信息。

另外，例如，有关本发明的一技术方案的解码方法，是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的解码中，应用自适应循环滤波器的解码方法，该解码方法包括：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按解码顺序比上述第1图片靠前的第2图片建立关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，在决定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer)单元类型是规定nal单元类型的情况下，也可以禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按解码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

由此，可以参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，可以禁止将与规定nal单元类型的第1图片层相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，能够以与对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，可以将滤波器信息与图片建立关联并适当地管理，可以适当地限制并设定参照的滤波器信息。因此，可以适当地设定与运动图像的解码相关的信息。

另外，例如，有关本发明的一技术方案的编码装置是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中，应用自适应循环滤波器的编码装置，具备电路和存储器，上述电路使用上述存储器，进行：对分别分配有0作为表示与上述时间可扩展性有关的层次的时间id的多个参数集进行编码的步骤，该时间id表示与上述时间可扩展性有关的层次；以及在上述多个参数集的编码后，对上述多个图片中的按编码顺序为最初的图片进行编码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别也可以是针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，编码装置能够首先对与多个层次分别对应的多个参数集汇总并进行编码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述多个图片构成第1图片组，上述多个参数集构成第1参数集组，上述运动图像还包含构成第2图片组的多个图片，上述电路还进行：在构成上述第1图片组的图片的编码后，对构成第2参数集组的多个参数集进行编码的步骤，该构成第2参数集组的多个参数集分别分配有0作为表示与上述时间可扩展性有关的层次的时间id；以及在构成上述第2参数集组的上述多个参数集的编码后，在构成上述第2图片组的上述多个图片中的按编码顺序为最初的图片进行编码的步骤，构成上述第2参数集组的上述多个参数集分别对应于由分配给构成上述第2图片组的上述多个图片的多个时间id所示的多个层次，构成上述第2参数集组的上述多个参数集也可以分别是针对构成上述第2图片组的上述多个图片中的、分配有表示构成上述第2参数集组的该参数集所对应的层次时间id的1个以上的图片的参数集。

由此，对于每个图片组，编码装置能够首先对与多个层次分别对应的多个参数集汇总并进行编码。因此，编码装置能够对每个图片组适当地设定与运动图像的编码相关联的信息。

另外，例如，有关本发明的一技术方案的解码装置是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码装置，具备电路和存储器，上述电路使用上述存储器，进行：对分别分配有0作为时间id的多个参数集进行解码的步骤，该时间id表示与上述时间可扩展性有关的层次；以及在上述多个参数集的解码后，对上述多个图片中的按解码顺序为最初的图片进行解码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别也可以是针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，解码装置能够首先对与多个层次分别对应的多个参数集进行汇总并解码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，上述多个图片构成第1图片组，上述多个参数集构成第1参数集组，上述运动图像还包含构成第2图片组的多个图片，上述电路还进行：在构成上述第1图片组的图片的解码后，对构成第2参数集组的多个参数集进行解码的步骤，该构成第2参数集组的多个参数集分别分配有0作为表示与上述时间可扩展性有关的层次的时间id；以及构成上述第2参数集组的上述多个参数集的解码后，对构成上述第2图片组的上述多个图片中的按解码顺序为最初的图片进行解码的步骤，构成上述第2参数集组的上述多个参数集分别对应于由分配给构成上述第2图片组的上述多个图片的多个时间id所示的多个层次，构成上述第2参数集组的上述多个参数集也可以分别是针对构成上述第2图片组的上述多个图片中的、分配有表示构成上述第2参数集组的该参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，对于每个图片组，解码装置能够首先对与多个层次分别对应的多个参数集进行汇总解码。因此，解码装置能够对每个图片组适当地设定与运动图像的解码相关联的信息。

另外，例如，有关本发明的一技术方案的编码方法是对包含分别分配有表示与时间可扩展性有关的层次的时间id多个图片的运动图像进行编码的编码方法，该编码方法包括：对分别分配有0作为表示与上述时间可扩展性有关的层次的时间id的多个参数集进行编码的步骤；以及在上述多个参数集的编码后，对上述多个图片中的按编码顺序为最初的图片进行编码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别也可以是针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，能够首先对与多个层次分别对应的多个参数集汇总并进行编码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，可以适当地设定与运动图像的编码相关的信息。

另外，例如，有关本发明的一技术方案的解码方法是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码方法，该解码方法包括：对分别分配有0作为时间id的多个参数集进行解码的步骤，该时间id表示与上述时间可扩展性有关的层次；以及在上述多个参数集的解码后，对上述多个图片中的按解码顺序为最初的图片进行解码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别也可以是针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，能够首先对与多个层次分别对应的多个参数集汇总并进行解码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，可以适当地设定与运动图像的解码相关的信息。

另外，例如，有关本发明的一技术方案的编码装置是对包含多个图片的运动图像进行编码的编码装置，具备电路和存储器，上述电路使用上述存储器，进行：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，上述电路在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

由此，编码装置能够在规定图片之前对规定图片的参数集进行编码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述规定图片可以是tsa(temporalsub-layeraccess)图片。

由此，编码装置能够在tsa图片之前对针对tsa图片的参数集进行编码。因此，在用于tsa图片的上移等中，可以适当地处理针对tsa图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，上述电路在上述第1动作中，在上述第1图片的编码后，对作为包含针对上述第2图片的上述参数集的多个参数集的多个关联参数集进行编码，在上述多个关联参数集的编码后，对上述第2图片进行编码，上述多个关联参数集分别对应于由分配给上述第2图片的时间id以上的多个图片时间id所示的多个层次，上述多个关联参数集分别是上述多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，编码装置能够在规定图片之前，分别对针对时间id与规定图片相同或者时间id大于规定图片的多个图片的多个参数集进行编码。因此，在针对时间id大于规定图片的图片的上移等中，可以适当地处理参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述规定图片可以是stsa(step―wisetemporalsub-layeraccess，步进式时间子层访问)图片。

由此，编码装置能够在stsa图片之前对针对stsa图片的参数集进行编码。因此，在针对stsa图片的上移等中，可以适当地处理针对stsa图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述第2图片可以是上述多个图片中接着上述第1图片被编码的图片。

由此，编码装置在即将对规定图片进行编码前，能够适当地对规定图片的参数集进行编码。因此，可以适当地处理针对规定图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，上述电路还在对上述多个图片中的按编码顺序为最初的图片进行编码之前，对作为包含针对上述第2图片的上述参数集的多个参数集的多个总括参数集进行编码，上述多个总括参数集分别对应于由分配给上述多个图片的多个时间id所示的多个层次，上述多个总括参数集分别是上述多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上图片的参数集。

由此，编码装置即使在包含针对规定图片的参数集的多个参数集首先被编码的情况下，也能够在规定图片之前再次对针对规定图片的参数集进行编码。因此，可以适当地处理针对规定图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，有关本发明的一技术方案的解码装置是对包含多个图片的运动图像进行解码的解码装置，具备电路和存储器，上述电路利用上述存储器，进行：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在对上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，上述电路在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

由此，解码装置能够在规定图片之前对规定图片的参数集进行解码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述规定图片可以是tsa(temporalsub-layeraccess，时间子层访问)图片。

由此，解码装能够在tsa图片之前对针对tsa图片的参数集进行解码。因此，在用于tsa图片的上移等中，可以适当地处理针对tsa图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，上述电路在上述第1动作中，在上述第1图片的解码后，对包含作为针对上述第2图片的上述参数集的多个参数集的多个关联参数集进行解码，在上述多个关联参数集的解码后，对上述第2图片进行解码，上述多个关联参数集分别对应于由分配给上述第2图片的时间id以上的多个时间id所示的多个层次，上述多个关联参数集分别是上述多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上的图片的参数集。

由此，解码装置能够在规定图片之前，分别对针对时间id与规定图片相同，或者时间id比规定图片大的多个图片的多个参数集进行解码。因此，在针对时间id大于规定图片的图片的上移等中，可以适当地处理参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述规定图片可以是stsa(step―wisetemporalsub-layeraccess)图片。

由此，解码装置能够在stsa图片之前对针对stsa图片的参数集进行解码。因此，在针对stsa图片的上移等中，可以适当地处理针对stsa图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述第2图片可以是上述多个图片中的接着上述第1图片被解码的图片。

由此，解码装置能够在即将对规定图片解码之前适当地对规定图片的参数集进行解码。因此，可以适当地处理针对规定图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，上述电路还在对上述多个图片中的按解码顺序为最初的图片进行解码前，对作为上述第2图片的包含上述参数集的多个参数集的多个总括参数集进行解码，上述多个总括参数集分别对应于由分配给上述多个图片的多个时间id所示的多个层次，上述多个总括参数集分别是上述多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上图片的参数集。

由此，解码装置即使在包含针对规定图片的参数集的多个参数集首先被解码的情况下，也能够在规定图片之前再次对针对规定图片的参数集进行解码。因此，可以适当地处理针对规定图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

另外，例如，有关本发明的一技术方案的编码方法是对包含多个图片的运动图像进行编码的编码方法，该编码方法包括：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，可以进行上述第1动作。

由此，能够在规定图片之前对规定图片的参数集进行编码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，可以适当地设定与运动图像的编码相关的信息。

此外，例如，有关本发明的一技术方案的解码方法是对包含多个图片的运动图像进行解码的解码方法，该解码方法包括：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在对上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，在进行上述第1动作或第2动作的步骤中，在上述第2图片是规定图片的情况下，可以进行上述第1动作。

由此，能够在规定图片之前对规定图片的参数集进行解码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，可以适当地设定与运动图像的解码相关的信息。

另外，例如，有关本发明的一技术方案的编码装置是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码的编码装置，具备电路和存储器。上述电路使用上述存储器，进行：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，上述电路在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

由此，编码装置能够在中间层的图片之前对针对中间层的图片的参数集进行编码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

此外，例如，上述电路在进行上述第1动作或上述第2动作的步骤中，即使在分配给上述第2图片的时间id是上述最大的时间id的情况下，也可以进行上述第1动作。

由此，编码装置能够在最上层图片之前对针对最上层图片的参数集进行编码。因此，在针对最上层图片的上移等中，可以适当地处理针对最上层图片的参数集。因此，编码装置能够适当地设定与运动图像的编码相关联的信息。

另外，例如，上述电路在分配给上述第2图片的时间id是上述多个时间id中的第2大的时间id的情况下进行的上述第1动作时，在上述第1图片的编码后，对上述参数集及最上位参数集进行编码，在上述参数集及上述最上位参数集的编码后，对上述第2图片进行编码，上述最上位参数集可以是针对分配有上述最大的时间id的1个以上的图片的参数集。

由此，编码装置能够高效地对包含针对最上层图片的参数集的2个参数集进行编码。

另外，例如，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id是上述最大的时间id的情况下，上述电路也可以进行上述第2动作。

由此，编码装置能够省略在最上层图片之前对最上层图片的参数集进行编码。

另外，例如，在进行上述第1动作或上述第2动作的步骤中，在针对上述多个图片的序列参数集中包含的规定标志为规定值的条件下，在分配给上述第2图片的时间id比上述最小的时间id大、且比上述最大的时间id小的情况下，上述电路也可以进行上述第1动作。

由此，编码装置能够在规定的序列中，在中间层的图片之前适当地对针对中间层的图片的参数集进行编码。

此外，例如，在上述规定标志是上述规定值的条件下，在分配给该图片的时间id不是上述最小的时间id的情况下，上述多个图片分别也可以是tsa(temporalsub-layeraccess)图片。

由此，编码装置能够在除了最下层之外由tsa图片构成的规定序列中，在中间层图片之前适当地对针对中间层图片的参数集进行编码。

另外，例如，有关本发明的一技术方案的解码装置是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码装置，具备电路和存储器，上述电路使用上述存储器，进行：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片解码的第2动作的步骤，上述电路在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

由此，解码装置能够在中间层的图片之前对针对中间层的图片的参数集进行解码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，上述电路在进行上述第1动作或上述第2动作的步骤中，即使在分配给上述第2图片的时间id是上述最大的时间id的情况下，也可以进行上述第1动作。

由此，解码装置能够在最上层图片之前对针对最上层图片的参数集进行解码。因此，在针对最上层图片的上移等中，可以适当地处理针对最上层图片的参数集。因此，解码装置能够适当地设定与运动图像的解码相关联的信息。

此外，例如，在分配给上述第2图片的时间id是上述多个时间id中的第2大的时间id的情况下进行的上述第1动作时，上述电路在上述第1图片的解码后，对上述参数集及最上位参数集进行解码，在上述参数集及上述最上位参数集的解码后，对上述第2图片解码，上述最上位参数集可以是针对分配有上述最大的时间id的1个以上的图片的参数集。

由此，解码装置能够高效地对包含针对最上层图片的参数集的2个参数集进行解码。

另外，例如，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id是上述最大的时间id的情况下，上述电路也可以进行上述第2动作。

由此，解码装置能够省略在最上层图片之前对针对最上层图片的参数集进行解码。

另外，例如，在进行上述第1动作或上述第2动作的步骤中，在针对上述多个图片的序列参数集中包含的规定标志为规定值的条件下，在分配给上述第2图片的时间id比上述最小的时间id大、且比上述最大的时间id小的情况下，上述电路也可以进行上述第1动作。

由此，解码装置能够在规定的序列中，在中间层图片之前适当地对针对中间层图片的参数集进行解码。

此外，例如，在上述规定标志是上述规定值的条件下，在分配给该图片的时间id不是上述最小的时间id的情况下，上述多个图片分别也可以是tsa(temporalsub-layeraccess)图片。

由此，解码装置能够在除了最下层之外由tsa图片构成的规定序列中，在中间层图片之前适当地对针对中间层图片的参数集进行解码。

另外，例如，有关本发明的一技术方案的编码方法是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码的编码方法，该编码方法包括：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

由此，能够在中间层的图片之前对中间层的图片的参数集进行编码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，可以适当地设定与运动图像的编码相关的信息。

另外，例如，有关本发明的一技术方案的解码方法是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码方法，该解码方法包括：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在对上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

由此，有可能在中间层的图片之前对针对中间层的图片的参数集进行解码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，可以适当地设定与运动图像的解码相关的信息。

此外，例如，有关本发明的一技术方案的编码装置可以具备分割部、帧内预测部、帧间预测部、变换部、量化部、熵编码部以及滤波器部。

上述分割部可以将图片分割成多个块。上述帧内预测部可以对上述多个块中包含的块进行帧内预测。上述帧间预测部可以对上述块进行帧间预测。上述变换部可以变换通过上述帧内预测或上述帧间预测得到的预测图像与原图像之间的预测误差，生成变换系数。上述量化部可以量化上述转换系数并生成量化系数。上述熵编码部可以编码上述量化系数并生成编码比特流。上述滤波器部也可以将滤波器应用于使用上述预测图像生成的重构图像。

另外，例如，上述编码装置也可以是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中应用自适应循环滤波器的编码装置。

并且，上述滤波器部进行：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按编码顺序比上述第1图片靠前的第2图片建立了关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤。

并且，在决定上述第1滤波器信息的步骤中，在上述第1图片的nal单元类型是规定nal单元类型的情况下，上述滤波器部也可以禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

另外，例如，上述编码装置也可以是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码的编码装置。

并且，上述熵编码部也可以进行：对分别分配有0作为表示与上述时间可扩展性有关的层次的时间id的多个参数集进行编码的步骤；以及在上述多个参数集的编码后，对上述多个图片中的按编码顺序在最初的图片进行编码的步骤。

并且，上述多个参数集分别对应于由分配给上述多个图片的多个时间id所示的多个层次，上述多个参数集分别也可以是对多个图片中的分配有表示上述该参数集所对应的层次的时间id的1个以上的图片的参数集。

另外，例如，上述编码装置也可以是对包含多个图片的运动图像进行编码的编码装置。

并且，上述熵编码部进行：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，对上述第2图片进行编码的第2动作的步骤。

并且，上述熵编码部在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，也可以进行上述第1动作。

另外，例如，上述编码装置也可以是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码的编码装置。

并且，上述熵编码部进行：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，对上述第2图片进行编码的第2动作的步骤。

并且，上述熵编码部在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

此外，例如，有关本发明的一技术方案的解码装置可以具备熵解码部、逆量化部、逆变换部、帧内预测部、帧间预测部以及滤波器部。

上述熵解码部可以从编码比特流解码图像内的块的量化系数。上述逆量化部可以对上述量化系数进行逆量化来取得变换系数。上述逆变换部可以对上述变换系数进行逆变换来取得预测误差。帧内预测部可以对上述块进行帧内预测。上述帧间预测部可以对上述块进行帧间预测。上述滤波器部可以对使用通过上述帧内预测或上述帧间预测得到的预测图像和上述预测误差而生成的重构图像应用滤波器。

另外，例如，上述解码装置也可以是在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的解码中应用自适应循环滤波器的解码装置。

并且，上述滤波器部进行：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按解码顺序比上述第1图片靠前的第2图片建立了关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器。

并且，在决定上述第1滤波器信息的步骤中，在上述第1图片的nal单元类型是规定nal单元类型的情况下，上述滤波器部也可以禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按解码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

此外，例如，上述解码装置也可以是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码装置。

并且，上述熵解码部也可以进行：对分别分配有0作为时间id的多个参数集进行解码的步骤，该时间id表示与上述时间可扩展性有关的层次；以及在上述多个参数集的解码后，对上述多个图片中的按解码顺序在最初的图片进行解码的步骤。

并且，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别也可以是针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

此外，例如，上述解码装置也可以是对包含多个图片的运动图像进行解码的解码装置。

并且，上述熵解码部可以进行：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片进行解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述图片第1图片的解码后，不对上述参数集进行解码，对上述第2图片进行解码的第2动作的步骤。

并且，上述熵解码部在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，可以进行上述第1动作。

此外，例如，上述解码装置也可以是对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码的解码装置。

并且，上述熵解码部可以进行：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片进行解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述图片第1图片的解码后，不对上述参数集进行解码，对上述第2图片进行解码的第2动作的步骤。

并且，上述熵解码部在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，可以进行上述第1动作。

而且，这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的cd－rom等的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图具体地说明实施方式。

另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定权利要求的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。

(实施方式1)

首先，作为能够应用在后述的本发明的各形态中说明的处理及/或结构的编码装置及解码装置的一例，说明实施方式1的概要。但是，实施方式1只不过是能够应用在本发明的各形态中说明的处理及/或结构的编码装置及解码装置的一例，在本发明的各形态中说明的处理及/或结构在与实施方式1不同的编码装置及解码装置中也能够实施。

在对于实施方式1应用在本发明的各形态中说明的处理及/或结构的情况下，例如也可以进行以下中的某个。

(1)对于实施方式1的编码装置或解码装置，将构成该编码装置或解码装置的多个构成要素中的、与在本发明的各形态中说明的构成要素对应的构成要素，替换为在本发明的各形态中说明的构成要素；

(2)对于实施方式1的编码装置或解码装置，在对构成该编码装置或解码装置的多个构成要素中的一部分构成要素施以功能或实施的处理的追加、替换、删除等的任意的变更后，将与在本发明的各形态中说明的构成要素对应的构成要素替换为在本发明的各形态中说明的构成要素；

(3)对于实施方式1的编码装置或解码装置实施的方法，施以处理的追加、及/或对于该方法中包含的多个处理中的一部分处理施以替换、删除等的任意的变更后，将与在本发明的各形态中说明的处理对应的处理替换为在本发明的各形态中说明的处理；

(4)将构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素，与在本发明的各形态中说明的构成要素、具备在本发明的各形态中说明的构成要素所具备的功能的一部分的构成要素、或实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合而实施；

(5)将具备构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素所具备的功能的一部分的构成要素、或实施构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素所实施的处理的一部分的构成要素，与在本发明的各形态中说明的构成要素、具备在本发明的各形态中说明的构成要素所具备的功能的一部分的构成要素、或实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合而实施；

(6)对于实施方式1的编码装置或解码装置所实施的方法，将该方法中包含的多个处理中的与在本发明的各形态中说明的处理对应的处理，替换为在本发明的各形态中说明的处理；

(7)将在实施方式1的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理与在本发明的各形态中说明的处理组合而实施。

另外，在本发明的各形态中说明的处理及/或结构的实施的方式并不限定于上述的例子。例如，也可以在以与实施方式1中公开的运动图像/图像编码装置或运动图像/图像解码装置不同的目的使用的装置中实施，也可以将在各形态中说明的处理及/或结构单独地实施。此外，也可以将在不同的形态中说明的处理及/或结构组合而实施。

[编码装置的概要]

首先，说明有关实施方式1的编码装置的概要。图1是表示有关实施方式1的编码装置100的功能结构的框图。编码装置100是将运动图像/图像以块单位进行编码的运动图像/图像编码装置。

如图1所示，编码装置100是将图像以块单位进行编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、循环滤波部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。

编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的1个以上的电子电路实现。

以下，对编码装置100中包含的各构成要素进行说明。

[分割部]

分割部102将输入运动图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定尺寸(例如128×128)的块。该固定尺寸的块有被称作编码树单元(ctu)的情况。并且，分割部102基于递归性的四叉树(quadtree)及/或二叉树(binarytree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64×64以下)的块。该可变尺寸的块有被称作编码单元(cu)、预测单元(pu)或变换单元(tu)的情况。另外，在本实施方式中，不需要将cu、pu及tu区分，而也可以将图片内的一部分或全部的块作为cu、pu、tu的处理单位。

图2是表示实施方式1的块分割的一例的图。在图2中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。

这里，块10是128×128像素的正方形块(128×128块)。该128×128块10首先被分割为4个正方形的64×64块(四叉树块分割)。

左上方的64×64块再被垂直地分割为2个矩形的32×64块，左方的32×64块再被垂直地分割为2个矩形的16×64块(二叉树块分割)。结果，左上方的64×64块被分割为2个16×64块11、12和32×64块13。

右上方的64×64块被水平地分割为2个矩形的64×32块14、15(二叉树块分割)。

左下方的64×64块被分割为4个正方形的32×32块(四叉树块分割)。4个32×32块中的左上方的块及右下方的块进一步被分割。左上方的32×32块被垂直地分割为2个矩形的16×32块，右方的16×32块再被水平地分割为2个16×16块(二叉树块分割)。右下方的32×32块被水平地分割为2个32×16块(二叉树块分割)。结果，左下方的64×64块被分割为16×32块16、2个16×16块17、18、2个32×32块19、20、以及2个32×16块21、22。

右下方的64×64块23不被分割。

如以上这样，在图2中，块10基于递归性的四叉树及二叉树块分割而被分割为13个可变尺寸的块11～23。这样的分割有被称作qtbt(quad－treeplusbinarytree，四叉树加二叉树)分割的情况。

另外，在图2中，1个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于此。例如，也可以是1个块被分割为3个块(三叉树分割)。包括这样的三叉树分割在内的分割有被称作mbt(multitypetree，多类型树)分割的情况。

[减法部]

减法部104以由分割部102分割的块单位从原信号(原样本)减去预测信号(预测样本)。即，减法部104计算编码对象块(以下称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差向变换部106输出。

原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，也有将表示图像的信号也称作样本的情况。

[变换部]

变换部106将空间域的预测误差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测误差进行预先设定的离散余弦变换(dct)或离散正弦变换(dst)。

另外，变换部106也可以从多个变换类型之中适应性地选择变换类型，使用与所选择的变换类型对应的变换基函数(transformbasisfunction)，将预测误差变换为变换系数。这样的变换有被称作emt(explicitmultiplecoretransform，多核变换)或amt(adaptivemultipletransform，自适应多变换)的情况。

多个变换类型例如包括dct－ii、dct－v、dct－viii、dst－i及dst－vii。图3是表示与各变换类型对应的变换基函数的表。在图3中，n表示输入像素的数量。从这些多个变换类型之中的变换类型的选择，例如既可以依赖于预测的种类(帧内预测及帧间预测)，也可以依赖于帧内预测模式。

表示是否应用这样的emt或amt的信息(例如称作amt标志)及表示所选择的变换类型的信息以cu级被信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。

此外，变换部106也可以对变换系数(变换结果)进行再变换。这样的再变换有被称作ast(adaptivesecondarytransform，自适应二次变换)或nsst(non－separablesecondarytransform，不可分二次变换)的情况。例如，变换部106按与帧内预测误差对应的变换系数的块中包含的每个子块(例如4×4子块)进行再变换。表示是否应用nsst的信息及与nsst中使用的变换矩阵有关的信息以cu级被进行信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。

这里，separable(可分离)的变换是指与输入的维度数相当地按每个方向分离而进行多次变换的方式，non－separable(不可分)的变换是指当输入是多维时将2个以上的维度合起来看作1个维度而一起进行变换的方式。

例如，作为non－separable的变换的1例，可以举出在输入是4×4的块的情况下将其看作具有16个元素的一个排列，对该排列以16×16的变换矩阵进行变换处理的方式。

此外，同样，在将4×4的输入块看作具有16个元素的一个排列后对该排列多次进行givens旋转的方式(hypercubegivenstransform)，也是non－separable的变换的例子。

[量化部]

量化部108对从变换部106输出的变换系数进行量化。具体而言，量化部108对当前块的变换系数以规定的扫描顺序进行扫描，基于与被扫描的变换系数对应的量化参数(qp)对该变换系数进行量化。并且，量化部108将当前块的量化后的变换系数(以下称作量化系数)向熵编码部110及逆量化部112输出。

规定的顺序是用于变换系数的量化/逆量化的顺序。例如，用频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)定义规定的扫描顺序。

量化参数是指定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化误差增大。

[熵编码部]

熵编码部110通过对作为来自量化部108的输入的量化系数进行可变长编码，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数进行二值化，对二值信号进行算术编码。

[逆量化部]

逆量化部112对作为来自量化部108的输入的量化系数进行逆量化。具体而言，逆量化部112对当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。

[逆变换部]

逆变换部114通过对作为来自逆量化部112的输入的变换系数进行逆变换，复原预测误差。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，复原当前块的预测误差。并且，逆变换部114将复原后的预测误差向加法部116输出。

另外，复原后的预测误差由于通过量化丢失了信息，所以与减法部104计算出的预测误差不一致。即，复原后的预测误差中包含量化误差。

[加法部]

加法部116通过将作为来自逆变换部114的输入的预测误差与作为来自预测控制部128的输入的预测样本相加，重构当前块。并且，加法部116将重构的块向块存储器118及循环滤波部120输出。重构块有被称作本地解码块的情况。

[块存储器]

块存储器118是用来将在帧内预测中参照的、编码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器118保存从加法部116输出的重构块保存。

[循环滤波部]

循环滤波部120对由加法部116重构的块施以循环滤波，将滤波后的重构块向帧存储器122输出。循环滤波是指在编码循环内使用的滤波(环内滤波)，例如包括解块滤波(df)、样本自适应偏移(sao)及自适应循环滤波(alf)等。

在alf中，采用用来除去编码失真的最小二乘误差滤波器，例如按当前块内的每个2×2子块，采用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。

具体而言，首先将子块(例如2×2子块)分类为多个类(例如15或25类)。子块的分类基于梯度的方向及活性度来进行。例如，使用梯度的方向值d(例如0～2或0～4)和梯度的活性值a(例如0～4)，计算分类值c(例如c＝5d a)。并且，基于分类值c，将子块分类为多个类(例如15或25类)。

梯度的方向值d例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较而导出。此外，梯度的活性值a例如通过将多个方向的梯度相加、并对相加结果进行量化来导出。

基于这样的分类的结果，从多个滤波器之中决定用于子块的滤波器。

作为在alf中使用的滤波器的形状，例如使用圆对称形状。图4a～图4c是表示在alf中使用的滤波器的形状的多个例子的图。图4a表示5×5钻石形状滤波器，图4b表示7×7钻石形状滤波器，图4c表示9×9钻石形状滤波器。表示滤波器的形状的信息以图片级被进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级或cu级)。

alf的开启/关闭例如以图片级或cu级决定。例如，关于亮度，以cu级决定是否采用alf，关于色差，以图片级决定是否采用alf。表示alf的开启/关闭的信息以图片级或cu级被进行信号化。另外，表示alf的开启/关闭的信息的信号化并不需要限定于图片级或cu级，也可以是其他级(例如，序列级、切片级、瓦片级或ctu级)。

可选择的多个滤波器(例如到15个或25个为止的滤波器)的系数集以图片级被进行信号化。另外，系数集的信号化并不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级、cu级或子块级)。

[帧存储器]

帧存储器122是用来将在帧间预测中使用的参照图片进行保存的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器122保存由循环滤波部120滤波后的重构块。

[帧内预测部]

帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测(也称作画面内预测)，从而生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，并将帧内预测信号向预测控制部128输出。

例如，帧内预测部124使用预先规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式包括1个以上的非方向性预测模式和多个方向性预测模式。

1个以上的非方向性预测模式例如包括由h.265/hevc(high－efficiencyvideocoding)规格(非专利文献1)规定的planar(平面)预测模式及dc预测模式。

多个方向性预测模式例如包括由h.265/hevc规格规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图5a是表示帧内预测中的67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的图。实线箭头表示由h.265/hevc规格规定的33个方向，虚线箭头表示追加的32个方向。

另外，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作cclm(cross－componentlinearmodel，跨组件的线性模型)预测的情况。也可以将这样的参照亮度块的色差块的帧内预测模式(例如称作cclm模式)作为色差块的帧内预测模式的1个来添加。

帧内预测部124也可以基于水平/垂直方向的参照像素的梯度，将帧内预测后的像素值进行修正。伴随着这样的修正的帧内预测有被称作pdpc(positiondependentintrapredictioncombination，位置决定的帧内预测组合)的情况。表示有没有采用pdpc的信息(例如称作pdpc标志)例如以cu级被进行信号化。另外，该信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。

[帧间预测部]

帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测信号(帧间预测信号)。帧间预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126对于当前块或子块，在参照图片内进行运动估计(motionestimation)。并且，帧间预测部126使用通过运动估计得到的运动信息(例如运动矢量)进行运动补偿，从而生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。

在运动补偿中使用的运动信息被信号化。在运动矢量的信号化中也可以使用预测运动矢量(motionvectorpredictor)。即，也可以是运动矢量与预测运动矢量之间的差被信号化。

另外，也可以是，不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。具体而言，也可以将基于通过运动估计得到的运动信息的预测信号、与基于相邻块的运动信息的预测信号进行加权相加，由此以当前块内的子块单位生成帧间预测信号。这样的帧间预测(运动补偿)有被称作obmc(overlappedblockmotioncompensation，重叠块运动补偿)的情况。

在这样的obmc模式中，对表示用于obmc的子块的尺寸的信息(例如称作obmc块尺寸)以序列级进行信号化。此外，对表示是否采用obmc模式的信息(例如称作obmc标志)以cu级进行信号化。另外，这些信息的信号化的级别并不需要限定于序列级及cu级，也可以是其他级(例如图片级、切片级、瓦片级、ctu级或子块级)。

对于obmc模式更具体地进行说明。图5b及图5c是用来说明基于obmc处理进行的预测图像修正处理的概要的流程图及概念图。

首先，使用被分配给编码对象块的运动矢量(mv)，取得通过通常的运动补偿得到的预测图像(pred)。

接着，对编码对象块采用已编码的左相邻块的运动矢量(mv_l)而取得预测图像(pred_l)，通过将上述预测图像和pred_l加权叠加，进行预测图像的第1次修正。

同样，对编码对象块采用已编码的上相邻块的运动矢量(mv_u)而取得预测图像(pred_u)，通过对进行上述第1次修正后的预测图像和pred_u加权叠加，进行预测图像的第2次修正，将其作为最终的预测图像。

另外，这里说明了使用左相邻块和上相邻块的两阶段的修正的方法，但也可以构成为使用右相邻块及下相邻块进行比两阶段多的次数的修正。

另外，进行叠加的区域也可以不是块整体的像素区域，而仅是块边界附近的一部分区域。

另外，这里对根据1张参照图片的预测图像修正处理进行了说明，但在根据多张参照图片对预测图像进行修正的情况下也是同样的，在根据各个参照图片取得修正后的预测图像后，将得到的预测图像进一步叠加，由此作为最终的预测图像。

另外，上述处理对象块也可以是预测块单位，也可以是将预测块进一步分割的子块单位。

作为是否采用obmc处理的判定的方法，例如有使用表示是否采用obmc处理的信号即obmc_flag的方法。作为具体的一例，在编码装置中，判定编码对象块是否属于运动复杂的区域，在属于运动复杂的区域的情况下，作为obmc_flag而设定值1并采用obmc处理进行编码，在不属于运动复杂的区域的情况下，作为obmc_flag而设定值0，不采用obmc处理而进行编码。另一方面，在解码装置中，通过将流中记述的obmc_flag解码，根据其值切换是否采用obmc处理，来进行解码。

另外，也可以不将运动信息进行信号化，而在解码装置侧导出。例如，也可以使用由h.265/hevc规格规定的合并模式。此外，例如也可以通过在解码装置侧进行运动估计来导出运动信息。在此情况下，不使用当前块的像素值而进行运动估计。

这里，对在解码装置侧进行运动估计的模式进行说明。该在解码装置侧进行运动估计的模式有被称作pmmvd(patternmatchedmotionvectorderivation，图案匹配的运动矢量推导)模式或fruc(framerateup－conversion，帧速率上转换)模式的情况。

在图5d中表示fruc处理的一例。首先，参照与当前块在空间或时间上相邻的已编码块的运动矢量，生成分别具有预测运动矢量的多个候选的列表(也可以与合并列表共用)。接着，从登记在候选列表中的多个候选mv之中选择最佳候选mv。例如，计算候选列表中包含的各候选的评价值，基于评价值选择1个候选。

并且，基于所选择的候选的运动矢量，导出用于当前块的运动矢量。具体而言，例如将所选择的候选的运动矢量(最佳候选mv)原样作为用于当前块的运动矢量来导出。此外，例如也可以通过在与所选择的候选的运动矢量对应的参照图片内的位置的周边区域中进行图案匹配，来导出用于当前块的运动矢量。即，也可以对最佳候选mv的周边区域通过同样的方法进行搜索，在有评价值为更好的值的mv的情况下，将最佳候选mv更新为上述mv，将其作为当前块的最终的mv。另外，也可以做成不实施该处理的结构。

也可以在以子块单位进行处理的情况下也进行完全同样的处理。

另外，关于评价值，通过与运动矢量对应的参照图片内的区域和规定区域之间的图案匹配求出重构图像的差分值来计算。另外，也可以是，除了差分值以外还使用其以外的信息来计算评价值。

作为图案匹配，使用第1图案匹配或第2图案匹配。第1图案匹配及第2图案匹配有分别被称作双向匹配(bilateralmatching)及模板匹配(templatematching)的情况。

在第1图案匹配中，在不同的2个参照图片内的、沿着当前块的运动轨迹(motiontrajectory)的2个块之间进行图案匹配。因而，在第1图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用沿着当前块的运动轨迹的其他参照图片内的区域。

图6是用来说明沿着运动轨迹的2个块间的图案匹配(双向匹配)的一例的图。如图6所示，在第1图案匹配中，通过在沿着当前块(curblock)的运动轨迹的2个块、且不同的2个参照图片(ref0，ref1)内的2个块的对之中搜索最匹配的对，导出2个运动矢量(mv0，mv1)。具体而言，对于当前块，导出由候选mv指定的第1已编码参照图片(ref0)内的指定位置处的重构图像、与由将上述候选mv以显示时间间隔进行缩放后的对称mv指定的第2已编码参照图片(ref1)内的指定位置处的重构图像的差分，使用所得到的差分值计算评价值。可以在多个候选mv之中选择评价值为最好的值的候选mv作为最终mv。

在连续性的运动轨迹的假定下，指示2个参照块的运动矢量(mv0，mv1)相对于当前图片(curpic)与2个参照图片(ref0，ref1)之间的时间上的距离(td0，td1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1图案匹配中，导出镜像对称的双方向的运动矢量。

在第2图案匹配中，在当前图片内的模板(在当前图片内与当前块相邻的块(例如上及/或左相邻块))与参照图片内的块之间进行图案匹配。因而，在第2图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用当前图片内的与当前块相邻的块。

图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的图。如图7所示，在第2图案匹配中，通过在参照图片(ref0)内搜索与在当前图片(curpic)内相邻于当前块(curblock)的块最匹配的块，导出当前块的运动矢量。具体而言，对于当前块，导出左相邻及上相邻的双方或某一方的已编码区域的重构图像与由候选mv指定的已编码参照图片(ref0)内的同等位置处的重构图像的差分，使用所得到的差分值计算评价值，在多个候选mv之中选择评价值为最好的值的候选mv作为最佳候选mv。

这样的表示是否采用fruc模式的信息(例如称作fruc标志)以cu级被信号化。此外，在采用fruc模式的情况下(例如fruc标志为真的情况下)，表示图案匹配的方法(第1图案匹配或第2图案匹配)的信息(例如称作fruc模式标志)以cu级被信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。

这里，说明基于假定了等速直线运动的模型来导出运动矢量的模式。该模式有被称作bio(bi－directionalopticalflow，双向光流)的情况。

图8是用来说明假定了等速直线运动的模型的图。在图8中，(vx，vy)表示速度矢量，τ0、τ1分别表示当前图片(curpic)与2个参照图片(ref0，ref1)之间的时间上的距离。(mvx0，mvy0)表示与参照图片ref0对应的运动矢量，(mvx1，mvy1)表示与参照图片ref1对应的运动矢量。

此时，在速度矢量(vx，vy)的等速直线运动的假定下，(mvx0，mvy0)及(mvx1，mvy1)分别被表示为(vxτ0，vyτ0)及(－vxτ1，－vyτ1)，以下的光流(opticalflow)等式(1)成立。

[数式1]

这里，i^(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积的和等于零。基于该光流等式与埃尔米特内插值(hermiteinterpolation)的组合，对从合并列表等得到的块单位的运动矢量以像素单位进行修正。

另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个相邻块的运动矢量，以子块单位导出运动矢量。

这里，对基于多个相邻块的运动矢量以子块单位导出运动矢量的模式进行说明。该模式有被称作仿射运动补偿预测(affinemotioncompensationprediction)模式的情况。

图9a是用来说明基于多个相邻块的运动矢量进行的子块单位的运动矢量的导出的图。在图9a中，当前块包括16个4×4子块。这里，基于相邻块的运动矢量，导出当前块的左上角控制点的运动矢量v0，基于相邻子块的运动矢量，导出当前块的右上角控制点的运动矢量v1。并且，使用2个运动矢量v0及v1，通过以下的式(2)，导出当前块内的各子块的运动矢量(vx，vy)。

[数式2]

这里，x及y分别表示子块的水平位置及垂直位置，w表示预先设定的权重系数。

在这样的仿射运动补偿预测模式中，也可以包括左上及右上角控制点的运动矢量的导出方法不同的若干模式。表示这样的仿射运动补偿预测模式的信息(例如称作仿射标志)以cu级被信号化。另外，表示该仿射运动补偿预测模式的信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。

[预测控制部]

预测控制部128选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号，向减法部104及加法部116输出。

这里，说明通过合并模式导出编码对象图片的运动矢量的例子。图9b是用来说明基于合并模式的运动矢量导出处理的概要的图。

首先，生成登记有预测mv的候选的预测mv列表。作为预测mv的候选，有在空间上位于编码对象块的周边的多个已编码块所具有的mv即空间相邻预测mv、将已编码参照图片中的编码对象块的位置投影的近旁的块所具有的mv即时间相邻预测mv、将空间相邻预测mv与时间相邻预测mv的mv值组合而生成的mv即结合预测mv、以及值为零的mv即零预测mv等。

接着，通过从登记在预测mv列表中的多个预测mv之中选择1个预测mv，决定为编码对象块的mv。

进而，在可变长编码部中，将作为表示选择了哪个预测mv的信号的merge_idx记述在流中并编码。

另外，在图9b中说明的预测mv列表中登记的预测mv是一例，也可以是与图中的个数不同的个数、或者是不包含图中的预测mv的一部分种类的结构、或者是追加了图中的预测mv的种类以外的预测mv的结构。

另外，也可以使用通过合并模式导出的编码对象块的mv进行后述的dmvr处理，从而决定最终的mv。

这里，对使用dmvr处理决定mv的例子进行说明。

图9c是用来说明dmvr处理的概要的概念图。

首先，将对处理对象块设定的最优mvp作为候选mv，按照上述候选mv，从作为l0方向的已处理图片的第1参照图片及作为l1方向的已处理图片的第2参照图片分别取得参照像素，通过取各参照像素的平均来生成模板。

接着，使用上述模板，分别搜索第1参照图片及第2参照图片的候选mv的周边区域，将成本最小的mv决定为最终的mv。另外，关于成本值，使用模板的各像素值与搜索区域的各像素值的差分值及mv值等来计算。

另外，在编码装置及解码装置中，这里说明的处理的概要基本上是共通的。

另外，即使不是这里说明的处理本身，只要是能够搜索候选mv的周边并导出最终的mv的处理，也可以使用其他处理。

这里，对使用lic处理生成预测图像的模式进行说明。

图9d是用来说明使用基于lic处理的亮度修正处理的预测图像生成方法的概要的图。

首先，导出用来从作为已编码图片的参照图片取得与编码对象块对应的参照图像的mv。

接着，对于编码对象块，使用左相邻及上相邻的已编码周边参照区域的亮度像素值和由mv指定的参照图片内的同等位置处的亮度像素值，提取表示在参照图片和编码对象图片中亮度值怎样变化的信息，计算亮度修正参数。

通过使用上述亮度修正参数对由mv指定的参照图片内的参照图像进行亮度修正处理，生成对于编码对象块的预测图像。

另外，图9d中的上述周边参照区域的形状是一例，也可以使用其以外的形状。

此外，这里对根据1张参照图片生成预测图像的处理进行了说明，但在根据多张参照图片生成预测图像的情况下也是同样的，在对从各个参照图片取得的参照图像以同样的方法进行亮度修正处理后生成预测图像。

作为是否采用lic处理的判定的方法，例如有使用作为表示是否采用lic处理的信号的lic_flag的方法。作为具体的一例，在编码装置中，判定编码对象块是否属于发生了亮度变化的区域，在属于发生了亮度变化的区域的情况下，作为lic_flag而设定值1，采用lic处理进行编码，在不属于发生了亮度变化的区域的情况下，作为lic_flag而设定值0，不采用lic处理而进行编码。另一方面，在解码装置中，通过将记述在流中的lic_flag解码，根据其值切换是否采用lic处理而进行解码。

作为是否采用lic处理的判定的其他方法，例如还有按照在周边块是否采用了lic处理来判定的方法。作为具体的一例，在编码对象块是合并模式的情况下，判定在合并模式处理中的mv的导出时所选择的周边的已编码块是否采用lic处理进行了编码，根据其结果，切换是否采用lic处理而进行编码。另外，在该例的情况下，解码中的处理也完全同样。

[解码装置的概要]

接着，对能够将从上述编码装置100输出的编码信号(编码比特流)进行解码的解码装置的概要进行说明。图10是表示有关实施方式1的解码装置200的功能结构的框图。解码装置200是将运动图像/图像以块单位进行解码的运动图像/图像解码装置。

如图10所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、循环滤波部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。

解码装置200例如由通用处理器及存储器实现。在此情况下，当由处理器执行了保存在存储器中的软件程序时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以作为与熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的1个以上的电子电路实现。

以下，对解码装置200中包含的各构成要素进行说明。

[熵解码部]

熵解码部202对编码比特流进行熵解码。具体而言，熵解码部202例如从编码比特流算数解码为二值信号。接着，熵解码部202将二值信号进行多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。

[逆量化部]

逆量化部204对作为来自熵解码部202的输入的解码对象块(以下称作当前块)的量化系数进行逆量化。具体而言，逆量化部204对于当前块的量化系数，分别基于与该量化系数对应的量化参数，对该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。

[逆变换部]

逆变换部206通过对作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。

例如在从编码比特流读解出的信息表示采用emt或amt的情况下(例如amt标志是真)，逆变换部206基于读解出的表示变换类型的信息，对当前块的变换系数进行逆变换。

此外，例如在从编码比特流读解出的信息表示采用nsst的情况下，逆变换部206对变换系数应用逆再变换。

[加法部]

加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测样本相加，重构当前块。并且，加法部208将重构的块向块存储器210及循环滤波部212输出。

[块存储器]

块存储器210是用来将作为在帧内预测中参照的、解码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器210保存从加法部208输出的重构块。

[循环滤波部]

循环滤波部212对由加法部208重构的块施以循环滤波，将滤波后的重构块向帧存储器214及显示装置等输出。

在从编码比特流读解出的表示alf的开启/关闭的信息表示alf的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器之中选择1个滤波器，对所重构块应用选择的滤波器。

[帧存储器]

帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器214保存由循环滤波部212滤波后的重构块。

[帧内预测部]

帧内预测部216基于从编码比特流读解出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成预测信号(帧内预测信号)。具体而言，帧内预测部216通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测，由此生成帧内预测信号，将帧内预测信号向预测控制部220输出。

另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。

此外，在从编码比特流读解出的信息表示pdpc的采用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度，对帧内预测后的像素值进行修正。

[帧间预测部]

帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部218使用从编码比特流读解出的运动信息(例如运动矢量)进行运动补偿，由此生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部220输出。

另外，在从编码比特流读解出的信息表示采用obmc模式的情况下，帧间预测部218不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。

此外，在从编码比特流读解出的信息表示采用fruc模式的情况下，帧间预测部218按照从编码流读解出的图案匹配的方法(双向匹配或模板匹配)进行运动估计，由此导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿。

此外，帧间预测部218在采用bio模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流读解出的信息表示采用仿射运动补偿预测模式的情况下，帧间预测部218基于多个相邻块的运动矢量以子块单位导出运动矢量。

[预测控制部]

预测控制部220选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号，向加法部208输出。

[滤波器信息的设定]

接下来，对自适应循环滤波器(alf：adaptiveloopfilter)的滤波器信息的设定进行详细说明。

图11是表示实施方式1中的编码装置100的循环滤波部120的结构的框图。循环滤波部120具备滤波器控制部131、当前滤波器信息存储部132、参照滤波器信息存储部133以及自适应滤波器部134。

滤波器控制部131是用于处理滤波器信息的电路。当前滤波器信息存储部132是用于存储自适应循环滤波器所用的滤波器信息的存储器。参照滤波器信息存储部133是用于存储自适应循环滤波器所用的滤波器信息的存储器。自适应滤波器部134是用于使用存储在当前滤波器信息存储部132中的滤波器信息而对每个块应用自适应循环滤波器的电路。

滤波器信息能够表现为滤波器信息集。例如，在切片的开头处，滤波器控制部131参照存储在参照滤波器信息存储部133中的滤波器信息集，将滤波器信息集设置在当前滤波器信息存储部132中。

自适应滤波器部134使用在当前滤波器信息存储部132中设定的滤波器信息集，对每个块应用自适应循环滤波器。例如，自适应滤波器部134从滤波器信息集中包含的多种滤波器系数中，对每个块按照用于使再现图像(重构图像)接近输入图像(原始图像)的滤波器系数。然后，自适应滤波器部134使用所选择的滤波器系数对每个块应用自适应循环滤波器。

另外，当前切片的nal(networkabstractionlayer)单元类型有时与允许用作帧间预测的参照图片的图片对应。在这种情况下，滤波器控制部131将对包括当前切片的图片使用了自适应循环滤波器的滤波器信息集保存在参照滤波器信息存储部133中。

然后，滤波器控制部131将对多个图片使用了自适应循环滤波器的多个滤波器信息集保存在参照滤波器信息存储部133中。

滤波器控制部131将保存在参照滤波器信息存储部133中的多个滤波器信息集与参照图片即保存在帧存储器122中的多个参照图片缓冲器建立关联并进行管理。此时，滤波器控制部131使用其滤波器信息集将多个滤波器信息集分别与应用了自适应循环滤波器的参照图片建立关联并进行管理。

此外，例如，参照图片可能被标记为”unusedforreference(非参照)”。在这种情况下，滤波器控制部131将与被标记为”unusedforreference(非参照)”的参照图片建立了关联的滤波器信息集标记为”unusedforreference(非参照)”。即，在删除了参照图片的情况下，滤波器控制部131删除与参照图片建立了关联的滤波器信息集。

这里，参照图片或滤波器信息集等的数据被标记为”unusedforreference(非参照)”意味着以后不参照该数据。

此外，滤波器控制部131也可以输出与用于在当前滤波器信息存储部132中设定滤波器信息的设定方法相关的滤波器控制信息。然后，可以从编码装置100向解码装置200通知与用于在当前滤波器信息存储部132中设定滤波器信息的设定方法有关的滤波器控制信息。

例如，滤波器控制信息是用于指定应用于图片的自适应循环滤波器中使用的滤波器信息集的信息。具体而言，滤波器控制信息可以表示与应用于图片的自适应循环滤波器中使用的滤波器信息集建立了关联的参照图片的参照图片索引的值。然后，可以使用参照图片的参照图片索引的值，从参照滤波器信息存储部133的多个滤波器信息集中指定滤波器信息集。

或者，滤波器控制信息可以不是参照滤波器信息存储部133的滤波器信息集，表示基于输入图像(原始图像)和再现图像(重构图像)生成的滤波器信息集的滤波器系数。由此，可以指定应用于图片的自适应循环滤波器中使用的滤波器信息集。

此外，滤波器控制部131可以限制参照，使得仅参照与满足规定条件的参照图片建立了关联的滤波器信息集。具体而言，滤波器控制部131可以仅允许参照与满足关于tsa图片的限制条件的图片建立了关联的滤波器信息集。满足关于tsa图片的限制条件的图片可以是时间id小于tsa图片的图片。

例如，按编码顺序在tsa图片以后的图片的编码中，禁止对按编码顺序比tsa图片靠前的图片，即时间id与tsa图片相同或者时间id比tsa图片大的图片的参照。可以禁止对与这样的图片建立了关联的滤波器信息集的参照。

另外，满足关于tsa图片的限制条件的图片可以是按编码顺序在当前图片和参照图片之间的任何时间id小于tsa图片的参照图片。

例如，在按编码顺序在当前图片和1个参照图片之间存在与该1个参照图片的时间id相同或时间id小于该1个参照图片的tsa图片的情况下，禁止对该1个参照图片的参照。因此，可以禁止对与该参照图片建立了关联的滤波器信息集的参照。

另外，时间id越大，由时间id所示的层次是越上位的层次。例如，在相对下位的层次中包括的其他图片的编码中，禁止相对上位的层次中包括的图片的参照。

另外，时间id用0以上的整数表现。在时间id为0的情况下，由该时间id所示的层次是最下位的层次。基本上，在最下位的层次或其他层次中包括的其他图片的编码中，最下位的层次中包括的图片的参照不被禁止。

图12a是表示实施方式1中的滤波器信息的管理步骤的第1具体例的流程图。图1所示的编码装置100例如进行图12a所示的动作。

首先，编码装置100进行片头的处理(s101)。例如，熵编码部110生成编码对象的当前切片的片头并对其进行编码。

接着，编码装置100进行滤波器控制信息的处理(s102)。例如，滤波器控制部131生成并输出滤波器控制信息。此外，熵编码部110对从滤波器控制部131输出的滤波器控制信息进行编码。滤波器控制信息可以包括在片头中。因此，滤波器控制信息的处理(s102)也可以包含在片头的处理(s101)中。

接着，编码装置100判定当前切片是否是图片的开头的切片(s103)。例如，分割部102判定当前切片是否是图片的开头的切片。可以其他构成要素进行该判定，也可以多个构成要素分别进行该决定。

在当前切片不是图片的开头的切片的情况下(s103中为“否”)，进行针对cu(codingunit)的处理的循环(s109)。即，编码装置100对每个cu进行编码处理。此时，编码装置100应用自适应循环滤波器。

另一方面，在当前切片是图片的开头的切片的情况下(s103中为“是”)，编码装置100更新参照图片缓冲器(s104)。具体而言，帧间预测部126更新存储在帧存储器122中的参照图片的信息。例如，帧间预测部126将不需要参照的参照图片标记为”unusedforreference(非参照)”。由此，实质上消除了不需要被参照的参照图片。

在更新参照图片缓冲器后，编码装置100删除不需要的滤波器信息(s105)。例如，滤波器控制部131将与标记为”unusedforreference(非参照)”的参照图片建立了关联的滤波器信息集标记为”unusedforreference(非参照)”。由此，实质上消除了不需要被参照的滤波器信息集。

即，从参照图片缓冲器中消除参照图片时，与参照图片建立了关联的滤波器信息集也被消除。

而且，在删除不需要的滤波器信息后，编码装置100判定当前切片的nal单元类型是对应于参照还是对应于非参照(s106)。

这里，与参照对应的图片是被参照的图片，即允许被参照的图片，而与非参照对应的图片是不被参照的图片，即禁止被参照的图片。例如，滤波器控制部131判定当前切片的nal单元类型是对应于被参照图片的类型还是对应于不被参照图片的类型。

在非参照的情况下(s106中为非参照)，进行针对cu的处理的循环(s109)。即，编码装置100对每个cu进行编码处理。此时，编码装置100应用自适应循环滤波器。

另一方面，在参照的情况下(s106中为参照)，编码装置100将保存区域与当前图片建立关联(s107)。例如，滤波器控制部131将在参照滤波器信息存储部133中保存滤波器信息集的保存区域与包括当前切片的当前图片建立关联。

然后，编码装置100将滤波器信息保存在保存区域中(s108)。具体而言，滤波器控制部131将针对当前图片的自适应循环滤波器中使用的滤波器信息集保存在与当前图片建立了关联的保存区域中。

此后，进行针对cu的处理的循环(s109)。即，编码装置100对每个cu进行编码处理。此时，编码装置100应用自适应循环滤波器。

通过进行上述的动作，编码装置100能够按照参照图片缓冲器的状态在图片的开头更新参照滤波器信息存储部133中的滤波器信息。此外，编码装置100能够将当前图片的滤波器信息保存在参照滤波器信息存储部133中。

此外，编码装置100通过进行上述的动作，能够在帧存储器122和参照滤波器信息存储部133中将参照图片和滤波器信息集建立关联并对其进行管理。此外，与参照图片建立了关联的滤波器信息集也可以使用用于指定参照图片的参照图片索引来管理。

图12b是表示实施方式1中的滤波器信息的设定步骤的第1具体例的流程图。图1所示的编码装置100例如进行图12b所示的动作。

首先，编码装置100构建参照图片列表(s201)。具体而言，帧间预测部126构建参照图片列表。例如，在图12a中进行更新参照图片缓冲器的处理(s104)时，可以进行构建参照图片列表的处理。

接下来，编码装置100取得滤波器控制信息(s202)。例如，滤波器控制部131取得在图12a中的滤波器控制信息处理(s102)中被处理的滤波器控制信息。

在使用与参照图片建立了关联的滤波器信息集的情况下，滤波器控制信息可以包括用于在参照滤波器信息存储部133中指定滤波器信息集的参照图片索引。

此外，在未使用与参照图片建立了关联的滤波器信息集的情况下，滤波器控制信息可以包括自适应循环滤波器中使用的滤波器信息集来代替参照图片索引。即，在这种情况下，滤波器控制信息也可以包括构成滤波器信息集的滤波器系数。

接着，编码装置100判定是否参照参照图片的滤波器信息(s203)。具体而言，滤波器控制部131判定在针对当前图片的滤波器信息集的设定中是否参照与参照图片建立了关联的滤波器信息集。

编码装置100在参照参照图片的滤波器信息的情况下(s203中为“是”)，基于参照图片索引设定滤波器信息(s204)。例如，滤波器控制部131从参照滤波器信息存储部133中的多个滤波器信息集中，指定与由滤波器控制信息中包含的参照图片索引所指定的参照图片建立了关联的滤波器信息集。而且，滤波器控制部131将所指定的滤波器信息集保存在当前滤波器信息存储部132中。

此外，编码装置100在不参照参照图片的滤波器信息的情况下(s203中为“否”)，设定基于输入图像和再现图像的滤波器信息(s205)。即，编码装置100将基于输入图像和再现图像生成的滤波器信息集保存在当前滤波器信息存储部132中。例如，滤波器控制信息包括基于输入图像和再现图像生成的滤波器信息集，滤波器控制部131将滤波器控制信息中包含的滤波器信息集保存在当前滤波器信息存储部132中。

此后，进行针对cu的处理的循环(s206)。即，编码装置100对每个cu进行编码处理。此时，编码装置100应用自适应循环滤波器。具体而言，自适应滤波器部134使用设定的滤波器信息，应用自适应循环滤波器。

编码装置100能够通过进行上述的动作，按照滤波器控制信息将针对当前图片的滤波器信息保存在当前滤波器信息存储部132中。

另外，编码装置100也可以在滤波器控制信息的生成前，部分地进行各cu的编码处理来生成再现图像。由此，编码装置100能够基于输入图像和再现图像适当地生成滤波器信息集，能够适当地生成包含基于输入图像和再现图像的滤波器信息集的滤波器控制信息。

图13a是表示实施方式1中的滤波器信息的管理步骤的第2具体例的流程图。图1中所示的编码装置100可以进行图13a所示的动作。

在该例中，首先，编码装置100与图12a所示的处理(s101及s102)同样地进行片头及滤波器控制信息的处理(s301及s302)。然后，编码装置100与图12a所示的处理(s103)同样地判定当前切片是否是图片的开头的切片(s303)。

在当前切片是图片的开头的切片的情况下(s303中为“是”)，编码装置100与图12a所示的处理(s104)同样地更新参照图片缓冲器(s304)。在更新了参照图片缓冲器后，编码装置100与图12a所示的处理(s105)同样地删除不需要的滤波器信息(s305)。

然后，编码装置100在删除不需要的滤波器信息后，与图12所示的处理(s106)同样地判定当前切片的nal单元类型是对应于参照还是对应于非参照(s306)。

在参照的情况下(s306中为参照)，编码装置100与图12a所示的处理(s107)同样地将保存区域与当前图片建立关联(s307)。

在当前切片不是图片的开头的切片的情况下(s303中为“否”)，跳过从更新参照图片缓冲器的处理(s304)到将保存区域与当前图像建立关联的处理(s307)的处理。此外，在当前切片的nal单元类型与非参照对应的情况下(s306中为非参照)，跳过将保存区域与当前图片建立关联的处理(s307)。

然后，进行针对cu的处理的循环(s308)。即，编码装置100对每个cu进行编码处理。

接着，编码装置100设定自适应循环滤波器中使用的滤波器信息(s309)。具体而言，滤波器控制部131将自适应循环滤波器中使用的滤波器信息集保存在当前滤波器信息存储部132中。

接着，编码装置100应用自适应循环滤波器(s310)。具体而言，自适应滤波器部134使用保存在当前滤波器信息存储部132中的滤波器信息集，对当前切片应用自适应循环滤波器。

接着，编码装置100判定当前切片的nal单元类型是对应于参照还是对应于非参照(s311)。例如，滤波器控制部131判定当前切片的nal单元类型是对应于被参照图片的类型还是对应于不被参照图片的类型。

在参照的情况下(s311中为参照)，编码装置100将滤波器信息保存在保存区域中(s312)。具体而言，滤波器控制部131将针对当前图片的自适应循环滤波器中使用的滤波器信息集保存在与当前图片建立了关联的保存区域中。在非参照的情况下(s311中为非参照)，跳过保存的处理(s312)。

编码装置100通过进行上述的动作，能够在进行了cu的处理后，设定滤波器信息，应用自适应循环滤波器。由此，编码装置100能够在设定滤波器信息前适当地生成再现图像。因此，编码装置100能够基于输入图像和再现图像设定滤波器信息。

此外，熵编码部110可以将基于输入图像和再现图像设定的滤波器信息追加到切片数据而不是片头并进行编码。而且，熵编码部110可以对包含表示使用追加到切片数据的滤波器信息的滤波器控制信息的片头进行编码。

图13b是表示实施方式1中的滤波器信息的设定步骤的第2具体例的流程图。图1所示的编码装置100可以进行图13b所示的动作。

在该例中，首先，编码装置100与图12b所示的处理(s201)同样地构建参照图片列表(s401)。然后，编码装置100与图12b所示的处理(s202)同样地取得滤波器控制信息(s402)。

然后，进行针对cu的处理的循环(s403)。即，编码装置100对每个cu进行编码处理。

此后，编码装置100与图12b所示的处理(s203)同样地判定是否参照参照图片的滤波器信息(s404)。

编码装置100在参照参照图片的滤波器信息的情况下(s404中为“是”)，与图12b所示的处理(s204)同样地基于参照图片索引设定滤波器信息(s405)。编码装置100在不参照参照图片的滤波器信息的情况下(s404中为“否”)，与图12b所示的处理(s205)同样地基于输入图像和再现图像设定滤波器信息(s406)。

然后，编码装置100应用自适应循环滤波器(s407)。具体而言，自适应滤波器部134使用设定的滤波器信息，应用自适应循环滤波器。

图14a是表示实施方式1中的滤波器信息的参照限制的第1具体例的概念图。在图14a中，“参照”与允许参照对应，“非参照”与禁止参照对应。此外，图14a所示的图片p0～p8按照p0、p1、p2、p3、p4、p5、p6、p7以及p8的顺序被编码。

此外，图片p0～p8的每一个分别分配有表示时间可扩展性的层次的时间id。具体而言，将0分配给图片p0和p1作为时间id。此外，将1分配给图片p2作为时间id。此外，将2分配给图片p3和p6作为时间id。此外，将3分配给图片p4、p5、p7以及p8作为时间id。

此外，图14a示出了在图片p6是编码对象的当前图片的情况下的例子。并且，在针对图片p6的各切片的滤波器信息的设定中，示出了允许参照的滤波器信息和禁止参照的滤波器信息。

在图片p6是编码对象的当前图片的情况下，图片p0～p5是已编码的图片。图片p0～p5中的图片p4和p5中的每一个的时间id大于图片p6的时间id。因此，在图片p6的编码中，禁止参照图片p4和p5。因此，在图片p6的滤波器信息的设定中，可以禁止参照图片p4和p5中的每一个的滤波器信息。

另外，在图片p6是tsa图片的情况下，在图片p6的编码中，禁止参照与图片p6时间id相同的图片p3。因此，在图片p6的滤波器信息的设定中，可以禁止参照图片p3的滤波器信息。

因此，在图片p6的滤波器信息的设定中，可以允许参照图片p0～p5中的图片p0～p2的滤波器信息，禁止参照图片p0～p5中的图片p3～p5的滤波器信息。

图14b是表示实施方式1中的滤波器信息的参照限制的第2具体例的概念图。在图14b中，与图14a同样地，“参照”与允许参照对应，“非参照”与禁止参照对应。此外，在图14b中，与图14a同样地，示出了图片p0～p8。图14b的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图14a的例子中的时间id相同。

而且，图14b示出了在图片p7是编码对象的当前图片的情况下的例子。并且，在针对图片p7的各切片的滤波器信息的设定中，示出了允许参照的滤波器信息和禁止参照的滤波器信息。

在图片p7是编码对象的当前图片的情况下，图片p0～p6是已编码的图片。可以允许参照图片p0～p6中的按编码顺序时间id小于从特定图片的下一个图片到图片p7的任何图片的特定图片，或者参照时间id为0的图片。

具体而言，图片p0和p1各自的时间id是0。此外，图片p2的时间id小于图片p3～p7中的任一个。此外，图片p6的时间id小于图片p7的时间id。因此，在图片p7的滤波器信息的设定中，可以允许参照图片p0～p2以及p6的滤波器信息。

另外，图片p3的时间id与图片p4～p7中的图片p6的时间id相同。图片p4的时间id大于图片p5～p7中的图片p6的时间id。图片p5的时间id大于图片p6和p7中的图片p6的时间id。因此，在图片p7的滤波器信息的设定中，可以禁止参照图片p3～p5的滤波器信息。

如上述那样的参照限制对应于时间id与0不同的各图片是tsa图片的情况下的参照限制。即，如上述那样的参照限制对应于图片p2～p8的各图片是tsa图片时的参照限制。

并且，图14b所示的参照限制还对应于当图片p6是tsa图片时的参照限制。例如，如果在时间id大于0的已编码图片和当前图片之间存在时间id与该已编码图片相同或小于该已编码图片的tsa图片，则可以禁止参照该已编码图片的滤波器信息。图14b还示出了这种参照限制。

图15是表示实施方式1中的解码装置200的循环滤波部212的结构的框图。解码装置200的循环滤波部212的结构对应于编码装置100的循环滤波部120的结构。具体而言，循环滤波部212具备滤波器控制部231、当前滤波器信息存储部232、参照滤波器信息存储部233以及自适应滤波器部234。

滤波器控制部231是用于处理滤波器信息的电路。当前滤波器信息存储部232是用于存储自适应循环滤波器中使用的滤波器信息的存储器。参照滤波器信息存储部233是用于存储自适应循环滤波器中使用的滤波器信息的存储器。自适应滤波器部234是使用当前滤波器信息存储部232中存储的滤波器信息，用于对每个块应用自适应循环滤波器的电路。

解码装置200的循环滤波部212的动作对应于编码装置100的循环滤波部120的动作。例如，滤波器控制部231在切片的开头处，参照存储在参照滤波器信息存储部233中的滤波器信息集，将滤波器信息集设定在当前滤波器信息存储部232中。

自适应滤波器部234使用设定在当前滤波器信息存储部232中的滤波器信息集，对每个块应用自适应循环滤波器。例如，自适应滤波器部234按照再现图像的特性，从滤波器信息集中包含的多种滤波器系数中，对每个块选择用于使再现图像(重建图像)接近输入图像(原始图像)的滤波器系数。而且，自适应滤波器部234对每个块使用所选择的滤波器系数，应用自适应循环滤波器。

当前切片的nal单元类型有可能对应于允许用作帧间预测的参照图片的图片。在这种情况下，滤波器控制部231将针对包含当前切片的图片的自适应循环滤波器中使用的滤波器信息集保存在参照滤波器信息存储部233中。

而且，滤波器控制部231将针对多个图片的自适应循环滤波器中使用的多个滤波器信息集保存在参照滤波器信息存储部233中。

滤波器控制部231将保存在参照滤波器信息存储部233中的多个滤波器信息集与参照图片缓冲器即保存在帧存储器214中的多个参照图片建立关联并进行管理。此时，滤波器控制部231使用滤波器信息集将多个滤波器信息集分别与应用了自适应循环滤波器的参照图片建立关联并进行管理。

此外，例如，参照图片有可能被标记为”unusedforreference(非参照)”。在这种情况下，滤波器控制部231将与被标记为”unusedforreference(非参照)”的参照图片建立了关联的滤波器信息集标记为”unusedforreference(非参照)”。即，在删除了参照图片的情况下，滤波器控制部231删除与参照图片建立了关联的滤波器信息集。

此外，与用于将滤波器信息设定在当前滤波器信息存储部232中的设定方法有关的滤波器控制信息可以从编码装置100向解码装置200通知。然后，可以将与用于将滤波器信息设定在当前滤波器信息存储部232中的设定方法有关的滤波器控制信息输入到滤波器控制部231。

例如，滤波器控制信息是用于指定应用于图片的自适应循环滤波器中使用的滤波器信息集的信息。具体而言，滤波器控制信息可以表示与应用于图片的自适应循环滤波器中使用的滤波器信息集建立了关联的参照图片的参照图片索引的值。然后，可以使用参照图片的参照图片索引的值，从参照滤波器信息存储部233的多个滤波器信息集中指定滤波器信息集。

或者，滤波器控制信息可以表示不是参照滤波器信息存储部233的滤波器信息集，而是基于输入图像(原始图像)和再现图像(重构图像)生成的滤波器信息集的滤波器系数。由此，可以指定应用于图片的自适应循环滤波器中使用的滤波器信息集。

此外，滤波器控制部231可以限制参照，使得仅参照与满足规定条件的参照图片建立了关联的滤波器信息集。具体而言，滤波器控制部231可以仅允许参照与满足关于tsa图片的限制条件的图片建立了关联的滤波器信息集。满足关于tsa图片的限制条件的图片可以是时间id小于tsa图片的图片。

例如，按解码顺序在tsa图片以后的图片的解码中，禁止对按解码顺序比tsa图片靠前的图片并且与tsa图片时间id相同或者时间id比tsa图片大的图片的参照。可以禁止对与这样的图片建立了关联的滤波器信息集的参照。

另外，满足关于tsa图片的限制条件的图片可以是按解码顺序在当前图片和参照图片之间的时间id小于任何tsa图片的参照图片。

例如，在按解码顺序在当前图片和1个参照图片之间存在与该1个参照图片时间id相同或时间id小于该1个参照图片的tsa图片的情况下，禁止对该1个参照图片的参照。因此，可以禁止对与该参照图片建立了关联的滤波器信息集的参照。

关于编码装置100，使用图12a～图14b说明的动作可以通过用解码替换编码来说明与解码装置200有关的动作。

例如，解码装置200进行与图12a所示的动作对应的动作。可以基于图12a说明与图12a所示的动作对应并由解码装置200进行的动作。

首先，解码装置200进行片头的处理(s101)。例如，熵解码部202分析解码对象的当前切片的片头并进行解码。

接着，解码装置200进行滤波器控制信息的处理(s102)。例如，熵解码部202分析滤波器控制信息并进行解码。而且，滤波器控制部231取得被解码的滤波器控制信息。滤波器控制信息可以包含在片头中。因此，滤波器控制信息的处理(s102)也可以包含在片头的处理(s101)中。

接着，解码装置200判定当前切片是否是图片的开头的切片(s103)。例如，熵解码部202判定当前切片是否是图片的开头的切片。可以其他构成要素进行该判定，也可以多个构成要素分别进行该判定。

在当前切片不是图片的开头的切片的情况下(s103中为“否”)，进行针对cu(codingunit)的处理的循环(s109)。即，解码装置200对每个cu进行解码处理。此时，解码装置200应用自适应循环滤波器。

另一方面，在当前切片是图片的开头的切片的情况下(s103中为“是”)，解码装置200更新参照图片缓冲器(s104)。具体而言，帧间预测部218更新存储在帧存储器214中的参照图片的信息。例如，帧间预测部218将不需要被参照的参照图片标记为”unusedforreference(非参照)”。由此，实质上消除了不需要被参照的参照图片。

在更新了参照图片缓冲器后，解码装置200删除不需要的滤波器信息(s105)。例如，滤波器控制部231将与被标记为”unusedforreference(非参照)”的参照图片建立了关联的滤波器信息集标记为”unusedforreference(非参照)”。由此，实质上消除了不需要被参照的滤波器信息集。

即，从参照图片缓冲器消除参照图片时，与参照图片建立了关联的滤波器信息集也被消除。

然后，解码装置200在删除不需要的滤波器信息后，判定当前切片的nal单元类型是对应于参照还是对应于非参照(s106)。例如，滤波器控制部231判定当前切片的nal单元类型是对应于被参照图片的类型还是对应于不被参照图片的类型。

在非参照的情况下(在s106中为非参照)，进行针对cu的处理的循环(s109)。即，解码装置200对每个cu进行编码处理。此时，解码装置200应用自适应循环滤波器。

另一方面，在参照的情况下(在s106中为参照)，解码装置200将保存区域与当前图片建立关联(s107)。例如，滤波器控制部231将在参照滤波器信息存储部233中保存滤波器信息集的保存区域与包含当前切片的当前图片建立关联。

然后，解码装置200将滤波器信息保存在保存区域中(s108)。具体而言，滤波器控制部231将针对当前图片的自适应循环滤波器中使用的滤波器信息集保存在与当前图片建立了关联的保存区域中。

此后，进行针对cu的处理的循环(s109)。即，解码装置200对每个cu进行编码处理。此时，解码装置200应用自适应循环滤波器。

解码装置200通过进行上述的动作，能够在图片的开头，按照参照图片缓冲器的状态，更新参照滤波器信息存储部233中的滤波器信息。此外，解码装置200能够将当前图片的滤波器信息保存在参照滤波器信息存储部233中。

另外，解码装置200通过进行上述的动作，能够在帧存储器214以及参照滤波器信息存储部233中将参照图片与滤波器信息集建立关联并对其进行管理。此外，可以使用用于指定参照图片的参照图片索引来管理与参照图片建立了关联的滤波器信息集。

此外，解码装置200进行与图12b所示的动作对应的动作。能够基于图12b说明与图12b所示的动作对应且由解码装置200进行的动作。

首先，解码装置200构建参照图片列表(s201)。具体而言，帧间预测部218构建参照图片列表。例如，在图12a中进行更新参照图片缓冲器的处理(s104)时，可以进行构建参照图片列表的处理。

接下来，解码装置200取得滤波器控制信息(s202)。例如，滤波器控制部231取得在图12a中的滤波器控制信息处理(s102)中被处理的滤波器控制信息。

在使用与参照图片建立了关联的滤波器信息集的情况下，滤波器控制信息可以包含用于在参照滤波器信息存储部233中指定滤波器信息集的参照图片索引。

此外，在未使用与参照图片建立了关联的滤波器信息集的情况下，滤波器控制信息可以包含自适应循环滤波器中使用的滤波器信息集来代替参照图片索引。即，在这种情况下，滤波器控制信息可以包含构成滤波器信息集的滤波器系数。

接着，解码装置200判定是否参照参照图片的滤波器信息(s203)。具体而言，滤波器控制部231判定在对当前图片的滤波器信息集的设定中是否参照与参照图片建立了关联的滤波器信息集。

解码装置200在参照参照图片的滤波器信息的情况下(s203中为“是”)，设定基于参照图片索引的滤波器信息(s204)。例如，滤波器控制部231从参照滤波器信息存储部233中的多个滤波器信息集中指定与在滤波器控制信息中包含的由参照图片索引指定的参照图片建立了关联的滤波器信息集。然后，滤波器控制部231将指定的滤波器信息集保存在当前滤波器信息存储部232中。

此外，解码装置200在不参照参照图片的滤波器信息的情况下(s203中为“否”)，基于输入图像和再现图像设定滤波器信息(s205)。即，解码装置200将基于输入图像和再现图像生成的滤波器信息集保存在当前滤波器信息存储部232中。例如，滤波器控制信息包含基于输入图像和再现图像生成的滤波器信息集，滤波器控制部231将滤波器控制信息中包含的滤波器信息集保存在当前滤波器信息存储部232中。

此后，进行针对cu的处理的循环(s206)。即，解码装置200对每个cu进行解码处理。此时，解码装置200应用自适应循环滤波器。具体而言，自适应滤波器部234使用设定的滤波器信息，应用自适应循环滤波器。

解码装置200通过进行上述的动作，能够按照滤波器控制信息将针对当前图片的滤波器信息保存在当前滤波器信息存储部232中。

此外，解码装置200可以进行与图13a所示的动作对应的动作。能够基于图13a说明能够与图13a所示的动作对应且由解码装置200进行的动作。

首先，解码装置200与图12a所示的处理(s101及s102)同样地进行片头及滤波器控制信息的处理(s301及s302)。而且，解码装置200与图12a所示的处理(s103)同样地判定当前切片是否是图片的开头的切片(s303)。

在当前切片是图片的开头的切片的情况下(s303中为“是”)，解码装置200与图12a所示的处理(s104)相同地更新参照图片缓冲器(s304)。在更新了参照图片缓冲器后，解码装置200与图12a所示的处理(s105)同样地删除不需要的滤波器信息(s305)。

然后，解码装置200在删除不需要的滤波器信息后，与图12a所示的处理(s106)同样地判定当前切片的nal单元类型是对应于参照还是对应于非参照(s306)。

在参照的情况下(s306中为参照)，解码装置200与图12a所示的处理(s107)同样地将保存区域与当前图片建立关联(s307)。

在当前切片不是图片的开头的切片的情况下(s303中为“否”)，跳过从更新参照图片缓冲器的处理(s304)到将保存区域与当前图像建立关联的处理(s307)的处理。此外，在当前切片的nal单元类型对应于非参照的情况下(s306中为非参照)，跳过将保存区域与当前图片建立关联的处理(s307)。

然后，进行针对cu的处理的循环(s308)。即，解码装置200对每个cu进行解码处理。

接着，解码装置200设定自适应循环滤波器中使用的滤波器信息(s309)。具体而言，滤波器控制部231将自适应循环滤波器中使用的滤波器信息集保存在当前滤波器信息存储部232中。

接着，解码装置200应用自适应循环滤波器(s310)。具体而言，自适应滤波器部234使用保存在当前滤波器信息存储部232中的滤波器信息集，对当前切片应用自适应循环滤波器。

接着，解码装置200判定当前切片的nal单元类型是对应于参照还是对应于非参照(s311)。例如，滤波器控制部231判定当前切片的nal单元类型是对应于被参照图片的类型还是对应于不被参照图片的类型。

在参照的情况下(s311中为参照)，解码装置200将滤波器信息保存在保存区域中(s312)。具体而言，滤波器控制部231将当前图片的自适应循环滤波器中使用的滤波器信息集保存在与当前图片建立了关联的保存区域中。在非参照的情况下(s311中为非参照)，跳过保存的处理(s312)。

此外，基于输入图像和再现图像设定的滤波器信息可以被追加到切片数据中，而不是追加到片头中。而且，滤波器控制信息可以表示使用追加到切片数据的滤波器信息。熵解码部202可以解码这样的滤波器信息和滤波器控制信息。

此外，解码装置200可以进行与图13b所示的动作对应的动作。能够基于图13b说明与图13b所示的动作对应且能够由解码装置200进行的动作。

首先，解码装置200与图12b所示的处理(s201)同样地构建参照图片列表(s401)。然后，解码装置200与图12b所示的处理(s202)同样地取得滤波器控制信息(s402)。

然后，进行针对cu的处理的循环(s403)。即，解码装置200对每个cu进行解码处理。

然后，解码装置200与图12b所示的处理(s203)同样地判定是否参照参照图片的滤波器信息(s404)。

解码装置200在参照参照图片的滤波器信息的情况下(s404中为“是”)，与图12b所示的处理(s204)同样地基于参照图片索引设定滤波器信息(s405)。解码装置200在不参照参照图片的滤波器信息的情况下(s404中为“否”)，与图12b所示的处理(s205)同样地，基于输入图像和再现图像设定滤波器信息(s406)。

然后，解码装置200应用自适应循环滤波器(s407)。具体而言，自适应滤波器部234使用设定的滤波器信息，应用自适应循环滤波器。

与图14a和图14b有关的说明也可以通过将编码替换为解码，应用于与解码装置200有关的说明。

[滤波器信息的处理方法的变形方式]

接着，说明滤波器信息的处理方法的变形方式。即，关于滤波器信息，说明与图12a～图14b所示的处理方法不同的处理方法。由于变形方式中的基本构成要素与图1、图10、图11以及图15所示的构成要素相同，因此省略说明。

在本变形方式中，滤波器控制信息通过与片头建立有关联的参数集，从编码装置100向解码装置200通知。具体而言，滤波器控制信息包含在从编码装置100向解码装置200通知的参数集中。这里，参数集可以是pps(图片参数集)。

图16是表示变形方式中的滤波器信息的处理步骤的第1具体例的流程图。图1所示的编码装置100例如进行图16所示的动作。

首先，编码装置100判定是否进行pps处理(s501)。具体而言，pps处理可以对应于从编码装置100向解码装置200通知pps的处理。

例如，熵编码部110判定是否对pps进行编码。熵编码部110可以按照编码对象图片的编码顺序、显示顺序或种类等来判定是否对pps进行编码。具体而言，熵编码部110可以在编码对象图片是idr(instantaneousdecoderrefresh)图片的情况下判定为对pps进行编码。

编码装置100在判定为进行pps处理的情况下(s501中为“是”)，进行pps处理(s502)。例如，熵编码部110在判定为对pps进行编码的情况下，对pps进行编码。此外，pps例如还包含滤波器控制信息。此外，滤波器控制信息例如包含滤波器信息集。另一方面，编码装置100在判定为不进行pps处理的情况下(s501中为“否”)，跳过pps处理。

接下来，编码装置100取得nal单元类型(s503)。例如，熵编码部110取得编码对象图片的nal单元类型。更具体而言，熵编码部110取得编码对象图片中的编码对象切片的nal单元类型。编码对象图片中的编码对象切片的nal单元类型对应于编码对象图片的种类。

接着，编码装置100判定编码对象图片是否是idr图片(s504)。例如，滤波器控制部131按照编码对象图片的nal单元类型来判定编码对象图片是否是idr图片。

在判定为编码对象图片是idr图片的情况下(s504中为“是”)，编码装置100删除保存的滤波器信息(s505)。例如，滤波器控制部131删除保存在参照滤波器信息存储部133中的多个滤波器信息集。

在判定为编码对象图片不是idr图片的情况下(s504中为“否”)，编码装置100判定是否进行了pps处理(s502)(s506)。例如，滤波器控制部131按照编码对象图片的编码顺序、显示顺序或种类等来判定pps是否被编码。

然后，在判定为进行了pps处理(s502)的情况下(s506中为“是”)，编码装置100基于pps处理(s502)中的pps保存滤波器信息(s507)。另一方面，在判定为未进行pps处理(s502)的情况下(s506中为“否”)，编码装置100跳过保存滤波器信息的处理(s507)。

此外，假设在判定为编码对象图片是idr图片的情况下(s504中为“是”)进行pps处理(s502)。因此，在这种情况下，编码装置100在滤波器信息的删除后，不进行是否进行了pps处理的判定，基于pps处理(s502)中的pps保存滤波器信息。

例如，滤波器控制部131基于在pps处理(s502)中已编码的pps中包含的滤波器控制信息来特定滤波器信息集，将特定的滤波器信息集保存在参照滤波器信息存储部133中。此外，滤波器控制部131将基于pps中包含的滤波器控制信息特定的滤波器信息集与pps的图片参数集id(ppsid)建立关联并进行管理。即，滤波器信息集与图片参数集id建立关联并进行保存。

此外，在处理多个pps的情况下，对于多个pps中的每一个，基于该pps的滤波器控制信息，与该pps对应的滤波器信息集被特定并保存。由此，例如，与连续地插入的多个pps分别对应的多个滤波器信息集被特定并保存。

接着，编码装置100取得片头的图片参数集id(s508)。即，滤波器控制部131取得编码对象切片的片头中包含的图像参数集id。

接着，编码装置100基于图像参数集id设定滤波器信息(s509)。例如，滤波器控制部131从保存在参照滤波器信息存储部133中的多个滤波器信息集中选择与片头的图片参数集id建立了关联的滤波器信息集。然后，滤波器控制部131通过将所选择的滤波器信息集保存在当前滤波器信息存储部132中来设定滤波器信息集。

此后，进行针对cu的处理的循环(s510)。即，编码装置100对每个cu进行编码处理。此时，编码装置100应用自适应循环滤波器。

编码装置100通过进行上述的动作，能够将基于pps的滤波器控制信息的滤波器信息集保存在参照滤波器信息存储部133中。另外，编码装置100能够从参照滤波器信息存储部133中的多个滤波器信息集中特定基于片头的图片参数集id的滤波器信息集。然后，编码装置100能够将特定的滤波器信息集设定在当前滤波器信息存储部132中。

图17是表示变形方式中的滤波器信息的处理步骤的第2具体例的流程图。图1所示的编码装置100可以进行图17所示的动作。

在该例中，首先，编码装置100与图16所示的处理(s501)同样地判定是否进行pps处理(s601)。编码装置100在判定为进行pps处理的情况下(s601中为“是”)与图16所示的处理(s502)同样地进行pps处理(s602)。另一方面，编码装置100在判定为不进行pps处理的情况下(s601中为“否”)，跳过pps处理。

接着，编码装置100进行片头的处理(s603)。例如，熵编码部110生成编码对象的当前切片的片头并对其进行编码。

接着，编码装置100进行滤波器控制信息的处理(s604)。例如，滤波器控制部131生成并输出滤波器控制信息。此外，熵编码部110对从滤波器控制部131输出的滤波器控制信息进行编码。

滤波器控制信息可以包含在pps中。因此，滤波器控制信息的处理(s604)可以包含在pps处理(s602)中。此外，在片头的处理(s603)中，也可以生成包含图片参数集id的片头并对其进行编码，该图片参数集id包含与当前切片对应的滤波器控制信息的pps。

然后，进行针对cu的处理的循环(s605)。即，编码装置100对每个cu进行编码处理。

接着，编码装置100与图16所示的处理(s503)同样地取得nal单元类型(s606)。接着，编码装置100与图16所示的处理(s504)同样地判定编码对象图片是否是idr图片(s607)。

在判定为编码对象图片是idr图片的情况下(s607中为“是”)，编码装置100与图16所示的处理(s505)同样地删除保存的滤波器信息(s608)。

在判定为编码对象图片不是idr图片的情况下(s504中为“否”)，编码装置100与图16所示的处理(s506)同样地判定是否进行了pps处理(s602)(s609)。

然后，在判定为进行了pps处理(s602)的情况下(s609中为“是”)，编码装置100基于pps处理(s602)中的pps设定滤波器信息并进行保存(s610)。

此外，假设在判定为编码对象图片是idr图片的情况下(s607中为“是”)，进行pps处理(s602)。因此，在此情况下，编码装置100在滤波器信息的删除后，不进行是否进行了pps处理的判定，基于pps处理(s602)中的pps设定滤波器信息并进行保存(s610)。

例如，滤波器控制部131基于在pps处理(s602)中被编码的pps中包含的滤波器控制信息来特定滤波器信息集。然后，滤波器控制部131将特定的滤波器信息集分别保存在当前滤波器信息存储部132和参照滤波器信息存储部133中。

此外，在参照滤波器信息存储部133中，滤波器控制部131将基于pps中包含的滤波器控制信息特定的滤波器信息集与pps的图片参数集id建立关联并进行管理。即，滤波器信息集与图片参数集id建立关联地被保存。

此外，在处理多个pps的情况下，对于多个pps中的每一个，基于该pps的滤波器控制信息，与该pps对应的滤波器信息集被特定并保存。由此，例如，与连续地插入的多个pps分别对应的多个滤波器信息集被特定并保存。

另一方面，在判定为未进行pps处理(s602)的情况下(s609中为“否”)，编码装置100与图16所示的处理(s508)同样地取得片头的图片参数集id(s611)。接下来，编码装置100与图16所示的处理(s509)同样地基于图片参数集id设定滤波器信息(s612)。

然后，编码装置100应用自适应循环滤波器(s613)。具体而言，自适应滤波器部134使用保存在当前滤波器信息存储部132中的滤波器信息集，对当前切片应用自适应循环滤波器。

编码装置100通过进行上述的动作，能够在进行了cu的处理后，设定滤波器信息，应用自适应循环滤波器。由此，编码装置100能够在设定滤波器信息前适当地生成再现图像。因此，编码装置100能够基于输入图像和再现图像设定滤波器信息。

此外，熵编码部110可以将基于输入图像和再现图像设定的滤波器信息追加到切片数据而不是pps来进行编码。而且，熵编码部110可以对包含表示使用追加到切片数据的滤波器信息的滤波器控制信息的pps进行编码。

关于编码装置100，使用图16和图17说明的动作能够通过将编码替换为解码，作为与解码装置200有关的动作进行说明。

例如，解码装置200进行与图16所示的动作对应的动作。能够基于图16说明解码装置200与图16所示的动作对应地进行的动作。

首先，解码装置200判定是否进行pps处理(s501)。例如，熵解码部202判定是否对pps进行解码。熵解码部202可以按照编码流判定是否对pps进行解码。具体而言，熵解码部202在编码流中pps被编码的情况下，可以判定为对pps进行解码。

解码装置200在判定为进行pps处理的情况下(s501中为“是”)，进行pps处理(s502)。例如，熵解码部202在判定为对pps进行解码的情况下，对pps进行解码。另一方面，解码装置200在判定为不进行pps处理的情况下(s501中为“否”)，跳过pps处理。

接着，解码装置200取得nal单元类型(s503)。例如，熵解码部202取得解码对象图片的nal单元类型。更具体而言，熵解码部202取得解码对象图片中的解码对象切片的nal单元类型。解码对象图片中的解码对象切片的nal单元类型对应于解码对象图片的种类。

接下来，解码装置200判定解码对象图片是否是idr图片(s504)。例如，滤波器控制部231按照解码对象图片的nal单元类型来判定解码对象图片是否是idr图片。

在判定为解码对象图片是idr图片的情况下(s504中为“是”)，解码装置200删除保存的滤波器信息(s505)。例如，滤波器控制部231删除保存在参照滤波器信息存储部233中的多个滤波器信息集。

在判定为解码对象图片不是idr图片的情况下(s504中为“否”)，解码装置200判定是否进行了pps处理(s502)(s506)。例如，滤波器控制部231判定pps是否被解码。

然后，在判定为进行了pps处理(s502)的情况下(s506中为“是”)，解码装置200基于pps处理(s502)中的pps来保存滤波器信息(s507)。另一方面，在判定为未进行pps处理(s502)的情况下(s506中为“否”)，解码装置200跳过保存滤波器信息的处理(s507)。

此外，假设在判定为解码对象图片是idr图片的情况下(s504中为“是”)，进行pps处理(s502)。因此，在此情况下，解码装置200在滤波器信息的删除后，不进行是否进行了pps处理的判定，基于pps处理(s502)中的pps保存滤波器信息。

例如，滤波器控制部231基于在pps处理(s502)中被解码的pps中包含的滤波器控制信息来特定滤波器信息集，将特定的滤波器信息集保存在参照滤波器信息存储部233中。此外，滤波器控制部231将基于pps中包含的滤波器控制信息特定的滤波器信息集与pps的图片参数集id建立关联并进行管理。即，滤波器信息集与图片参数集id建立关联地被保存。

此外，在处理多个pps的情况下，对于多个pps中的每一个，基于该pps的滤波器控制信息，与该pps对应的滤波器信息集被特定并保存。由此，例如，与连续地插入的多个pps分别对应的多个滤波器信息集被特定并保存。

接着，解码装置200取得片头的图片参数集id(s508)。即，滤波器控制部231取得解码对象切片的片头中包含的图像参数集id。

接着，解码装置200基于图像参数集id来设定滤波器信息(s509)。例如，滤波器控制部231从保存在参照滤波器信息存储部233中的多个滤波器信息集中选择与片头的图片参数集id建立了关联的滤波器信息集。然后，滤波器控制部231通过将所选择的滤波器信息集保存在当前滤波器信息存储部232中来设定滤波器信息集。

此后，进行针对cu的处理的循环(s510)。即，解码装置200对每个cu进行解码处理。此时，解码装置200应用自适应循环滤波器。

解码装置200通过进行上述的动作，能够将基于pps的滤波器控制信息的滤波器信息集保存在参照滤波器信息存储部233中。此外，解码装置200能够从参照滤波器信息存储部233中的多个滤波器信息集中，特定基于片头的图片参数集id的滤波器信息集。而且，解码装置200可以将特定的滤波器信息集设定在当前滤波器信息存储部232中。

另外，解码装置200也可以进行与图17所示的动作对应的动作。能够基于图17说明与图17所示的动作对应地能够由解码装置200进行的动作。

首先，解码装置200与图16所示的处理(s501)同样地判定是否进行pps处理(s601)。解码装置200在判定为进行pps处理的情况下(s601中为“是”)，与图16所示的处理(s502)同样地进行pps处理(s602)。另一方面，解码装置200在判定为不进行pps处理的情况下(s601中为“否”)，跳过pps处理。

接着，解码装置200进行片头的处理(s603)。例如，熵解码部202分析解码对象的当前切片的片头并进行解码。

接着，解码装置200进行滤波器控制信息的处理(s604)。例如，熵解码部202对滤波器控制信息进行解码，滤波器控制部231取得被解码的滤波器控制信息。

滤波器控制信息可以包含在pps中。因此，滤波器控制信息的处理(s604)可以包括在pps处理(s602)中。此外，在片头的处理(s603)中，也可以对包含图片参数集id的片头进行解码，该图片参数集id包含与当前切片对应的滤波器控制信息的pps。

然后，进行针对cu的处理的循环(s605)。即，解码装置200对每个cu进行解码处理。

接着，解码装置200与图16所示的处理(s503)同样地取得nal单元类型(s606)。接着，解码装置200与图16所示的处理(s504)同样地判定解码对象图片是否是idr图片(s607)。

在判定为解码对象图片是idr图片的情况下(s607中为“是”)，解码装置200与图16所示的处理(s505)同样地删除保存的滤波器信息(s608)。

在判定为解码对象图片不是idr图片的情况下(s607中为“否”)，解码装置200与图16所示的处理(s506)同样地判定是否进行了pps处理(s602)(s609)。

然后，在判定为进行了pps处理(s602)的情况下(s609中为“是”)，解码装置200基于pps处理(s602)中的pps设定滤波器信息并进行保存(s610)。

此外，假设在判定为解码对象图片是idr图片的情况下(s607中为“是”)，进行pps处理(s602)。因此，在此情况下，解码装置200在滤波器信息的删除后，不进行是否进行了pps处理的判定，基于pps处理(s602)中的pps设定滤波器信息并进行保存(s610)。

例如，滤波器控制部231基于在pps处理(s602)中被解码的pps中包含的滤波器控制信息来特定滤波器信息集。然后，滤波器控制部231将特定的滤波器信息集分别保存在当前滤波器信息存储部232和参照滤波器信息存储部233中。

此外，在参照滤波器信息存储部233中，滤波器控制部231将基于pps中包含的滤波器控制信息特定的滤波器信息集与pps的图片参数集id建立关联并进行管理。即，滤波器信息集与图片参数集id建立关联地被保存。

此外，在处理多个pps的情况下，对于多个pps中的每一个，基于该pps的滤波器控制信息，与该pps对应的滤波器信息集被特定并保存。由此，例如，与连续地插入的多个pps分别对应的多个滤波器信息集被特定并保存。

另一方面，在判定为未进行pps处理(s602)的情况下(s609中为“否”)，解码装置200与图16所示的处理(s508)同样地取得片头的图片参数集id(s611)。接着，解码装置200与图16所示的处理(s509)同样地基于图像参数集id来设定滤波器信息(s612)。

然后，解码装置200应用自适应循环滤波器(s613)。具体而言，自适应滤波器部234使用保存在当前滤波器信息存储部232中的滤波器信息集，对当前切片应用自适应循环滤波器。

解码装置200通过进行上述的动作，能够在进行了cu的处理后，设定滤波器信息，应用自适应循环滤波器。由此，解码装置200能够在设定滤波器信息前适当地生成再现图像。因此，解码装置200能够基于输入图像和再现图像来设定滤波器信息。

此外，基于输入图像和再现图像设定的滤波器信息可以追加到切片数据中，而不是追加到pps中。而且，滤波器控制信息可以表示使用追加到切片数据的滤波器信息。熵解码部202可以对这样的滤波器信息和滤波器控制信息进行解码。

[pps通知]

例如，包含滤波器控制信息的pps从编码装置100向解码装置200通知。即，编码装置100的熵编码部110对包含滤波器控制信息的pps进行编码，解码装置200的熵解码部202对包含滤波器控制信息的pps进行解码。由此，滤波器控制信息在编码装置100及解码装置200之间共享。

另外，在包含在运动图像中的多个图片中分别有可能分配有表示与时间可扩展性有关的层次的时间id。此外，在pps也有可能分配有表示与时间可扩展性有关的层次的时间id。

此外，例如，多个pps可以分别对应于与时间可扩展性有关的多个层次，多个pps中的每一个可以是属于对应于该pps的层次的1个以上图片的pps。换句话说，对于分配给多个图片的多个时间id中的每一个，多个pps可以由分配给该时间id的1个以上图片的pps构成。

这里，针对1个以上图片的pps意味着应用于1个以上图片的公共pps。此外，对应于层次的pps意味着针对分配给属于该层次的1个以上图片的pps，即，针对分配有表示该层次的时间id的1个以上图片的pps。即，这里，pps对应于层次意味着pps是应用于分配有表示该层次的时间id的1个以上图片的公共pps。

此外，与pps对应的层次与分配给pps的时间id所示的层次可以互不相同。这些层次可以相互独立且无关地确定。此外，与pps对应的层次也可以表现为与pps有关的层次。

此外，例如，pps和与pps对应的层次通过属于该层次的图片内的切片的片头中包含的图片参数集id建立对应。基本上，在图片内的切片的片头中包含与该图片所属的层次对应的pps的图像参数集id。

以下，说明与滤波器信息处理方法的变形方式中的pps通知有关的多个具体例。

图18是表示变形方式中的pps通知的第1具体例的概念图。在图18中，与图14a同样地示出了图片p0～p8。图18的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图14a的例子相同。

而且，图18中示出了pps0～pps3。这里，ppsx是时间层x所参照的pps。此外，这里，x是时间id，时间层x包括分配有x作为时间id的图片。具体而言，pps0是在时间层0中参照的pps。即，pps0是针对分配有0作为时间id的图片的pps。

同样地，pps1是在时间层1中参照的pps。即，pps1是针对分配有1作为时间id的图片的pps。同样地，pps2是在时间层2中参照的pps。即，pps2是针对分配有2作为时间id的图片的pps。同样地，pps3是在时间层3中参照的pps。即，pps3是针对分配有3作为时间id的图片的pps。

在图18中，将x分配给ppsx作为时间id。具体而言，将0分配给pps0作为时间id。同样地，将1分配给pps1作为时间id，将2分配给pps2作为时间id，将3分配给pps3作为时间id。

另外，在图18中，编码装置100在对图片p0～p8进行编码前对pps0～pps3进行编码。然后，编码装置100按照pps0对图片p0和p1进行编码。此外，编码装置100按照pps1对图片p2进行编码。此外，编码装置100按照pps2对图片p3和p6进行编码。此外，编码装置100按照pps3对图片p4、p5、p7以及p8进行编码。

同样地，解码装置200在解码图片p0～p8前对pps0～pps3进行解码。然后，解码装置200按照pps0对图片p0和p1进行解码。另外，解码装置200按照pps1对图片p2进行解码。另外，解码装置200按照pps2对图片p3和p6进行解码。此外，解码装置200按照pps3对图片p4、p5、p7以及p8进行解码。

另外，解码装置200也可以仅对图片p0～p8中的时间id为规定值以下的一部分图片进行解码。例如，在该规定值是1的情况下，解码装置200按照pps0对图片p0和p1进行解码，并且按照pps1对图片p2进行解码。

例如，在仅对图片p0～p8中的时间id为规定值以下的一部分图片解码的情况下，解码装置200对图片p0～p8中的时间id大于规定值的图片不进行解码并丢弃。在这种情况下，解码装置200有可能对时间id大于规定值的pps不进行解码并丢弃。由于这样的时间id大的pps有可能不被解码而被丢弃，适当的上移是困难的。

例如，解码装置200在仅对图片p0～p8中的时间id为1以下的图片p0～p2进行解码的情况下，对pps0和pps1进行解码，不解码pp2和pps3并进行丢弃。另一方面，在这样的状态下，在对图片p2的解码后对图片p6进行解码那样的上移是困难的。即，在图18的例子中，适当的上移是困难的。

图19是表示变形方式中的pps通知的第2具体例的概念图。在图19中，与图18同样地示出了图片p0～p8。图19的例子中的图片p0～p8的编码顺序以及分配给图片p0～p8的时间id与图18的例子相同。而且，图19示出了pps0～pps3。这里，ppsx与图18的例子同样地，是在时间层x中被参照的pps。

在图19的例子中，将0分配给pps0～pps3中的每一个作为时间id。

此外，在图19的例子中，与图18的例子同样地，编码装置100在对图片p0～p8进行编码之前对pps0～pps3进行编码。然后，编码装置100按照pps0对图片p0和p1进行编码，按照pps1对图片p2进行编码，按照pps2对图片p3和p6进行编码，按照pps3对图片p4、p5、p7以及p8进行编码。

同样地，解码装置200在解码图片p0～p8前对pps0～pps3进行解码。然后，解码装置200按照pps0对图片p0和p1进行解码，按照pps1对图片p2进行解码，按照pps2对图片p3和p6进行解码，按照pps3对图片p4、p5、p7以及p8进行解码。

另外，解码装置200也可以仅对图片p0～p8中的时间id为规定值以下的一部分图片进行解码。例如，在该规定值是1的情况下，解码装置200按照pps0对图片p0和p1进行解码，并且按照pps1对图片p2进行解码。

此外，例如，解码装置200在仅对图片p0～p8中的时间id为规定值以下的一部分图片进行解码的情况下，不对图片p0～p8中的时间id大于规定值的图片进行解码并进行丢弃。即使在这种情况下，解码装置200也对时间id为0的pps0～pps3进行解码。因此，可以实现适当的上移。

具体而言，例如，解码装置200即使在仅对图片p0～p8中的时间id为1以下的图片p0～p2进行解码的情况下，也对pps0～pps3进行解码。因此，在对图片p2的解码后，可以按照pps2对图片p6进行解码。即，在图19的例子中，可以实现适当的上移。

图20a是表示变形方式中的pps通知的第3具体例的概念图。在图20a中，与图18同样地示出了图片p0～p8。图20a的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图18的例子相同。而且，图20a示出了pps0～pps3。这里，ppsx与图18的例子同样地，是在时间层x中被参照的pps。

另外，在图20a的例子中，与图18的例子同样地，编码装置100在对图片p0～p8进行编码前，对pps0～pps3进行编码。将x分配给此时被编码的ppsx作为时间id。具体而言，将0分配给pps0作为时间id。同样地，将1分配给pps1作为时间id，将2分配给pps2作为时间id，将3分配给pps3作为时间id。

然后，编码装置100按照pps0对图片p0和p1进行编码，按照pps1对图片p2进行编码，按照pps2对图片p3和p6进行编码，按照pps3对图片p4、p5、p7以及p8进行编码。

另外，在图20a的例子中，编码装置100在对tsa图片的编码前，对在分配给tsa图片的时间id以上的1个以上的时间层中被参照的1个以上pps进行编码。此时被编码的1个以上pps可以分配有与分配给tsa图片的时间id相同的时间id。

具体而言，在图20a的例子中，分配有2作为时间id的图片p6是tsa图片。在这种情况下，编码装置100在对图片p6的编码前，对在时间层2和时间层3中分别被参照的pps2和pps3进行编码。此时被编码的pps2和pps3可以分配有2作为时间id。

同样地，解码装置200在对图片p0～p8进行解码前对pps0～pps3进行解码。此时，对被解码的ppsx分配有x作为时间id。然后，解码装置200按照pps0对图片p0和p1进行解码，按照pps1对图片p2进行解码，按照pps2对图片p3和p6进行解码，按照pps3对图片p4、p5、p7以及p8进行解码。

此外，解码装置200在对tsa图片解码之前，对在分配给tsa图片的时间id以上的1个以上时间层中被参照的1个以上pps进行解码。此时被解码的1个以上pps可以分配有与分配给tsa图片的时间id相同的时间id。

具体而言，在图20a的例子中，分配有2作为时间id的图片p6是tsa图片。因此，解码装置200在对图片p6解码前，对分别在时间层2和时间层3中被参照的pps2和pps3进行解码。此时被解码的pps2和pps3可以分配有2作为时间id2。

例如，解码装置200仅对图片p0～p8中的时间id为1以下的图片p0～p2进行解码，因此在对图片p0解码前，可以仅对pps0～pps3中的pps0和pps1进行解码。然后，解码装置200可以在对图片p0的解码前，对pps0～pps3中的pps2和pps3不进行解码并丢弃。

然后，解码装置200对作为时间层2的tsa图片的图片p6进行解码，因此对在时间层2中被参照的pps2进行解码。此外，解码装置200对在时间层3中被参照的pps3进行解码。

由此，解码装置200能够在图片p2之后，按照pps2对图片p6进行解码，并且能够按照pp3对作为时间id为3的图片p7和p8进行解码。

即，解码装置200在解码tsa图片时，能够适当地进行按照tsa图片允许的上移。

另外，在从低时间层向高时间层转移的上移中，与高时间层对应的图片和pps被解码的可能性高。因此，可以将该pps被参照的时间层的时间id分配给在tsa图片之前被处理的pps。

例如，在图20a的例子中，对于在图片p6之前被处理的pps2和pp3，可以将2分配给pps2作为时间id，将3分配给pps3作为时间id。

图20b是表示变形方式中的pps通知的第4具体例的概念图。在图20b中，与图20a同样地示出了图片p0～p8。图20b的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图20a的例子相同。而且，图20b示出了pps0～pps3。这里，ppsx与图20a的例子同样地，是在时间层x中被参照的pps。

此外，在图20b的例子中，与图20a的例子同样地，编码装置100在对图片p0～p8进行编码前对pps0～pps3进行编码。此时，将x分配给被编码的ppsx作为时间id。然后，编码装置100按照pps0对图片p0和p1进行编码，按照pps1对图片p2进行编码，按照pps2对图片p3和p6进行编码，按照pps3对图片p4、p5、p7以及p8进行编码。

另外，在图20b的例子中，编码装置100在对stsa图片进行编码前对在分配给stsa图片的时间id的时间层中被参照的pps进行编码。此时对被编码的pps分配有与分配给stsa图片的时间id相同的时间id。

具体而言，在图20b的例子中，分配有2作为时间id的图片p6是stsa图片。在这种情况下，编码装置100在图片p6的编码前对在时间层2中被参照的pps2进行编码。此时被编码的pps2也分配有2作为时间id。

同样地，解码装置200在对图片p0～p8进行解码前对pps0～pps3进行解码。此时，对被解码的ppsx分配有x作为时间id。然后，解码装置200按照pps0对图片p0和p1进行解码，按照pps1对图片p2进行解码，按照pps2对图片p3和p6进行解码，按照pps3对图片p4、p5、p7以及p8进行解码。

此外，解码装置200在对stsa图片进行解码前，对在分配给stsa图片的时间id的时间层中被参照的pps进行解码。此时被解码的pps也分配有与分配给stsa图片的时间id相同的时间id。

具体而言，在图20b的例子中，分配有2作为时间id的图片p6是stsa图片。因此，解码装置200在对图片p6的解码前对在时间层2中被参照的pps2进行解码。此时被编码的pps2也分配有2作为时间id。

例如，解码装置200仅对图片p0～p8中的时间id为1以下的图片p0～p2进行解码，因此在图片p0的解码前，可以仅对pps0～pps3中的pps0和pps1进行解码。然后，解码装置200可以在图片p0的解码前，对pps0～pps3中的pps2和pps3不进行解码并丢弃。

然后，解码装置200对作为时间id为2的stsa图片的图片p6进行解码，因此对在时间层2中被参照的pps2进行解码。

由此，解码装置200能够在图片p2之后按照pps2对图片p6进行解码。

即，解码装置200在对stsa图片进行解码时，能够适当地进行按照stsa图片允许的上移。

图21a是表示变形方式中的pps通知的第5具体例的概念图。在图21a中，与图18同样地示出了图片p0～p8。图21a的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图18的例子相同。而且，图21a示出了pps0～pps3。这里，ppsx与图18的例子同样地，是在时间层x中被参照的pps。

在图21a的例子中，时间id大于0的图片p2～p8中的每一个都是tsa图片。按照序列参数集中包含的标志，时间id大于0的图片p2～p8中的每一个都可以被规定为tsa图片。例如，在hevc中，在sps_temporal_id_nesting_flag为1的情况下，时间id大于0的图片p2～p8中的每一个被规定为tsa图片。

另外，在图21a的例子中，编码装置100在对图片p0～p8进行编码前对在时间层0中被参照的pps0进行编码。此时，被编码的pps0分配有0作为时间id。然后，编码装置100按照pps0对图片p0和p1进行编码。

另外，在图21a的例子中，编码装置100在tsa图片的编码前对针对tsa图片的pps进行编码。这里，对针对tsa图片的pps分配有与分配给tsa图片的时间id相同的时间id。然后，编码装置100在针对tsa图片的pps的编码后，按照针对tsa图片的pps对tsa图片进行编码。

例如，编码装置100在图片p2的编码前对针对图片p2的pps1进行编码。这里，针对图片p2的pps1分配有与分配给图片p2的时间id相同的1作为时间id。然后，编码装置100在对针对图片p2的pps1的编码后，按照针对图片p2的pps1对图片p2进行编码。针对其他图片p3～p8的处理也与针对图片p2的处理同样。

同样地，解码装置200在对图片p0～p8进行解码前对在时间层0中被参照的pps0进行解码。此时，被解码的pps0分配有0作为时间id。然后，解码装置200按照pps0对图片p0和p1进行解码。

此外，解码装置200在tsa图片的解码前对针对tsa图片的pps进行解码。这里，针对tsa图片的pps分配有与分配给tsa图片的时间id相同的时间id。然后，解码装置200在对针对tsa图片的pps的解码后，按照针对tsa图片的pps对tsa图片解码。

例如，解码装置200在对图片p2的解码前对针对图片p2的pps1进行解码。这里，针对图片p2的pps1分配有与分配给图片p2的时间id相同的1作为时间id。然后，解码装置200在针对图片p2的pps1的解码后，按照针对图片p2的pps1对图片p2进行解码。针对其他图片p3～p8的处理也与针对图片p2的处理同样。

另外，解码装置200也可以仅对图片p0～p8中的时间id为规定值以下的一部分图片进行解码。然后，解码装置200可以对图片p0～p8中的时间id大于规定值的图片不进行解码并丢弃。另外，解码装置200也可以仅对pps0～pps3中的时间id为规定值以下的一部分pps进行解码。然后，解码装置200可以对pps0～pps3中的时间id大于规定值的pps不进行解码并丢弃。

例如，在该规定值是1的情况下，解码装置200对pps0进行解码，按照pps0对图片p0和p1进行解码。此外，解码装置200在图片p2的解码前对针对图片p2的pps1进行解码。然后，解码装置200在对针对图片p2的pps1的解码后，按照针对图片p2的pps1对图片p2进行解码。然后，解码装置200对时间id大于1的其他图片和pps不进行解码并丢弃。

在进行上述的动作的中途，有可能进行上移。例如，规定值有可能变更为大于1的值。

具体而言，例如，在图片p2的解码后，有可能进行上移，使得图片p6被解码。即使进行这样的上移，解码装置200也能够在图片p6的解码前对针对图片p6的pps2进行解码。因此，解码装置200可以按照针对图片p6的pps2适当地对图片p6进行解码。因此，解码装置200能够进行这样的上移。

即，解码装置200即使进行这样的上移，也能够在各tsa图片的解码前对针对该tsa图片的pps进行解码。因此，解码装置200能够按照针对该tsa图片的pps适当地对tsa图片进行解码。因此，解码装置200能够适当地进行上移。

图21b是表示变形方式中的pps通知的第6具体例的概念图。在图21b中，与图21a同样地示出了图片p0～p8。图21b的例子中的图片p0～p8的编码顺序以及分别分配给图片p0～p8的时间id与图21a的例子相同。而且，图21b示出了pps0～pps3。这里，ppsx与图21a的例子同样地，是在时间层x中被参照的pps。

在图21b的例子中，与图21a的例子同样地，时间id大于0的图片p2～p8中的每一个都是tsa图片。

另外，在图21b的例子中，与图21a的例子同样地，编码装置100在对图片p0～p8进行编码前对在时间层0中被参照的pps0进行编码。此时，被编码的pps0分配有0作为时间id。然后，编码装置100按照pps0对图片p0和p1进行编码。

另外，在图21b的例子中，编码装置100在中间层图片的编码前对针对中间层图片的pps进行编码。这里，针对中间层图片的pps分配有与分配给中间层图片的时间id相同的时间id。然后，编码装置100在对针对中间层图片的pps的编码后，按照针对中间层图片的pps对中间层图片进行编码。

这里，中间层图片是分配有大于最小的时间id且小于最大的时间id的时间id的图片。

另外，在图21b的例子中，编码装置100在特定中间层图片的编码前对针对最上层图片的pps进行编码。这里，最上层图片是分配有最大的时间id的图片。特定中间层图片是分配有仅次于最大的时间id大的时间id的中间层图片。

即，编码装置100在特定中间层图片的编码前对针对特定中间层图片的pps和针对最上层图片的pps进行编码。这里，针对特定中间层图片的pps和针对最上层图片的pps中的每一个可以分配有与分配给特定中间层图片的时间id相同的时间id。

然后，编码装置100在针对特定中间层图片的pps的编码后，按照针对特定中间层图片的pps对特定中间层图片进行编码。此外，编码装置100在针对最上层图片的pps的编码后，按照针对最上层图片的pps对最上层图片进行编码。

具体而言，图片p0～p8中的图片p2、p3以及p6分别是中间层图片。此外，图片p2、p3以及p6中的图片p3和p6分别是特定中间层图片。另外，图片p0～p8中的图片p4、p5、p7以及p8分别是最上层图片。

例如，编码装置100在图片p2的编码前对pps1进行编码。这里，pps1分配有与分配给图片p2的时间id相同的1作为时间id。然后，编码装置100在pps1的编码后按照pps1对图片p2进行编码。

此外，编码装置100在图片p3的编码前对pps2和pps3进行编码。这里，pps2和pps3中分别分配有与分配给图片p3的时间id相同的2作为时间id。然后，编码装置100在pps2的编码后，按照pps2对图片p3进行编码。另外，编码装置100在pps3的编码后，按照pps3对图片p4和p5进行编码。

此外，编码装置100在图片p6的编码前对pps2和pps3进行编码。这里，pps2和pps3分别分配有与分配给图片p6的时间id相同的2作为时间id。然后，编码装置100在pps2的编码后，按照pps2对图片p6进行编码。另外，编码装置100在pps3的编码后，按照pps3对图片p7和p8进行编码。

同样地，解码装置200在对图片p0～p8进行解码前对在时间层0中被参照的pps0进行解码。此时，被解码的pps0分配有0作为时间id。然后，解码装置200按照pps0对图片p0和p1进行解码。

此外，解码装置200在中间层图片的解码前对针对中间层图片的pps进行解码。这里，针对中间层图片的pps分配有与分配给中间层图片的时间id相同的时间id。然后，解码装置200在针对中间层图片的pps的解码后，按照针对中间层图片的pps对中间层图片进行解码。

这里，中间层图片是分配有大于最小的时间id且小于最大的时间id的时间id的图片。

另外，解码装置200在特定中间层图片的解码前，对针对最上层图片的pps进行解码。这里，最上层图片是分配有最大的时间id的图片。特定中间层图片是分配有仅次于最大的时间id大的时间id的中间层图片。

即，解码装置200在特定中间层图片的解码前，对针对特定中间层图片的pps和针对最上层图片的pps进行解码。这里，针对特定中间层图片的pps和针对最上层图片的pps可以分别分配有与分配给特定中间层图片的时间id相同的时间id。

然后，解码装置200在针对特定中间层图片的pps解码后，按照针对特定中间层图片的pps对特定中间层图片进行解码。此外，解码装置200在针对最上层图片的pps的解码后，按照针对最上层图片的pps对最上层图片进行解码。

具体而言，如上所述，图片p0～p8中的图片p2、p3以及p6分别是中间层图片。此外，图片p2、p3以及p6中的图片p3和p6分别是特定中间层图片。另外，图片p0～p8中的图片p4、p5、p7以及p8分别是最上层图片。

例如，解码装置200在图片p2的解码前对pps1进行解码。这里，pps1分配有与分配给图片p2的时间id相同的1作为时间id。然后，解码装置200在pps1的解码后，按照pps1对图片p2进行解码。

此外，解码装置200在图片p3的解码前对pps2和pps3进行解码。这里，pps2和pps3分别分配有与分配给图片p3的时间id相同的2作为时间id。然后，解码装置200在pps2的解码后，按照pps2对图片p3进行解码。此外，解码装置200在pps3的解码后，按照pps3对图片p4和p5进行解码。

此外，解码装置200在图片p6的解码前对pps2和pps3进行解码。这里，pps2和pps3分别分配有与分配给图片p6的时间id相同的2作为时间id。然后，解码装置200在pps2的解码后，按照pps2对图片p6进行解码。此外，解码装置200在pps3的解码后，按照pps3对图片p7和p8进行解码。

另外，解码装置200也可以仅对图片p0～p8中的时间id为规定值以下的一部分图片进行解码。而且，解码装置200可以对图片p0～p8中的时间id大于规定值的图片不进行解码并丢弃。另外，解码装置200也可以仅对pps0～pps3中的时间id为规定值以下的一部分pps进行解码。然后，解码装置200可以对pps0～pps3中的时间id大于规定值的pps不进行解码并丢弃。

例如，在该规定值是1的情况下，解码装置200对pps0进行解码，并按照pps0对图片p0和p1进行解码。此外，解码装置200在图片p2的解码前对针对图片p2的pps1进行解码。然后，解码装置200在对针对图片p2的pps1的解码后，按照针对图片p2的pps1对图片p2进行解码。然后，解码装置200对时间id大于1的其他图片和pps不进行解码并丢弃。

在进行上述的动作的中途，有可能进行上移。例如，规定值有可能变更为大于1的值。

具体而言，例如，在图片p2的解码后，有可能进行上移，使得图片p6被解码。即使进行这样的上移，解码装置200也能够在图片p6的解码前对针对图片p6的pps2进行解码。因此，解码装置200可以按照针对图片p6的pps2适当地对图片p6进行解码。因此，解码装置200能够进行这样的上移。

此外，进一步在图片p6的解码后，有可能进行上移，使得图片p7被解码。即使进行这样的上移，解码装置200也能够在对图片p6的解码前对针对图片p7的pps3进行解码。因此，解码装置200可以按照针对图片p7的pps3适当地对图片p7进行解码。因此，解码装置200还能够进行这样的上移。

即，解码装置200即使进行上移，也能够按照pps适当地对图片进行解码。因此，解码装置200能够适当地进行上移。

使用图18～图21b说明的pps通知不限定于滤波器信息的处理方法的变形方式中的pps通知。例如，pps可以不包含滤波器控制信息，也可以不与自适应循环滤波器相关联。pps可以不包含与自适应循环滤波器相关联的信息，而包含图片的编码或解码中使用的其他信息。例如，pps可以包含参照图片列表的信息或者量化矩阵的信息。

此外，与图18～图21b相关联的动作不限定于pps通知，还有可能应用序列参数集或自适应参数集等其他参数集的通知。即，可以将与图18～图21b相关联的说明中的pps替换为参数集。

此外，与图14a、图14b以及图18～图21b等相关联的时间id的分配可以按编码顺序、解码顺序、显示顺序或者数据种类等进行。此外，编码装置100可以对时间id进行编码，解码装置200可以对时间id进行解码。或者，通过在编码装置100及解码装置200之间以相同的基准进行时间id的分配，可以省略时间id的编码及解码。

在编码装置100中，可以熵编码部110进行时间id的分配，也可以其他构成要素进行时间id的分配。此外，在解码装置200中，可以熵解码部202进行时间id的分配，也可以其他构成要素进行时间id的分配。

[编码装置的安装例]

图22是表示编码装置100的安装例的框图。编码装置100具备电路160和存储器162。例如，图1所示的编码装置100的多个构成要素由图22所示的电路160和存储器162安装。

电路160是能够访问存储器162的电子电路，进行信息处理。例如，电路160是使用存储器162对运动图像进行编码的专用或通用电子电路。电路160可以是cpu那样的处理器。另外，电路160可以是多个电子电路的集合体。

此外，例如，电路160可以充当图1所示的编码装置100的多个构成要素中的多个构成要素，但用于存储信息的构成要素除外。即，电路160可以进行上述的动作作为这些构成要素的动作。

存储器162是存储电路160用于对运动图像编码的信息的专用或通用存储器。存储器162可以是电子电路，可以连接到电路160，也可以包括在电路160中。

此外，存储器162可以是多个电子电路的集合体，也可以由多个子存储器构成。此外，存储器162可以是磁盘或光盘等，也可以表现为存储容器或记录介质等。此外，存储器162可以是非易失性存储器，也可以是易失性存储器。

例如，存储器162可以充当图1所示的编码装置100的多个构成要素中的用于存储信息的构成要素。具体而言，存储器162可以充当图1所示的块存储器118、帧存储器122、当前滤波器信息存储部132以及参照滤波器信息存储部133。

另外，在存储器162中可以存储有被编码的运动图像，也可以存储有与被编码的运动图像对应的位串。另外，在存储器162中也可以存储有用于电路160对运动图像进行编码的程序。

另外，在编码装置100中，可以不安装图1所示的多个构成要素的全部，也可以不进行上述多个处理的全部。图1所示的多个构成要素的一部分可以包括在其他装置中，上述的多个处理的一部分可以由其他装置进行。并且，在编码装置100中，通过安装图1所示的多个构成要素中的一部分，进行上述多个处理的一部分，可以适当地设定与运动图像的编码相关联的信息。

图23是表示图22所示的编码装置100的第1动作例的流程图。例如，图22所示的编码装置100在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中应用自适应循环滤波器时，进行图23所示的动作。具体而言，电路160使用存储器162进行以下动作。

首先，电路160参照与第2图片建立了关联的第2滤波器信息来决定第1滤波器信息，该第1滤波器信息对多个图片中的第1图片应用自适应循环滤波器(s701)。这里，第2图片是多个图片中的按编码顺序比第1图片靠前的图片。

此时，电路160在第1图片的nal单元类型是规定nal单元类型的情况下，禁止将与第3图片建立了关联的第3滤波器信息作为第2滤波器信息进行参照。这里，第3图片是多个图片中的按编码顺序比第1图片靠前的图片，并且是与第1图片时间id相同的图片。然后，电路160使用所决定的第1滤波器信息，对第1图片应用自适应循环滤波器(s702)。

由此，编码装置100能够参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，编码装置100能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，编码装置100能够以对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

例如，在第1滤波器信息的决定中，电路160能够禁止将与第4图片建立了关联的第4滤波器信息作为第2滤波器信息进行参照。这里，第4图片是多个图片中的按编码顺序比第1图片靠前的图片，且是时间id大于第1图片的图片。

因此，参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第2滤波器信息进行参照。

因此，在时间可扩展性方面，编码装置100能够可以以与对图片可以进行的参照限制相同的方式，对与图片建立了关联的滤波器信息进行参照限制。因此，编码装置100能够适当地限制并设定被参照的滤波器信息。

此外，例如，电路160可以参照与第6图片建立了关联的第6滤波器信息来决定第5滤波器信息，该第5滤波器信息用于对多个图片中的按编码顺序比第1图片靠后的第5图片应用自适应循环滤波器。这里，第6图片是多个图片中的按编码顺序比第5图片靠前的图片。

此时，电路160在第1图片的nal单元类型是规定nal单元类型的情况下，可以禁止将与第3图片建立了关联的第3滤波器信息作为第6滤波器信息进行参照。然后，电路160可以使用所决定的第5滤波器信息对第5图片应用自适应循环滤波器。

由此，编码装置100能够参照第6图片的第6滤波器信息来决定按编码顺序比第1图片靠后的第5图片的第5滤波器信息。此时，编码装置100能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，编码装置100能够在比规定nal单元类型的第1图片靠后处，以与能够对与第1图片相同层次的图片进行的参照限制相同的方式，对与第1图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，在第5滤波器信息的决定中，电路160在第1图片的nal单元类型是规定nal单元类型的情况下，可以禁止将与第4图片建立了关联的第4滤波器信息作为第6滤波器信息进行参照。这里，第4图片是多个图片中的按编码顺序比第1图片靠前的图片，且是时间id大于第1图片的图片。

因此，参照第6图片的第6滤波器信息来决定第5图片的第5滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第5滤波器信息进行参照。

即，编码装置100能够在比规定nal单元类型的第1图片靠后处，以对时间id大于第1图片的图片进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，在第1滤波器信息的决定中，电路160在规定的情况下可以禁止将与第7图片建立了关联的第7滤波器信息作为第2滤波器信息进行参照。

这里，规定的情况是在第1图片和第7图片之间存在第8图片，且第8图片的nal单元类型是规定的nal单元类型的情况。此外，第7图片是多个图片中的按编码顺序比第1图片靠前的图片，且是时间id大于0的图片。此外，第8图片是时间id与第7图片相同或时间id小于第7图片的图片。

由此，编码装置100能够在比规定nal单元类型的第8图片靠后处，禁止将与第8图片相比时间id相同或大的第7图片的第7滤波器信息作为第2滤波器信息进行参照。

即，编码装置100能够在比规定nal单元类型的第8图片靠后处，以与可以对第7图片进行的参照限制相同的方式，对第7图片的第7滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，规定nal单元类型可以是tsa图片的nal单元类型。

由此，编码装置100能够以与可以对与tsa图片相同层次的图片进行的参照限制相同的方式，对与tsa图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，电路160可以参照与第6图片建立了关联的第6滤波器信息来决定第5滤波器信息，该第5滤波器信息用于对多个图片中的按编码顺序比第1图片靠后的第5图片应用自适应循环滤波器。这里，第6图片是多个图片中的按编码顺序比第5图片靠前的图片。

此时，电路160在规定的情况下，可以禁止将与第3图片建立了关联的第3滤波器信息作为第6滤波器信息进行参照。这里，规定的情况是第1图片的nal单元类型为规定的nal单元类型，且第5图片的时间id与第1图片的时间id相同的情况。然后，电路160使用所决定的第5滤波器信息，可以对第5图片应用自适应循环滤波器。

由此，编码装置100能够参照第6图片的第6滤波器信息，决定在按编码顺序比第1图片靠后处与第1图片相同层次的第5图片的第5滤波器信息。此时，编码装置100能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，编码装置100能够在比规定nal单元类型的第1图片靠后且在与第1图片相同层次处，与对比第1图片靠前的图片进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，规定nal单元类型可以是stsa图片的nal单元类型。

由此，编码装置100能够以与可以对与stsa图片相同层次的图片进行的参照限制相同的方式，对与stsa图片相同层次的图片的滤波器信息进行参照限制。因此，编码装置100能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

图24是表示图22所示的编码装置100的第2动作例的流程图。例如，图22所示的编码装置100在对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码时，进行图24所示的动作。具体而言，电路160使用存储器162进行以下动作。

首先，电路160对分别分配有0作为表示与时间可扩展性有关的层次的时间id的多个参数集进行编码(s801)。然后，电路160在多个参数集的编码后，对多个图片中的按编码顺序在最初的图片进行编码(s802)。

这里，多个参数分别对应于由分配给多个图片的多个时间id所示的多个层次。另外，多个参数集分别是针对多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上图片的参数集。

由此，编码装置100能够首先对与多个层次分别对应的多个参数集汇总并进行编码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

例如，多个图片可以构成第1图片组。此外，多个参数集可以构成第1参数集组。此外，运动图像可以包含构成第2图片组的多个图片。然后，电路160可以在对构成第1图片组的图片的编码后，对构成第2参数集组的多个参数集进行编码。

这里，构成第2参数集组的多个参数集可以是分别分配有0作为表示与时间可扩展性有关的层次的时间id的多个参数集。此外，构成第2参数集组的多个参数集可以分别对应于由分配给构成第2图片组的多个图片的多个时间id所示的多个层次。

此外，构成第2参数集组的各参数集可以是针对第2图片组的多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上图片的参数集。

另外，电路160可以在构成第2参数集组的多个参数集的编码后，对构成第2图片组的多个图片中的按编码顺序在最初的图片进行编码。

由此，对于每个图片组，编码装置100能够首先对与多个层次分别对应的多个参数集汇总并进行编码。因此，编码装置100能够对每个图片组适当地设定与运动图像的编码相关联的信息。

图25是表示图22所示的编码装置100的第3动作例的流程图。例如，图22所示的编码装置100在对包含多个图片的运动图像进行编码时，进行图25所示的动作。具体而言，电路160使用存储器162进行以下动作。

首先，电路160对多个图片中的第1图片进行编码(s901)。然后，电路160进行第1动作或第2动作(s902)。此时，电路160在第2图片是规定的图片的情况下，进行第1动作。

这里，第1动作是在第1图片的编码后，对针对第2图片的参数集进行编码，在针对第2图片的参数集的编码后，对第2图片进行编码的动作。另外，第2动作是在第1图片的编码后，不对针对第2图片的参数集进行编码，而对第2图片进行编码的动作。另外，第2图片是多个图片中的按编码顺序比第1图片靠后的图片。

由此，编码装置100能够在规定图片之前对规定图片的参数集进行编码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

例如，规定图片可以是tsa图片。由此，编码装置100能够在tsa图片之前对tsa图片的参数集进行编码。因此，在针对tsa图片的上移等中，可以适当地处理针对tsa图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，多个图片分别可以是分配有表示与时间可扩展性有关的层次的时间id的图片。然后，电路160在第1动作中，在第1图片的编码后，对作为包含针对第2图片的参数集的多个参数集的多个关联参数集进行编码，在多个关联参数集的编码后，对第2图片进行编码。

这里，多个关联参数集分别对应于由分配给第2图片的时间id以上的多个时间id所示的多个层次。另外，多个关联参数集分别是多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上图片的参数集。

由此，编码装置100能够在规定图片之前，分别对针对时间id与规定图片相同或者时间id大于规定图片的多个图片的多个参数集进行编码。因此，在针对时间id大于规定图片的图片的上移等中，可以适当地处理参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，规定图片可以是stsa图片。由此，编码装置100能够在stsa图片之前对针对stsa图片的参数集进行编码。因此，在针对stsa图片的上移等中，可以适当地处理针对stsa图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，第2图片可以是多个图片中的接着第1图片被编码的图片。由此，编码装置100在即将对规定图片进行编码前，能够适当地对规定图片的参数集进行编码。因此，可以适当地处理针对规定图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，多个图片分别可以是分配有表示与时间可扩展性有关的层次的时间id的图片。

然后，电路160可以在对多个图片中的按编码顺序在最初的图片进行编码前，对作为包含针对第2图片的参数集的多个参数集的多个总括参数集进行编码。

这里，上述多个总括参数集分别对应于由分配给多个图片的多个时间id所示的多个层次。此外，多个总括参数集分别是针对多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上图片的参数集。

由此，编码装置100即使在包含针对规定图片的参数集的多个参数集首先被编码的情况下，也能够在规定图片之前再次对针对规定图片的参数集进行编码。因此，可以适当地处理针对规定图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，规定图片可以是tsa图片或stsa图片。此外，例如，电路160在第2图片是规定图片的情况下，可以禁止第2动作。

图26是表示图22所示的编码装置100的第4动作例的流程图。例如，图22所示的编码装置100在对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码时，进行图26所示的动作。具体而言，电路160使用存储器162进行以下动作。

首先，电路160对多个图片中的第1图片进行编码(s1001)。然后，电路160进行第1动作或第2动作(s1002)。此时，电路160在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，进行第1动作。

这里，第1动作是在第1图片的编码后，对针对第2图片的参数集进行编码，在针对第2图片的参数集的编码后，对第2图片进行编码的动作。另外，第2动作是在第1图片的编码后，不对针对第2图片的参数集进行编码，而对第2图片进行编码的动作。另外，第2图片是多个图片中的按编码顺序比第1图片靠后的图片。

另外，最小的时间id是分配给多个图片的多个时间id中的最小的时间id。另外，最大的时间id是分配给多个图片的多个时间id中的最大时间id。

由此，编码装置100能够在中间层的图片之前对针对中间层的图片的参数集进行编码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

例如，电路160在分配给第2图片的时间id是最大的时间id的情况下，可以进行第1动作。由此，编码装置100能够在最上层图片之前对针对最上层图片的参数集进行编码。因此，在针对最上层图片的上移等中，可以适当地处理针对最上层图片的参数集。因此，编码装置100能够适当地设定与运动图像的编码相关联的信息。

此外，例如，电路160在规定的情况下进行的第1动作中，可以在第1图片的编码后，对针对第2图片的参数集和最上位参数集进行编码。然后，电路160可以在针对第2图片的参数集和最上位参数集的编码后，对第2图片进行编码。

这里，规定的情况是分配给第2图片的时间id是多个时间id中的第2大的时间id的情况。另外，最上位参数集是针对分配有最大的时间id的1个以上图片的参数集。

由此，编码装置100能够高效地对包含针对最上层图片的参数集的2个参数集进行编码。

此外，例如，电路160在分配给第2图片的时间id是最大的时间id的情况下，可以进行第2动作。由此，编码装置100能够省略在最上层图片之前对最上层图片的参数集进行编码。

此外，例如，电路160在规定条件下，在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，可以进行第1动作。这里，规定条件是包含在针对多个图片的序列参数集中的规定标志是规定值的条件。由此，编码装置100能够在规定的序列中，在中间层的图片之前适当地对针对中间层的图片的参数集进行编码。

此外，例如，在规定标志是规定值的条件下，在分配给该图片的时间id不是最小的时间id的情况下，多个图片分别可以是tsa图片。因此，编码装置100能够在除了最下层之外由tsa图片构成的规定序列中，在中间层图片之前适当地对针对中间层图片的参数集进行编码。

此外，例如，电路160在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，可以禁止第2动作。此外，例如，电路160在分配给第2图片的时间id是最大的时间id的情况下，也可以禁止第2动作。此外，例如，在规定条件下，电路160可以按照分配给第2图片的时间id，禁止第2动作。

[解码装置的安装例]

图27是表示解码装置200的安装例的框图。解码装置200具备电路260和存储器262。例如，图10所示的解码装置200的多个构成要素由图27所示的电路260和存储器262安装。

电路260是能够访问存储器262的电子电路，进行信息处理。例如，电路260是使用存储器262对运动图像进行解码的专用或通用的电子电路。电路260可以是cpu那样的处理器。另外，电路260可以是多个电子电路的集合体。

此外，例如，电路260可以充当图10所示的解码装置200的多个构成要素中的多个构成要素，但用于存储信息的构成要素除外。即，电路260可以进行上述的动作作为这些构成要素的动作。

存储器262是存储电路260用于解码运动图像的信息的专用或通用存储器。存储器262可以是电子电路，可以连接到电路260，也可以包括在电路260中。

此外，存储器262可以是多个电子电路的集合体，也可以由多个子存储器构成。此外，存储器262可以是磁盘或光盘等，也可以表现为存储容器或记录介质等。此外，存储器262可以是非易失性存储器，也可以是易失性存储器。

例如，存储器262可以充当图10所示的解码装置200的多个构成要素中的用于存储信息的构成要素。具体而言，存储器262可以充当图10所示的块存储器210、帧存储器214、当前滤波器信息存储部232以及参照滤波器信息存储部233。

另外，在存储器262中可以存储有对应于被编码的运动图像的位串，也可以存储有被解码的运动图像。另外，在存储器262中，也可以存储有用于电路260对运动图像进行解码的程序。

另外，在解码装置200中，可以不安装图10所示的多个构成要素的全部，也可以不进行上述多个处理的全部。图10所示的多个构成要素的一部分可以包括在其他装置中，上述的多个处理的一部分可以由其他装置进行。并且，在解码装置200中，通过安装图10所示的多个构成要素中的一部分，进行上述多个处理的一部分，可以适当地设定与运动图像的解码相关的信息。

图28是表示图27所示的解码装置200的第1动作例的流程图。例如，图27所示的解码装置200在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的解码中应用自适应循环滤波器时，进行图28所示的动作。具体而言，电路260使用存储器262进行以下动作。

首先，电路260参照与第2图片建立了关联的第2滤波器信息来决定第1滤波器信息，该第1滤波器信息对多个图片中的第1图片应用自适应循环滤波器(s1101)。这里，第2图片是多个图片中的按解码顺序比第1图片靠前的图片。

此时，电路260在第1图片的nal单元类型是规定nal单元类型的情况下，禁止将与第3图片建立了关联的第3滤波器信息作为第2滤波器信息进行参照。这里，第3图片是多个图片中按解码顺序比第1图片靠前的图片，并且是与第1图片时间id相同的图片。然后，电路260使用所决定的第1滤波器信息，对第1图片应用自适应循环滤波器(s1102)。

因此，解码装置200能够参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息。此时，解码装置200能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第2滤波器信息进行参照。

即，解码装置200能够以对与规定nal单元类型的第1图片相同层次的图片可以进行的参照限制相同的方式，对与规定nal单元类型的第1图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

例如，在第1滤波器信息的决定中，电路260能够禁止将与第4图片建立了关联的第4滤波器信息作为第2滤波器信息进行参照。这里，第4图片是多个图片中的按解码顺序比第1图片靠前的图片，且是时间id大于第1图片的图片。

因此，参照第2图片的第2滤波器信息来决定第1图片的第1滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第2滤波器信息进行参照。

因此，在时间可扩展性方面，解码装置200能够以与对图片进行的参照限制相同的方式，对与图片建立了关联的滤波器信息进行参照限制。因此，解码装置200能够适当地限制并设定被参照的滤波器信息。

此外，例如，电路260可以参照与第6图片建立了关联的第6滤波器信息来决定第5滤波器信息，该第5滤波器信息对多个图片中的按解码顺序比第1图片靠后的第5图片应用自适应循环滤波器。这里，第6图片是多个图片中按解码顺序比第5图片靠前的图片。

此时，电路260在第1图片的nal单元类型是规定nal单元类型的情况下，可以禁止将与第3图片建立了关联的第3滤波器信息作为第6滤波器信息进行参照。然后，电路260可以使用所决定的第5滤波器信息对第5图片应用自适应循环滤波器。

因此，解码装置200能够参照第6图片的第6滤波器信息来决定按解码顺序比第1图片靠后的第5图片的第5滤波器信息。此时，解码装置200能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，解码装置200能够在比规定nal单元类型的第1图片靠后处，以与能够对与第1图片相同层次的图片进行的参照限制相同的方式，对与第1图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，在第5滤波器信息的决定中，电路260在第1图片的nal单元类型是规定nal单元类型的情况下，可以禁止将与第4图片建立了关联的第4滤波器信息作为第6滤波器信息进行参照。这里，第4图片是多个图片中的按解码顺序比第1图片靠前的图片，且是时间id大于第1图片的图片。

因此，参照第6图片的第6滤波器信息来决定第5图片的第5滤波器信息时，禁止将时间id大于第1图片的第4图片的第4滤波器信息作为第5滤波器信息进行参照。

即，解码装置200能够在比规定nal单元类型的第1图片靠后处，以与对时间id大于第1图片的图片进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，在第1滤波器信息的决定中，电路260在规定的情况下可以禁止将与第7图片建立了关联的第7滤波器信息作为第2滤波器信息进行参照。

这里，规定的情况是在第1图片和第7图片之间存在第8图片，且第8图片的nal单元类型是规定的nal单元类型的情况。另外，第7图片是多个图片中按解码顺序比第1图片靠前的图片，且是时间id大于0的图片。此外，第8图片是时间id与第7图片相同或时间id小于第7图片的图片。

因此，解码装置200能够在比规定nal单元类型的第8图片靠后处，禁止将与第8图片相比时间id相同或大的第7图片的第7滤波器信息作为第2滤波器信息进行参照。

即，解码装置200能够在比规定nal单元类型的第8图片靠后处，以与可以对第7图片进行的参照限制相同的方式，对第7图片的第7滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，规定nal单元类型可以是tsa图片的nal单元类型。

由此，解码装置200能够以与可以对与tsa图片相同层次的图片进行的参照限制相同的方式，对与tsa图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，电路260可以参照与第6图片建立了关联的第6滤波器信息来决定第5滤波器信息，该第5滤波器信息对多个图片中的按解码顺序比第1图片靠后的第5图片应用自适应循环滤波器。这里，第6图片是多个图片中按解码顺序比第5图片靠前的图片。

此时，电路260在规定的情况下，可以禁止将与第3图片建立了关联的第3滤波器信息作为第6滤波器信息进行参照。这里，规定的情况是第1图片的nal单元类型为规定的nal单元类型，且第5图片的时间id与第1图片的时间id相同的情况。然后，电路260可以使用所决定的第5滤波器信息，对第5图片应用自适应循环滤波器。

因此，解码装置200能够参照第6图片的第6滤波器信息，决定在按解码顺序比第1图片靠后处与第1图片相同层次的第5图片的第5滤波器信息。此时，解码装置200能够禁止将与规定nal单元类型的第1图片相同层次的第3图片的第3滤波器信息作为第6滤波器信息进行参照。

即，解码装置200能够在比规定nal单元类型的第1图片靠后且在与第1图片相同层次处，以与对比第1图片靠前的图片进行的参照限制相同的方式，对滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，规定nal单元类型可以是stsa图片的nal单元类型。

由此，解码装置200能够以与可以对与stsa图片相同层次的图片进行的参照限制相同的方式，对与stsa图片相同层次的图片的滤波器信息进行参照限制。因此，解码装置200能够将滤波器信息与图片建立关联并适当地管理，能够适当地限制并设定被参照的滤波器信息。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

图29是表示图27所示的解码装置200的第2动作例的流程图。例如，图27所示的解码装置200在对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码时，进行图29所示的动作。具体而言，电路260使用存储器262进行以下动作。

首先，电路260对分别分配有0作为表示与时间可扩展性有关的层次的时间id的多个参数集进行解码(s1201)。然后，电路260在多个参数集的解码后，对多个图片中的按解码顺序在最初的图片进行解码(s1202)。

这里，多个参数集分别对应于由分配给多个图片的多个时间id所示的多个层次。另外，多个参数集分别是针对多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上图片的参数集。

由此，解码装置200能够首先对与多个层次分别对应的多个参数集进行汇总并解码。另外，多个参数集中分别分配有0作为时间id。因此，可以不丢弃而适当地处理多个参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

例如，多个图片可以构成第1图片组。此外，多个参数集可以构成第1参数集组。此外，运动图像可以包含构成第2图片组的多个图片。然后，电路260可以在对构成第1图片组的图片的解码后，对构成第2参数集组的多个参数集进行解码。

这里，构成第2参数集组的多个参数集可以是分别分配有0作为表示与时间可扩展性有关的层次的时间id的多个参数集。此外，构成第2参数集组的多个参数集可以分别对应于由分配给构成第2图片组的多个图片的多个时间id所示的多个层次。

此外，构成第2参数集组的各参数集可以是针对第2图片组的多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上图片的参数集。

此外，电路260可以在构成第2参数集组的多个参数集的解码后，对构成第2图片组的多个图片中的按解码顺序在最初的图片进行解码。

由此，对于每个图片组，解码装置200能够首先对与多个层次分别对应的多个参数集进行汇总解码。因此，解码装置200能够对每个图片组适当地设定与运动图像的解码相关联的信息。

图30是表示图27所示的解码装置200的第3动作例的流程图。例如，图27所示的解码装置200在对包含多个图片的运动图像进行解码时，进行图30所示的动作。具体而言，电路260使用存储器262进行以下动作。

首先，电路260对多个图片中的第1图片进行解码(s1301)。然后，电路260进行第1动作或第2动作(s1302)。此时，电路260在第2图片是规定图片的情况下，进行第1动作。

这里，第1动作是在第1图片的解码后，对针对第2图片的参数集进行解码，在针对第2图片的参数集进行的解码后，对第2图片进行解码的动作。另外，第2动作是在第1图片的解码后，不对针对第2图片的参数集进行解码，而对第2图片进行解码的动作。另外，第2图片是多个图片中按解码顺序比第1图片靠后的图片。

由此，解码装置200能够在规定图片之前对针对规定图片的参数集进行解码。因此，在针对规定图片的上移等中，可以适当地处理针对规定图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

例如，规定图片可以是tsa图片。由此，解码装置200能够在tsa图片之前对针对tsa图片的参数集进行解码。因此，在针对tsa图片的上移等中，可以适当地处理针对tsa图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，多个图片分别可以是分配有表示与时间可扩展性有关的层次的时间id的图片。然后，电路260可以在第1动作中，在第1图片的解码后，对作为包含针对第2图片的参数集的多个参数集的多个关联参数集进行解码，在多个关联参数集的解码后对第2图片进行解码。

这里，多个关联参数集分别对应于由分配给第2图片的时间id以上的多个时间id所示的多个层次。另外，多个关联参数集分别是多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上图片的参数集。

由此，解码装置200能够在规定图片之前，分别对针对时间id与规定图片相同，或者时间id比规定图片大的多个图片的多个参数集进行解码。因此，在针对时间id大于规定图片的图片的上移等中，可以适当地处理参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，规定图片可以是stsa图片。由此，解码装置200能够在stsa图片之前对针对stsa图片的参数集进行解码。因此，在针对stsa图片的上移等中，可以适当地处理针对stsa图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，第2图片可以是在多个图片中接着第1图片被解码的图片。由此，解码装置200能够在即将对规定图片进行解码前适当地对规定图片的参数集进行解码。因此，可以适当地处理针对规定图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，多个图片分别可以是分配有表示与时间可扩展性有关的层次的时间id的图片。

然后，电路260可以在对多个图片中的按解码顺序在最初的图片进行解码前，对作为包含针对第2图片的参数集的多个参数集的多个总括参数集进行解码。

这里，多个总括参数集分别对应于由分配给多个图片的多个时间id所示的多个层次。此外，多个总括参数集分别是针对多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上图片的参数集。

由此，解码装置200即使在包含针对规定图片的参数集的多个参数集首先被解码的情况下，也能够在规定图片之前再次对针对规定图片的参数集进行解码。因此，可以适当地处理针对规定图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，规定图片可以是tsa图片或stsa图片。此外，例如，电路260在第2图片是规定图片的情况下，可以禁止第2动作。

图31是表示图27所示的解码装置200的第4动作例的流程图。例如，图27所示的解码装置200在对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码时，进行图31所示的动作。具体而言，电路260使用存储器262进行以下动作。

首先，电路260对多个图片中的第1图片解码(s1401)。然后，电路260进行第1动作或第2动作(s1402)。此时，电路260在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，进行第1动作。

这里，第1动作是在第1图片的解码后，对针对第2图片的参数集进行解码，在针对第2图片的参数集进行的解码后，对第2图片进行解码的动作。另外，第2动作是在第1图片的解码后，不对针对第2图片的参数集进行解码，而对第2图片进行解码的动作。另外，第2图片是多个图片中按解码顺序比第1图片靠后的图片。

另外，最小的时间id是分配给多个图片的多个时间id中的最小的时间id。另外，最大的时间id是分配给多个图片的多个时间id中的最大时间id。

由此，解码装置200能够在中间层的图片之前对针对中间层的图片的参数集进行解码。因此，在针对中间层图片的上移等中，可以适当地处理针对中间层图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

例如，电路260在分配给第2图片的时间id是最大的时间id的情况下，可以进行第1动作。由此，解码装置200能够在最上层图片之前对针对最上层图片的参数集进行解码。因此，在针对最上层图片的上移等中，可以适当地处理针对最上层图片的参数集。因此，解码装置200能够适当地设定与运动图像的解码相关联的信息。

此外，例如，电路260在规定的情况下进行的第1动作中，可以在第1图片的解码后，对针对第2图片的参数集和最上位参数集进行解码。然后，电路260可以在针对第2图片的参数集和最上位参数集的解码后，对第2图片进行解码。

这里，规定的情况是分配给第2图片的时间id是多个时间id中的第2大的时间id的情况。另外，最上位参数集是针对分配有最大的时间id的1个以上图片的参数集。

由此，解码装置200能够高效地对包含针对最上层图片的参数集的2个参数集进行解码。

此外，例如，电路260在分配给第2图片的时间id是最大的时间id的情况下，可以进行第2动作。由此，解码装置200能够省略在最上层图片之前对针对最上层图片的参数集进行解码。

此外，例如，电路260在规定条件下，在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，可以进行第1动作。这里，规定条件是包含在针对多个图片的序列参数集中的规定标志是规定值的条件。由此，解码装置200能够在规定的序列中，在中间层的图片之前适当地对针对中间层的图片的参数集进行解码。

此外，例如，在规定标志是规定值的条件下，在分配给该图片的时间id不是最小的时间id的情况下，多个图片分别可以是tsa图片。由此，解码装置200能够在除了最下层之外由tsa图片构成的规定序列中，在中间层图片之前适当地对针对中间层图片的参数集进行解码。

此外，例如，电路260在分配给第2图片的时间id大于最小的时间id并且小于最大的时间id的情况下，可以禁止第2动作。此外，例如，电路260在分配给第2图片的时间id是最大的时间id的情况下，可以禁止第2动作。此外，例如，在规定的条件下，电路260可以按照分配给第2图片的时间id，禁止第2动作。

[补充]

本实施方式中的编码装置100及解码装置200可以分别利用为图像编码装置和图像解码装置，也可以利用为运动图像编码装置和运动图像解码装置。

或者，编码装置100及解码装置200可以分别利用为参数编码装置和参数解码装置。即，编码装置100及解码装置200可以分别对应于熵编码部110和熵解码部202。另外，帧间预测部126或218等其他构成要素可以包括在其他装置中。

或者，编码装置100及解码装置200可以分别利用为过滤器装置。即，编码装置100及解码装置200可以分别仅对应于循环滤波部120和循环滤波部212。另外，帧间预测部126或218等其他构成要素可以包括在其他装置中。

或者，编码装置100可以仅对应于熵编码部110和循环滤波部120。解码装置200可以仅对应于熵解码部202和循环滤波部212。

另外，本实施方式的至少一部分可以利用为编码方法，也可以利用为解码方法，可以利用为参数设定方法，也可以利用为其他方法。

另外，在本实施方式中，各构成要素由专用的硬件构成，但也可以通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过cpu或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。

具体而言，编码装置100及解码装置200中的每一个可以具备处理电路(processingcircuitry)和电连接到该处理电路的可从该处理电路访问的存储装置(storage)。例如，处理电路与电路160或260对应，存储装置与存储器162或262对应。

处理电路包含专用的硬件及程序执行部中的至少一方，使用存储装置来执行处理。另外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。

在此，实现本实施方式的编码装置100或解码装置200等的软件是如下的程序。

即，该程序可以使计算机执行编码方法，该编码方法在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的编码中应用自适应循环滤波器，包括：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按编码顺序比上述第1图片靠前的第2图片建立了关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，在判定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer)单元类型是规定nal单元类型的情况下，禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按编码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

或者，也可以是该程序使计算机执行解码方法，该解码方法在包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像的解码中应用自适应循环滤波器，包括：参照第2滤波器信息来决定第1滤波器信息的步骤，该第1滤波器信息用于对上述多个图片中的第1图片应用自适应循环滤波器，该第2滤波器信息与上述多个图片中的按解码顺序比上述第1图片靠前的第2图片建立关联；以及使用所决定的上述第1滤波器信息，对上述第1图片应用自适应循环滤波器的步骤，在判定上述第1滤波器信息的步骤中，在上述第1图片的nal(networkabstractionlayer)单元类型是规定nal单元类型的情况下，禁止将第3滤波器信息作为上述第2滤波器信息进行参照，该第3滤波器信息与第3图片建立了关联，该第3图片是上述多个图片中的按解码顺序比上述第1图片靠前的图片，且是时间id与上述第1图片相同的图片。

或者，也可以是该程序使计算机执行编码方法，该编码方法对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码，包括：对分别分配有0作为表示与上述时间可扩展性有关的层次的时间id的多个参数集进行编码的步骤；以及在上述多个参数集的编码后，对上述多个图片中的按编码顺序在最初的图片进行编码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

或者，也可以是该程序使计算机执行解码方法，该解码方法对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码，包括：对分别分配有0作为时间id的多个参数集进行解码的步骤，该时间id表示与上述时间可扩展性有关的层次；以及在上述多个参数集的解码后，对上述多个图片中的按解码顺序在最初的图片进行解码的步骤，上述多个参数集分别与由分配给上述多个图片的多个时间id所示的多个层次对应，上述多个参数集分别针对上述多个图片中的分配有表示该参数集所对应的层次的时间id的1个以上的图片的参数集。

或者，该程序使计算机执行编码方法，该编码方法对包含多个图片的运动图像进行编码，包括：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，可以进行上述第1动作。

或者，该程序使计算机执行解码方法，该解码方法对包含多个图片的运动图像进行解码，包括：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在对上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，在进行上述第1动作或第2动作的步骤中，在上述第2图片是规定图片的情况下，可以进行上述第1动作。

或者，该程序使计算机执行编码方法，该解码方法对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行编码，包括：对上述多个图片中的第1图片进行编码的步骤；以及进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，进行上述第1动作。

或者，该程序使计算机执行解码方法，该解码方法对包含分别分配有表示与时间可扩展性有关的层次的时间id的多个图片的运动图像进行解码，包括：对上述多个图片中的第1图片进行解码的步骤；以及进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在对上述参数集的解码后，对上述第2图片进行解码的第1动作，或者(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，在进行上述第1动作或上述第2动作的步骤中，在分配给上述第2图片的时间id大于分配给上述多个图片的多个时间id中的最小的时间id、且小于上述多个时间id中的最大的时间id的情况下，进行上述第1动作。

另外，如上所述，各构成要素也可以是电路。这些电路既可以作为整体构成一个电路，也可以分别是不同的电路。另外，各构成要素既可以通过通用的处理器来实现，也可以通过专用的处理器来实现。

另外，也可以由其他构成要素执行特定的构成要素所执行的处理。另外，执行处理的顺序可以变更，也可以同时执行多个处理。另外，也可以是，编码解码装置具备编码装置100及解码装置200。

此外，用于说明的第1和第2等的序数可以适当地被替换。另外，对于构成要素等，可以赋予新的序数，也可以去除序数。

以上，基于实施方式说明了编码装置100及解码装置200的形态，但编码装置100及解码装置200的形态并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员能想到的各种变形的形态、将不同的实施方式中的构成要素组合而构建的形态也可以包含在编码装置100及解码装置200的形态的范围内。

也可以将本方式与本发明中的其他方式的至少一部分组合来实施。此外，也可以将本方式的流程图所记载的一部分处理、装置的一部分结构、语法的一部分等与其他方式组合来实施。

(实施方式2)

在以上的各实施方式中，各个功能块通常可以通过mpu及存储器等实现。此外，各个功能块的处理通常通过由处理器等程序执行部将记录在rom等记录介质中的软件(程序)读出并执行来实现。该软件既可以通过下载等来分发，也可以记录到半导体存储器等记录介质中来分发。另外，当然也能够通过硬件(专用电路)实现各功能块。

此外，在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。

本发明的形态并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的形态的范围内。

进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、以及具备两者的图像编码解码装置。关于系统中的其他结构，根据情况能够适当地变更。

[使用例]

图32是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的尺寸，在各单元内分别设有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114以及智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些要素组合而连接。也可以不经由作为固定无线站的基站ex106～ex110而将各设备经由电话网或近距离无线等直接或间接地相互连接。此外，流媒体服务器ex103经由因特网ex101等而与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103经由卫星ex116而与飞机ex117内的热点内的终端等连接。

另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。

相机ex113是数字相机等能够进行静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与通常被称作2g、3g、3.9g、4g、及今后被称作5g的移动通信系统的方式对应的智能电话机、便携电话机或phs(personalhandyphonesystem)等。

家电ex118是电冰箱或在家庭用燃料电池热电联供系统中包含的设备等。

在内容供给系统ex100中，具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，由此能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据复用，将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一形态的图像编码装置发挥功能。

另一方面，流媒体服务器ex103将对有请求的客户端发送的内容数据进行流分发。客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备对接收到的数据进行解码处理并再现。即，各设备作为有关本发明的一形态的图像解码装置发挥功能。

[分散处理]

此外，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散处理或记录而分发。例如，流媒体服务器ex103也可以由cdn(contentsdeliverynetwork)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实现内容分发。在cdn中，根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过向该边缘服务器高速缓存及分发内容，能够减少延迟。此外，在发生了某种错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他边缘服务器、或绕过发生故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。

此外，不限于分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中对帧或场景单位的图像的复杂度或代码量进行检测。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，通过由终端进行第1次的编码处理、由接收到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率提高。在此情况下，如果有几乎实时地接收并解码的请求，则也可以将终端进行的第一次编码完成的数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。

作为其他例子，相机ex113等从图像进行特征量提取，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度等，进行与图像的意义对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行vlc(可变长编码)等简单的编码，由服务器进行cabac(上下文自适应二值算术编码方式)等处理负荷大的编码。

作为其他例子，在体育场、购物中心或工厂等中，有存在由多个终端拍摄大致相同的场景而得到的多个影像数据的情况。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以gop(groupofpicture)单位、图片单位或将图片分割而得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。

此外，由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端拍摄的影像数据相互参照。或者，也可以是服务器接收来自各终端的已编码数据并在多个数据间变更参照关系，或将图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。

此外，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将mpeg类的编码方式变换为vp类，也可以将h.264变换为h.265。

这样，编码处理能够由终端或1个以上的服务器进行。因此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。

[3d、多角度]

近年来，将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或从不同的角度拍摄了相同场景的图像或影像合并而利用的情况增加。将由各终端拍摄的影像基于另取得的终端间的相对位置关系、或影像中包含的特征点一致的区域等来合并。

服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像进行编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄了相同场景的影像，生成该场景的三维形状。另外，服务器也可以将由点云(pointcloud)等生成的三维的数据另行编码，也可以基于使用三维数据将人物或目标进行识别或跟踪的结果，从由多个终端拍摄的影像中选择或重构而生成向接收终端发送的影像。

这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据中切取了任意视点的影像的内容。进而，与影像同样，声音也可以从多个不同的角度集音，由服务器匹配于影像而将来自特定的角度或空间的声音与影像复用并发送。

此外，近年来，virtualreality(vr：虚拟现实)及augmentedreality(ar：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在vr图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过multi－viewcoding(mvc：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流进行编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。

在ar图像的情况下，也可以是，服务器基于三维的位置或用户的视点的移动，对现实空间的相机信息重叠虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作重叠数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作重叠数据，将重叠数据进行编码并向解码装置分发。另外，重叠数据在rgb以外具有表示透射度的α值，服务器将根据三维数据制作出的目标以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定值的rgb值设定为背景，生成将目标以外的部分设为背景色的数据。

同样，分发的数据的解码处理既可以由作为客户端的各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发送接收请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过与可通信的终端自身的性能无关地都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他例子，也可以由tv等接收大尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域进行解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。

此外，预想今后在不论室内外都能够使用近距离、中距离或长距离的多个无线通信的状况下，利用mpeg－dash等的分发系统标准，一边对连接中的通信切换适当的数据一边无缝接收内容。由此，用户不仅用自身的终端，还能够自由地选择设置在室内外的显示器等解码装置或显示装置来实时地切换。此外，能够基于自身的位置信息等，切换解码的终端及显示的终端来进行解码。由此，还能够在向目的地的移动中一边在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上显示地图信息一边移动。此外，还能够基于在能够从接收终端以短时间访问的服务器中高速缓存有编码数据、或在内容分发服务的边缘服务器中复制有编码数据等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。

[可分级编码]

关于内容的切换，使用图33所示的、使用应用在上述各实施方式中表示的运动图像编码方法进行压缩编码的可分级(scalable)的流进行说明。对服务器而言，作为单独的流也可以具有内容相同而品质不同的多个流，也可以是如图示那样利用通过分层进行编码而实现的时间/空间上的可分级的流的特征来切换内容的结构。即，通过由解码侧根据性能这样的内在因素和通信频带的状态等外在因素来决定解码到哪个层，解码侧能够自由地切换低分辨率的内容和高分辨率的内容来解码。例如在想要将在移动中用智能电话ex115视听的影像的后续在回家后用因特网tv等设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。

进而，在如上述那样按每个层将图片编码、实现在基本层的上位存在增强层的分级性的结构以外，也可以是增强层(enhancementlayer)包含基于图像的统计信息等的元信息，解码侧通过基于元信息将基本层的图片进行超析像来生成高画质化的内容。超析像可以是相同分辨率下的sn比的提高及分辨率的扩大中的任意一种。元信息包括用来确定在超析像处理中使用的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。

或者，也可以是根据图像内的目标等的意义将图片分割为瓦片等，解码侧通过选择进行解码的瓦片而仅将一部分区域解码的结构。此外，通过将目标的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息确定希望的目标的位置，决定包括该目标的瓦片。例如，如图34所示，使用hevc中的sei消息等与像素数据不同的数据保存构造来保存元信息。该元信息例如表示主目标的位置、尺寸或色彩等。

此外，也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。由此，解码侧能够取得特定人物在影像内出现的时刻等，通过与图片单位的信息匹配，能够确定目标存在的图片、以及图片内的目标的位置。

[web页的优化]

图35是表示计算机ex111等中的web页的显示画面例的图。图36是表示智能电话ex115等中的web页的显示画面例的图。如图35及图36所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)中作为链接图像而显示各内容所具有的静止图像或i图片，或用多个静止图像或i图片等显示gif动画那样的影像，或仅接收基本层而将影像解码及显示。

在由用户选择了链接图像的情况下，显示装置将基本层最优先地解码。另外，如果在构成web页的html中有表示是可分级的内容的信息，则显示装置也可以解码到增强层。此外，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(i图片、p图片、仅进行前方参照的b图片)解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外，显示装置也可以将图片的参照关系强行地忽视而将全部的b图片及p图片设为前方参照而粗略地解码，随着时间经过而接收到的图片增加，进行正常的解码。

[自动行驶]

此外，在为了车的自动行驶或行驶辅助而收发二维或三维的地图信息等的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。

在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过在接收请求时发送该接收终端的位置信息，能够切换基站ex106～ex110来进行无缝接收及解码。此外，接收终端根据用户的选择、用户的状况或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。

如以上这样，在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。

[个人内容的分发]

此外，在内容供给系统ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。此外，可以想到这样的个人内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以通过以下这样的结构实现。

在拍摄时实时地或累积下来拍摄后，服务器根据原图像或已编码数据，进行拍摄错误、场景搜索、意义的解析及目标检测等的识别处理。并且，服务器基于识别结果，手动或自动地进行将焦点偏差或手抖动等修正、或将明亮度比其他图片低或焦点没有对上的场景等的重要性低的场景删除、或将目标的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据进行编码。此外，已知如果拍摄时刻过长则视听率会下降，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景，还将运动少的场景等基于图像处理结果自动地限制，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。

另外，个人内容在原状态下有被写入侵害著作权、著作者人格权或肖像权等的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。因此，例如服务器也可以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。此外，服务器也可以识别在编码对象图像内是否拍摄到与预先登记的人物不同的人物的脸，在拍摄到的情况下，进行对脸部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点出发，用户指定想要将图像加工的人物或背景区域，服务器进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物的同时，将脸部分的影像替换。

此外，数据量小的个人内容的视听其实时性要求较强，所以虽然也取决于带宽，但解码装置首先将基本层最优先地接收并进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等2次以上被再现的情况下，将增强层也包括在内再现高画质的影像。这样，如果是进行了可分级编码的流，则能够提供在未选择时或刚开始看的阶段是虽然较粗糙的运动图像但流逐渐变得流畅而图像变好的体验。除了可分级编码以外，在第1次被再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为1个流的情况下也能够提供同样的体验。

[其他使用例]

此外，这些编码或解码处理通常在各终端所具有的lsiex500中处理。lsiex500既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(cd－rom、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据是用智能电话ex115所具有的lsiex500进行编码处理后的数据。

另外，lsiex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端下载编解码器或应用软件，然后进行内容取得及再现。

此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。

[硬件结构]

图37是表示智能电话ex115的图。此外，图38是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示由相机部ex465拍摄的影像及将由天线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、或者作为与simex468的接口部的插槽部ex464，所述simex468用来确定用户，进行以网络为代表向各种数据的访问的认证。此外，也可以代替存储器部ex467而使用外置存储器。

此外，对显示部ex458及操作部ex466等进行综合控制的主控制部ex460与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464及存储器部ex467经由总线ex470相互连接。

电源电路部ex461如果通过用户的操作使电源键成为开启状态，则通过从电池组对各部供给电力，将智能电话ex115启动为能够动作的状态。

智能电话ex115基于具有cpu、rom及ram等的主控制部ex460的控制，进行通话及数据通信等处理。在通话时，通过声音信号处理部ex454将由声音输入部ex456集音的声音信号变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信时，通过主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462向主控制部ex460送出，同样进行收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像等的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。

在接收到添附在电子邮件或聊天工具中的影像、或链接在网页等上的影像的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。此外，声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。另外，由于实时流媒体正在普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的场合。因此，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构。也可以仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。

此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端这3种安装形式。进而，在数字广播用系统中，假设将在影像数据中复用了声音数据等的复用数据接收、发送而进行了说明，但在复用数据中除了声音数据以外还可以复用与影像关联的字符数据等，也可以不是将复用数据而是将影像数据自身接收或发送。

另外，假设包括cpu的主控制部ex460控制编码或解码处理而进行了说明，但终端具备gpu的情况也较多。因此，也可以做成通过由cpu和gpu共用的存储器、或以能够共同使用的方式管理地址的存储器，来利用gpu的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果将运动估计、解块滤波、sao(sampleadaptiveoffset)及变换/量化的处理不是用cpu进行而是用gpu以图片等单位一起进行，则更有效。

产业上的可利用性

本发明能够利用于例如电视接收机、数字视频记录器、汽车导航系统、移动电话、数字相机、数字摄像机、电视会议系统或电子镜等。

标号说明

100编码装置

102分割部

104减法部

106变换部

108量化部

110熵编码部

112、204逆量化部

114、206逆变换部

116、208加法部

118、210块存储器

120、212循环滤波部

122、214帧存储器

124、216帧内预测部

126、218帧间预测部

128、220预测控制部

131、231滤波器控制部

132、232当前滤波器信息存储部

133、233参照滤波器信息存储部

134、234自适应滤波器部

160、260电路

162、262存储器

200解码装置

202熵解码部

技术特征：

1.一种编码装置，对包含多个图片的运动图像进行编码，其中，具备：

电路；以及

存储器，

上述电路使用上述存储器，进行如下步骤：

对上述多个图片中的第1图片进行编码的步骤；以及

进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者，(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，

上述电路在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

2.根据权利要求1所述的编码装置，其中，

上述规定图片是tsa时间子层访问图片。

3.根据权利要求2所述的编码装置，其中，

上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，

上述电路在上述第1动作中，在上述第1图片的编码后，对作为包含针对上述第2图片的上述参数集的多个参数集的多个关联参数集进行编码，在上述多个关联参数集的编码后，对上述第2图片进行编码，

上述多个关联参数集分别对应于分配给上述第2图片的时间id以上的多个时间id所表示的多个层次，

上述多个关联参数集分别是针对上述多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上的图片的参数集。

4.根据权利要求1所述的编码装置，其中，

上述规定图片是stsa步进式时间子层访问图片。

5.根据权利要求1至4中任一项所述的编码装置，其中，

上述第2图片是上述多个图片中的接着上述第1图片被编码的图片。

6.根据权利要求1至5中任一项所述的编码装置，其中，

上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，

上述电路还在上述多个图片中的按编码顺序为最初的图片进行编码之前，对作为包含针对上述第2图片的上述参数集的多个参数集的多个总括参数集进行编码，

上述多个总括参数集分别对应于由分配给上述多个图片的多个时间id表示的多个层次，

上述多个总括参数集分别是针对上述多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上的图片的参数集。

7.一种解码装置，对包含多个图片的运动图像进行解码，其中，具备：

电路；以及

存储器，

上述电路使用上述存储器，进行如下步骤：

对上述多个图片中的第1图片进行解码的步骤；以及

进行(i)在上述第1图片的解码后，对针对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在上述参数集的解码后，对上述第2图片进行解码的第1动作，或者，(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，

上述电路在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

8.根据权利要求7所述的解码装置，其中，

上述规定图片是tsa时间子层访问图片。

9.根据权利要求8所述的解码装置，其中，

上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，

上述电路在上述第1动作中，在上述第1图片的解码后，对作为包含针对上述第2图片的上述参数集的多个参数集的多个关联参数集进行解码，在上述多个关联参数集的解码后，对上述第2图片进行解码，

上述多个关联参数集分别对应于由分配给上述第2图片的时间id以上的多个时间id所表示的多个层次，

上述多个关联参数集分别是上述多个图片中的分配有表示该关联参数集所对应的层次的时间id的1个以上的图片的参数集。

10.根根据权利要求7所述的解码装置，其中，

上述规定图片是stsa步进式时间子层访问图片。

11.根据权利要求7至10中任一项所述的解码装置，其中，

上述第2图片是上述多个图片中的接着上述第1图片被解码的图片。

12.根据权利要求7至11中任一项所述的解码装置，其中，

上述多个图片分别是分配有表示与时间可扩展性有关的层次的时间id的图片，

上述电路还在对上述多个图片中的按解码顺序为最初的图片进行解码之前，对作为包含针对上述第2图片的上述参数集的多个参数集的多个总括参数集进行解码，

上述多个总括参数集分别对应于由分配给上述多个图片的多个时间id表示的多个层次，

上述多个总括参数集分别是上述多个图片中的分配有表示该总括参数集所对应的层次的时间id的1个以上的图片的参数集。

13.一种编码方法，对包含多个图片的运动图像进行编码，其中，包括：

对上述多个图片中的第1图片进行编码的步骤；以及

进行(i)在上述第1图片的编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者，(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，

在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

14.一种解码方法，对包含多个图片的运动图像进行解码，其中，包括：

对上述多个图片中的第1图片进行解码的步骤；以及

进行(i)在上述第1图片的解码后，对上述多个图片中的按解码顺序比上述第1图片靠后的第2图片的参数集进行解码，在上述参数集的解码后，对上述第2图片进行解码的第1动作，或者，(ii)在上述第1图片的解码后，不对上述参数集进行解码，而对上述第2图片进行解码的第2动作的步骤，

在进行上述第1动作或上述第2动作的步骤中，在上述第2图片是规定图片的情况下，进行上述第1动作。

技术总结
编码装置(100)具备电路(160)和存储器(162)，电路(160)使用存储器(162)，进行：对多个图片中的第1图片进行编码的步骤；以及进行(i)在对第1图片进行编码后，对针对上述多个图片中的按编码顺序比上述第1图片靠后的第2图片的参数集进行编码，在上述参数集的编码后，对上述第2图片进行编码的第1动作，或者，(ii)在上述第1图片的编码后，不对上述参数集进行编码，而对上述第2图片进行编码的第2动作的步骤，在进行第1动作或第2动作的步骤中，在第2图片是规定图片的情况下，电路(160)进行第1动作。

技术研发人员：西孝启;远间正真;安倍清史;加纳龙一
受保护的技术使用者：松下电器(美国)知识产权公司
技术研发日：2018.10.03
技术公布日：2020.05.19