本公开涉及用于处理图像的方法、处理系统和计算机程序。
背景技术：
在图像处理中，例如在静止图像的处理或构成视频序列的图像的处理中，通常执行各种处理步骤以试图使显示在显示设备上的图像对观看者更具吸引力或魅力或真实感。但是，许多处理步骤引入不想要的伪影，这些伪影可能破坏图像或使图像或图像的至少一部分对观看者更少有真实感或魅力。
技术实现要素：
根据本文公开的第一方面，提供了一种处理由像素形成的图像的计算机实现的方法，该方法包括：
检测图像中的肤色像素；
将局部锐化应用于至少一些肤色像素；和
使用局部锐化的肤色像素重新生成图像。
通过将局部锐化应用于肤色像素，可以更好地保留或增强皮肤区中的细节，从而呈现出更真实或更吸引人的图像，以显示在显示设备上。
该方法在视频图像的处理中具有特定的应用，该视频图像是回放或其它相关设备中的高动态范围(hdr)处理的对象。hdr处理可能会在肤色区域中导致不想要的伪影，这些伪影对于观看者而言尤其明显或可见。本文所述的示例有助于最小化或消除此类伪影的影响。然而，该方法的示例不限于作为高动态范围(hdr)处理的对象的图像，并且还可以应用于作为标准动态范围(sdr)处理的对象的图像。
该图像可以是静止图像。该图像可以是由多个图像形成的视频的图像。
该方法可以在例如电视机、智能电话或计算机(诸如，膝上型计算机或台式机或平板计算机)等的图像或视频回放设备中执行。该方法可以在提供或生成图像的一些其它相关设备中执行，相关设备诸如是dvd播放器、机顶盒或单独的视频处理或图形卡等。该方法可以在回放时在图像或视频回放设备中实时执行。
可以例如取决于实现方法和/或其上显示图像的显示设备等的处理器的处理能力来设置或修改示例中可以使用的具体处理、算法、滤波器等的细节。该方法可以以软件或硬件或软件和硬件的组合来实现。
在示例中，将局部锐化应用于所有肤色像素。
在示例中，重新生成的图像包括局部锐化的肤色像素和原始的非肤色像素。
在示例中，将局部锐化应用于至少一些肤色像素包括将抗混叠滤波器应用于至少一些肤色像素。
在示例中，将局部锐化应用于至少一些肤色像素包括将锐化器滤波器应用于至少一些肤色像素。
在示例中，肤色像素包括分开的子像素，并且将局部锐化应用于至少一些肤色像素包括将局部锐化分别应用于至少一些肤色像素的每个子像素。
子像素可以例如用于像素的不同颜色。例如，每个像素可以有红色、绿色和蓝色子像素。在该示例中，不同颜色的子像素被分别处理。
在示例中，该方法包括在将局部锐化应用于至少一些肤色像素之前，将局部对比度增强应用于肤色像素。
局部对比度增强可以应用于高动态范围(hdr)处理。局部对比度增强可以例如使用直方图方法。
在示例中，该方法包括在将局部锐化应用于至少一些肤色像素之前，调整肤色像素的颜色。
调整肤色像素的颜色可以应用于高动态范围(hdr)处理。调整肤色像素的颜色可以包括调整肤色像素的色度(hue)和饱和度。调整肤色像素的颜色可以使用色调映射。
根据本文公开的第二方面，提供了一种用于处理由像素形成的图像的处理系统，该处理系统被构造和布置为：
检测由像素形成的图像中的肤色像素；
将局部锐化应用于至少一些肤色像素；和
使用局部锐化的肤色像素重新生成图像。
处理系统可以包括至少一个处理器和包括计算机程序指令的至少一个存储器，至少一个存储器和计算机程序指令与至少一个处理器被配置为使处理系统至少如上所述地执行。
在示例中，处理系统被布置为使得将局部锐化应用于至少一些肤色像素包括将抗混叠滤波器应用于至少一些肤色像素。
在示例中，处理系统被布置为使得将局部锐化应用于至少一些肤色像素包括将锐化器滤波器应用于至少一些肤色像素。
在示例中，处理系统被布置为在将局部锐化应用于至少一些肤色像素之前，将局部对比度增强应用于肤色像素。
在示例中，处理系统被布置为在将局部锐化应用于至少一些肤色像素之前，调整肤色像素的颜色。
在示例中，处理系统被布置为使得能够由用户来调整应用于至少一些肤色像素的局部锐化的程度。
还提供了一种计算机程序，其包括指令，使得当在计算设备上执行计算机指令时，该计算设备被布置为执行如上所述的方法。
附图说明
为了帮助理解本公开并示出可以如何实施实施例，通过示例的方式参考附图，在附图中：
图1示意性地示出了本文所述的处理图像的方法的示例；
图2示意性地示出了将局部锐化应用于图像的至少一些肤色像素的方法的示例；和
图3示意性地示出了滤波器的示例，该滤波器可以用于将局部锐化应用于图像的至少一些肤色像素。
具体实施方式
如所提及的，在图像处理中，例如在静止图像的处理或构成视频序列的图像的处理中，许多处理步骤引入不想要的伪影，这些伪影可能破坏图像或使图像或图像的至少一部分对观看者更少有真实感或魅力。当伪影与图像中的皮肤区域有关时，尤其是在图像中(人类)对象的脸部中以及在图像中对象的手、臂、腿中，观看者会特别注意到图像中存在伪影或无真实感的部分。这主要是因为人类的视觉感知系统对肤色区域特别敏感。
作为具体示例，许多已知的图像处理布置，特别是用于处理视频图像的图像处理布置，使用对比度增强以便增强图像的对比度，即简单的说，是增强图像的暗部和亮部之间的差异。许多已知的图像处理布置还试图改善所显示的图像中的颜色。许多已知的图像处理布置还使用边缘增强来试图改善图像的“锐度”，特别是在图像的边缘区域中(例如，建筑物相对于天空背景的边缘或睫毛相对于皮肤背景的边缘)。
通常以已知的布置将这种处理应用于整个图像。在这方面，可以注意到例如存在所谓的局部对比度增强。但是，此处的术语“局部”用来强调对比度增强处理是基于相邻或“局部”像素的显示特性在特定像素上执行的：尽管如此，已知系统中的“局部”对比度增强仍在在整个图像执行，而与图像的特定内容无关。
尽管可以在包括所谓的标准清晰度或低分辨率图像在内的许多应用中进行图像处理，但是也可以对高清晰度图像进行处理。在这方面，构成“高”清晰度的清晰度可以变化。高清晰度图像可以被认为是具有至少720个像素的图像，例如在诸如1280x720p显示器之类的720p显示器中。可替代地，高清晰度图像可以被认为是具有至少1080个像素的图像，例如在诸如1920x1080p或1920x1080i显示器之类的1080显示器中。
图像的处理尤其可能导致肤色区域中细节的损失。例如，在这种处理中可能会损失皱纹，诸如痣等的斑点，诸如眉毛、睫毛、胡须、胡子等面部毛发的细节。这可能导致肤色区域具有没有真实感的“塑料”外观。
这样的处理在例如现在可以在消费类产品中使用的“高动态范围”或hdr处理中提出了特殊的问题。简而言之，hdr极大地扩展了对比度和颜色的范围。hdr可以使用例如更大量的比特来指定像素的亮度。可以使图像的亮部明亮得多，因此图像似乎具有更多的“深度”。可以扩展颜色以显示更多明亮的红色、蓝色和绿色(以及所有其它颜色)。hdr处理可以使用所谓的电光传递函数(eotf)来指定显示的像素的亮度。hdr处理可以使用宽色域(wcg)来使颜色更鲜艳，例如再次使用更大量的比特来指定像素的颜色。无论如何，尽管hdr的目的是呈现具有更高对比度和更鲜艳颜色的图像，但是hdr通常导致图像中细节的损失，而且这又可能导致肤色区域，特别是具有无真实感的“塑料”外观。
在本文描述的处理由像素形成的图像的方法的示例中，检测图像中的肤色像素。然后将局部锐化应用于至少一些肤色像素。然后使用局部锐化的肤色像素重新生成图像。这有助于保留在肤色区域中的细节，从而使肤色区域对观看者而言更具真实感。由于在示例中仅以这种方式处理肤色区域，因此可以以对处理要求的相对小的总体影响执行。在示例中，这还避免了在非肤色区域中引入伪影，诸如错误创建的细节或边缘等。
该方法可以在例如电视机、智能电话或计算机(诸如，膝上型计算机或台式机或平板计算机)等的图像或视频回放设备中执行。该方法可以在提供或生成图像的一些其它相关设备中执行，相关设备诸如是dvd播放器、机顶盒或单独的视频处理或图形卡等。可以例如取决于实现方法和/或其上显示图像的显示设备等的处理器的处理能力来设置或修改示例中可以使用的具体处理、算法、滤波器等的细节。该方法可以以软件或硬件或软件和硬件的组合来实现。该方法可以应用于任何数字图像，无论是低清晰度图像还是标准清晰度图像还是高清晰度图像，并且包括例如经受hdr处理的图像以及经受sdr处理的图像。该方法可以在例如处理器中实现，该处理器从设备的主视频处理器获取经处理的hdr数据，并且在完成肤色信号的局部锐化之后将新处理的数据返回到主视频处理器。该方法可以应用于使用各种不同颜色空间的图像，包括例如bt.2020(itu-r建议bt.2020，也称为rec.2020)和bt.709(itu-r建议bt.709，也称为rec.709)。
现在参考附图，现在将描述该方法的示例。将理解的是，对于许多详细步骤，许多不同的技术是可用的，并且诸如滤波器和滤波器系数等方面的细节在不同的应用中可以是不同的，并且还可以在特定的应用内变化。
首先参考图1，在示例的概述中，在10处，获得视频或图像数据。数据可以从多个不同的源之一获得，诸如dvd或blu-ray播放器等、电视广播信号(诸如地面、线缆或卫星广播)、通过因特网等。值得注意的是，在一些示例中，获得的图像数据可能已经出于hdr(高动态范围)目的而经受了图像处理。如上所述，hdr处理可能导致不想要的效果或伪影。本文描述的示例所处理的特定问题在于肤色区域中细节的损失，这可能导致肤色区域具有无真实感的“塑料”外观。
在20处，检测图像中的肤色像素。多种用于检测肤色的技术是可用的，并且已知许多不同的技术。肤色检测通常基于各个像素的颜色。为此，可以使用利用训练图像训练的肤色分类器。
在该示例中，该方法的接下来的后续步骤仅应用于肤色像素(或至少一些肤色像素)。图像的其余非肤色像素不经受此处所述方法的示例的接下来的后续步骤。这些非肤色像素保持不变，以后用于构建或生成已经根据此方法增强的图像。
在30处，作为可选步骤，将对比度增强应用于肤色像素。对比度增强旨在增强图像的对比度，即简单的说，是增强图像的暗部和亮部之间的差异。人类的视觉感知系统对对比度/亮度特别敏感，因为对比度增强可以显着改善图像的感知外观。
应用于肤色像素的对比度增强可以是局部对比度增强，其例如基于相邻像素的亮度来调整像素的亮度(与全局对比度增强相反，全局对比度增强将图像的对比度作为整体考虑)。
在对比度增强中，一些(非线性)函数被应用于像素以(潜在地)改变像素的亮度。在局部对比度增强中，(非线性)函数的参数根据从周围参数中提取的特征针对每个像素进行改变。换句话说，在局部对比度增强中，函数的效果根据图像的局部特征在每个像素中改变。
可以使用的合适的对比度增强技术包括那些使用所谓的非锐化遮罩和直方图方法的技术。这样的技术本身是众所周知的。在我们的ep1814078a1、ep1879147a1、ep1909227a1和wo2007085575a1中描述了一些具体示例，这些专利申请的全部内容通过引用合并于此。
值得注意的是，在具体示例中，在30处应用的对比度增强可以用于hdr图像处理目的。如所提及的，在hdr中，可以使用更大量的比特来指定像素的亮度。为了获得与hdr对应的增强的对比度，可以使用多种(局部)对比度增强技术。
在40处，作为可选步骤，根据需要分析和调整肤色像素的颜色以改善所显示的图像中的颜色。调整肤色像素的颜色可以应用于高动态范围(hdr)处理。调整肤色像素的颜色可以包括调整肤色像素的色度和饱和度。调整肤色像素的颜色可以使用色调映射。众所周知，色调映射将图像的颜色体积中的颜色映射到回放设备或关联的显示设备的(通常)较小的颜色体积，同时提供最佳可能图片。作为具体示例，hdr图像可以具有100,000：1的颜色动态范围，而普通电视机可以具有0至255(8比特)的颜色动态范围。
在本示例中，在此的许多应用中，由于此时要处理的像素是(仅)肤色像素，因此使用的特定颜色调整(诸如，色调映射)可以考虑到这一点。例如，对于肤色，就为观看者产生真实感的图像或逼真的图像而言，红色和黄色通常非常重要，因此可以鉴于此调节颜色调整处理。
然后，在50处，将局部锐化器应用于肤色像素。将局部锐化器应用于(仅)肤色像素的目的是，可以更好地保留或增强图像的皮肤区中的细节，从而生成更有真实感或更吸引人的图像，以供在相关显示设备上显示。这有助于减少或避免由于图像的其它处理而在皮肤区域中可能出现的“塑料”外观。这尤其包括用于hdr目的的图像处理。下面将参考图2更详细地描述用于肤色像素的局部锐化器处理50的一些具体示例。
最终，在该图像的主要处理的示例中，在60处，整个图像被重新生成(即，生成或构造了原始图像的新的增强版本)，准备在显示设备上显示。重新生成的图像将在上述步骤20至50中获得的增强的肤色像素与原始的非肤色像素结合使用。如上所述，非肤色像素保持不变，并且现在用于构造或生成已经根据该方法增强的图像。
因此，利用该示例方法，产生了增强的图像，其中特别增强了皮肤区域，以便保留或维持皮肤区域中的细节，否则这些细节在图像的其它处理期间可能会损失。记住，皮肤区域对于观看者来说特别引人注意，这可以显着改善观看者感知的图像的真实感。这可以在不影响其它的非皮肤区域的处理的情况下进行，可以在对图像的皮肤区域的外观没有不利影响的情况下增强(对于对比度、颜色和锐度中的一个或多个)。
现在参考图2，在具体示例中，应用于肤色像素的局部锐化处理50可以从在52处对肤色像素应用抗混叠开始。这的主要目的之一是减少在图像的后续处理期间可能出现的皮肤区域中的抗混叠(包括将锐化器滤波器应用到下面讨论的肤色像素)。
众所周知，混叠是在对信号进行采样和量化或重建时可能在空间采样的信号中出现的效应。例如，当以较低的分辨率表示高分辨率图像时，可能会发生这种情况。混叠通常表现为图像中的环或线或晕轮，尤其是图像中的边缘附近。
可以使用低通或带通滤波器来执行抗混叠52，以从图像中去除高频分量，否则将出现混叠线，因为正是高频分量引起了混叠线等。滤波器可以是例如二维滤波器，其在图像的水平方向和垂直方向上均操作。
接下来，在局部锐化处理50的该示例中，在54处将锐化器滤波器分别应用于每个肤色像素，以锐化皮肤区域的图像，从而可以更好地保留或增强图像的皮肤区中的细节。
锐化器滤波器可以有许多不同的类型和配置。例如，滤波器的大小和/或滤波器的乘数系数(见下文)在不同的设置中可能是不同的，和/或在具体的设置内，可能取决于图像的具体性质以及正在处理的肤色像素的特定性质而可选地即时变化。即，对于正在处理的每个像素，锐化器滤波器可能是不同的。
而且，图像中的每个像素通常由多个不同颜色的“子像素”形成。例如，通常在rgb系统中存在红色、绿色和蓝色子像素，它们被布置为产生可见颜色的范围。其它系统也可以具有用于其它颜色的子像素，包括例如还具有黄色像素的所谓的rgby和还具有白色子像素的所谓的rgbw。子像素的其它布置是已知的。在这种情况下，对于正在处理的每个子像素，应用的锐化器滤波器可能是不同的。
在54处应用到每个肤色像素的锐化器滤波器可以根据在(子)像素附近的(子)像素的强度来调整像素(或更具体地，在该示例中为子像素)的输出的强度。像素的强度可以具有例如在0至255范围内的值。
图像处理中使用的滤波器通常可视化为系数矩阵。图3中示出了示例的锐化器滤波器矩阵。锐化器滤波器操作用于调整峰值增益、过冲和下冲，以对肤色区域提供适当且视觉上引人注目的锐化。在当前情况下，过冲和下冲是特别与图像的皮肤区域中的边缘的质量有关的术语，因为为了保留皮肤区域中的细节，需要保留边缘。过冲是指锐度响应中的高频峰值引起的边缘过渡伪影：像素的输出值高于最大输入值。下冲是指由锐度响应的低频峰值引起的边缘过渡伪影：像素的输出值低于最小输入值。接着可以通过增大或减小应用于不同(子)像素的矩阵滤波器的系数的值来变化调整的程度。
图3中所示的示例的锐化器滤波器矩阵基本上是5x5矩阵。中心系数c0是用于乘以正在处理的(子)像素(目标或参考像素)的强度的系数。在该示例中，锐化器滤波器矩阵分别在水平、垂直和对角线方向上对称。在该示例中，应用第一水平相邻系数c1以乘以紧接在目标像素的左侧和右侧的(子)像素，并且应用下一个水平相邻系数c3以分别乘以紧接在这些左和右像素的左侧和右侧的(子)像素的强度。同样，应用垂直相邻系数c5、c6以分别乘以紧接的垂直相邻像素和后续的垂直像素的强度。应用对角线相邻系数c2以乘以紧接的对角线相邻像素的强度。最后为此，应用系数c4以乘以在目标像素上方和下方的行中并且向目标像素的左侧和右侧移位两个像素的像素的强度。然后，将来自目标像素附近的每个像素以及目标像素本身的那些乘积值相加，以输出正在处理的目标(子)像素的新强度。
接着通过将锐化器滤波器分别应用于每个(原始)肤色像素来重复此处理。以这种方式，对于每个肤色(子)像素获得新的强度。这样的效果是保留甚至增强图像的皮肤区中的细节。这尤其可以克服在hdr处理期间否则可能出现的肤色区域中细节的损失。
如所提及的，滤波器的大小和/或滤波器的乘数系数的值在不同的设置中可能是不同的，和/或在具体的设置内，可能取决于图像的具体性质以及正在处理的肤色像素的特定性质而可选地即时变化。即，一般而言，对于正在处理的每个像素，锐化器滤波器可能是不同的。该滤波器可以是正方形或矩形滤波器，并且通常可以在水平、垂直和对角线方向中的一个或多个上对称或不对称。在所示的示例中，滤波器在某些位置具有空白(或等效的零值系数)，使得滤波器具有十字形或截头圆锥形的结构。此外，可以经由例如呈现给用户显示的用户界面为用户提供选项，以使得应用于至少一些肤色像素的局部锐化的程度能够被用户调整。例如，用户可以能够将锐化的程度设置为“关”、“低”、“中”、“高”等。用户的选择导致相应地设置在54处应用于每个肤色像素的锐化器滤波器的滤波器系数，以根据需要实现更大或更小的锐化。
将理解的是，本文中所指的处理器或处理系统或电路实际上可以由单个芯片或集成电路或多个芯片或集成电路来提供，可选地作为芯片组、专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、图形处理单元(gpu)等来提供。一个或多个芯片可以包括用于体现一个或多个数据处理器、一个或多个数字信号处理器中的至少一个或多个的电路(以及可能的固件)，基带电路和射频电路，这些电路可配置以便根据示例性实施例进行操作。在这方面，示例性实施例可以至少部分地由存储在(非暂态)存储器中并且可由处理器执行的计算机软件来实现，或者由硬件或者由有形存储的软件和硬件(以及有形存储的固件)的组合来实现。
尽管本文参考附图描述的实施例的至少一些方面包括在处理系统或处理器中执行的计算机处理，但是本发明还扩展到适于使本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。程序可以采用非暂态源代码、对象代码、诸如以部分编译的形式的代码中间源和目标代码的形式，或者也可以采用适用于实现根据本发明的处理的任何其它非暂态形式。载体可以是能够承载程序的任何实体或设备。例如，载体一般可以包括：存储介质，诸如固态驱动器(ssd)或其它基于半导体的ram；rom，例如cdrom或半导体rom；磁记录介质，例如软盘或硬盘；光学存储器设备；等等。
在此描述的示例将被理解为本发明的实施例的说明性示例。设想了进一步的实施例和示例。关于任何一个示例或实施例描述的任何特征可以单独使用或与其它特征组合使用。另外，关于任何一个示例或实施例描述的任何特征也可以与任何其它示例或实施例的一个或多个特征或者任何其它示例或实施例的任意组合结合使用。此外，在权利要求书所定义的本发明的范围内，也可以采用在此未描述的等同物和修改形式。
1.一种处理由像素形成的图像的计算机实现的方法，该方法包括：
检测图像中的肤色像素；
将局部锐化应用于至少一些肤色像素；和
使用局部锐化的肤色像素重新生成图像。
2.根据权利要求1所述的方法，其中将局部锐化应用于所有肤色像素。
3.根据权利要求2所述的方法，其中重新生成的图像包括局部锐化的肤色像素和原始的非肤色像素。
4.根据权利要求1至3中的任一项所述的方法，其中，将局部锐化应用于所述至少一些肤色像素包括将抗混叠滤波器应用于所述至少一些肤色像素。
5.根据权利要求1至4中的任一项所述的方法，其中，将局部锐化应用于所述至少一些肤色像素包括将锐化器滤波器应用于所述至少一些肤色像素。
6.根据权利要求1至5中的任一项所述的方法，其中，肤色像素包括分开的子像素，并且将局部锐化应用于所述至少一些肤色像素包括将局部锐化分开地应用于所述至少一些肤色像素中的每个子像素。
7.根据权利要求1至6中的任一项所述的方法，包括在将局部锐化应用于所述至少一些肤色像素之前，将局部对比度增强应用于肤色像素。
8.根据权利要求1至7中的任一项所述的方法，包括在将局部锐化应用于所述至少一些肤色像素之前，调整肤色像素的颜色。
9.一种用于处理由像素形成的图像的处理系统，该处理系统被构造并布置为：
检测由像素形成的图像中的肤色像素；
将局部锐化应用于至少一些肤色像素；和
使用局部锐化的肤色像素重新生成图像。
10.根据权利要求9所述的处理系统，被布置为使得将局部锐化应用于所述至少一些肤色像素包括将抗混叠滤波器应用于所述至少一些肤色像素。
11.根据权利要求9或权利要求10所述的处理系统，被布置为使得将局部锐化应用于所述至少一些肤色像素包括将锐化器滤波器应用于所述至少一些肤色像素。
12.根据权利要求9至11中的任一项所述的处理系统，被布置为在将局部锐化应用于所述至少一些肤色像素之前，将局部对比度增强应用于肤色像素。
13.根据权利要求9至12中的任一项所述的处理系统，被布置为在将局部锐化应用于所述至少一些肤色像素之前，调整肤色像素的颜色。
14.根据权利要求9至13中的任一项所述的处理系统，被布置为使得应用于所述至少一些肤色像素的局部锐化的程度能够被用户调整。
15.一种计算机程序，包括指令，以使得当在计算设备上执行所述计算机程序时，所述计算设备被布置为执行根据权利要求1至8中的任一项所述的方法。
技术总结