本发明涉及图像处理及显示技术领域，尤其涉及一种视频图像处理方法以及一种视频处理器。
背景技术：
视频源通常需要视频处理器对其进行图像处理后由显示设备进行播放显示，随着技术的发展、越来越多的高清视频源出现，使得视频处理器在进行图像处理时需要对视频源图像进行截取、缩放、拼接处理后，再输出显示，然而现有的视频处理器在对视频图像进行截取处理时，会在图像的划分边缘处产生像素损失，影响了输出画面的局部清晰度及精细度。
技术实现要素：
本发明实施例提供一种视频图像处理方法和一种视频处理器，以解决在处理高清视频图像时输出画面局部清晰度及精细度不佳的问题。
一方面，本发明实施例提供的一种视频图像处理方法，包括：对输入图像进行截取操作，得到多个第一图像，其中每一个所述第一图像包括扩展截取区域；对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像，其中每一个所述第二图像包括缩放后扩展截取区域；对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；对多个所述待拼接图像进行拼接处理，得到目标图像。
在本发明的一个实施例中，在对输入图像进行截取操作，得到多个第一图像的步骤之前还包括：接收所述输入图像；获取所述输入图像的属性参数和所述目标图像的属性参数；以及基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作。
在本发明的一个实施例中，在所述基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作的步骤中，所述输入图像的属性参数和所述目标图像的属性参数对应于进行所述缩放处理操作的视频处理芯片内的图像处理单元的像素时钟、显存大小和所能处理图像的行大小，且当所述像素时钟、所述显存大小和所述行大小不满足指定条件时判断需要进行所述截取操作。
在本发明的一个实施例中，在所述对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像的步骤中，所述缩放后扩展截取区域相对于所述扩展截取区域的缩放率等于所述第二图像相对于所述第一图像的缩放率。
在本发明的一个实施例中，在所述对输入图像进行截取操作，得到多个第一图像的步骤中，所述多个第一图像具有相同的分辨率。
在本发明的一个实施例中，在所述对输入图像进行截取操作，得到多个第一图像的步骤中，每一个所述第一图像的所述扩展截取区域至少为一个且位于所述第一图像的侧边，以及每一个所述扩展截取区域的宽度至少为四个像素
再一方面，本发明实施例提供的一种视频处理器，包括：第一可编程逻辑器件、第二可编程逻辑器件和视频处理芯片，视频处理芯片分别连接在所述第一可编程逻辑器件和所述第二可编程逻辑器件之间，微控制器分别连接所述视频处理芯片、所述第一可编程逻辑器件和所述第二可编程逻辑器件；其中，
所述第一可编程逻辑器件用于对输入图像进行截取操作，得到多个第一图像，其中每一个所述第一图像包括扩展截取区域；
所述视频处理芯片用于对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像，其中每一个所述第二图像包括缩放后扩展截取区域；
所述第二可编程逻辑器件用于对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；以及对多个所述待拼接图像进行拼接处理，得到目标图像。
在本发明的一个实施例中，所述第一可编程逻辑器件还用于：接收所述输入图像，获取所述输入图像的属性参数和所述目标图像的属性参数，以及基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作。
在本发明的一个实施例中，在所述基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作的步骤中，所述输入图像的属性参数和所述目标图像的属性参数对应于所述视频处理芯片内的图像处理单元的像素时钟、显存大小和所能处理图像的行大小，且当所述像素时钟、所述显存大小和所述行大小不满足指定条件时需要进行所述截取操作。
在本发明的一个实施例中，所述缩放后扩展截取区域相对于所述扩展截取区域的缩放率等于所述第二图像相对于所述第一图像的缩放率。
在本发明的一个实施例中，所述多个第一图像具有相同的分辨率；每一个所述第一图像的所述扩展截取区域至少为一个且位于所述第一图像的侧边，以及每一个所述扩展截取区域的宽度至少为四个像素。
在本发明的一个实施例中，所述视频处理芯片包括四个图像处理单元，所述四个图像处理单元分别对应的四个图像处理通道的输入端连接所述第一可编程逻辑器件，且所述四个图像处理单元分别对应的所述四个图像处理通道的输出端连接所述第二可编程逻辑器件。
上述技术方案具有如下优点或有益效果：将输入图像截取划分为多个图像，且在划分每个图像的侧边具有至少一个扩展截取区域，再将此多个图像缩放处理，接着将此多个图像裁剪掉缩放后扩展截取区域后得到待拼接图像，最终将所有待拼接图像拼接处理后得到完整、清晰的目标图像。本发明实施例提供的视频图像处理方法和视频处理器能够解决现有技术在处理高清视频图像时画面局部清晰度及精细度不佳的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中的视频图像处理方法的流程示意图；
图2为本发明第一实施例中的水平方向上的图像处理过程示意图；
图3为本发明第一实施例中的垂直方向上的图像处理过程示意图；
图4为本发明第二实施例中的视频图像处理方法的流程示意图；
图5为本发明第三实施例中的视频处理器的结构示意图；
图6为本发明其它实施例中的图像处理过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
如图1所示，本发明第一实施例中提供的一种视频图像处理方法，包括：
步骤s10：对输入图像进行截取操作，得到多个第一图像，其中每一个所述第一图像包括扩展截取区域；
步骤s20：对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像，其中每一个所述第二图像包括缩放后扩展截取区域；
步骤s30：对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；以及
步骤s40：对多个所述待拼接图像进行拼接处理，得到目标图像。
为便于更清楚地理解本实施例，下面特举具体例子对前述步骤s10-s40进行详细描述。
在步骤s10中，对输入的视频源图像进行截取操作，划分为多个第一图像。结合图2、图3所示，在截取图像b的行方向(水平方向)或者列方向(垂直方向)上，可划分出多个第一图像，其中每一个第一图像包括一个子图像c和多个扩展截取区域a。在此说明，图2和图3中仅示意出截取图像b划分为两个第一图像的情况，因此每一个第一图像包括一个子图像c和一个扩展截取区域a；如果将截取图像b划分为两个以上的第一图像时，则位于行方向或者列方向两端的第一图像就包括一个子图像c和一个扩展截取区域a，而位于中间的第一图像则包括一个子图像c和两个扩展截取区域a。
承上述，本实施例提供的视频图像处理方法为了解决图像在缩放处理时其分割边缘处的像素损失问题，基于图像缩放算法(例如6symbol的插值算法，缩放过程中一个新像素点的生成需要周围相邻6个像素点的相关数据)的需求，在分割边缘处多采集一定尺寸/数量的像素作为扩展截取区域。具体来说，例如图2中所示，将截取画面b划分为两个第一图像后，每个第一图像均包括一个子图像c和扩展截取区域a，在两个子图像c之间有两个相邻的扩展截取区域a，以左边的扩展截取区域a为例，其通过左边的第一图像在划分时向右边的第一图像多截取了一定数量像素而产生；同理，右边的扩展截取区域a也是通过右边的第一图像在划分时向左边的第一图像多截取了一定数量像素而产生。
在步骤s20中，在划分为多个第一图像之后对待其进行缩放处理，分别得到多个第二图像，以及第二图像中包括的缩放后扩展截取区域d。结合图2、图3所示，每个第二图像包括子图像e和缩放后扩展截取区域d。每个子图像c在经过缩放处理后得到了子图像e，且每个扩展截取区域a转化为缩放后扩展截取区域d。在此，从子图像c到子图像e的缩放率与从扩展截取区域a到缩放后扩展截取区域d的缩放率是相同的，以保证图像不会产生畸变。
在步骤s30中，在进行缩放处理后，需要将缩放后扩展截取区域d从第二图像中裁剪掉，以得到多个待拼接图像(子图像e)。
在步骤s40中，最后将所有的待拼接图像(子图像e)拼接处理得到目标图像f。
由上可知，本实施例提供的视频图像处理方法基于图像缩放算法的需求，将输入图像截取划分为多个图像，且在划分每个图像的侧边具有至少一个扩展截取区域，再将此多个图像进行缩放处理，以及在缩放处理后将此多个图像裁剪掉缩放后扩展截取区域得到多个待拼接图像，最后将所有待拼接图像拼接处理后得到完整、清晰的目标图像。本实施例提供的视频图像处理方法能够解决现有技术在处理高清视频图像时画面局部清晰度及精细度不佳的问题。
第二实施例
如图4所示，在前述实施例的基础上，本发明第二实施例中提供的一种视频图像处理方法，在前述步骤s10之前，还包括：
步骤s01：接收输入图像；
步骤s02：获取所述输入图像的属性参数和目标图像的属性参数；
步骤s03：基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作。
具体地，本实施例提供的视频图像处理方法依据视频处理芯片的处理能力，需要先获取输入图像和目标图像的属性参数，以判断需要何种处理方式，该属性参数对应于视频处理芯片的硬件规格例如包括其图像处理单元的像素时钟、显存大小和所能处理图像的行大小等。例如视频处理器的视频处理芯片内的图像处理单元能够满足对1080p(分辨率为1920×1080@60hz)视频的直接图像处理，当输入图像和/或目标图像超过1080p分辨率(也即超过图像处理单元所能处理图像的行大小)，例如为4k×2k(分辨率为3840×2160@60hz或4096×2160@60hz)规格，则需要将该输入图像划分为多个第一图像分别进行图像(缩放)处理，再拼接输出完整图像；而当输入图像和/或目标图像小于或等于1080p的规格，则无需对输入图像进行划分而由视频处理芯片直接对其缩放处理后输出。换而言之，当视频处理芯片内的图像处理单元的像素时钟、显存大小和所能处理图像的行大小不满足指定条件时判断需要进行截取操作，反之则无需进行截取操作。
此外，在步骤s10中，为了使输入图像经过截取、缩放、拼接处理过程后得到的目标图像不发生畸变，需要缩放后扩展截取区域d相对于扩展截取区域a的缩放率r1等于第二图像(d e)相对于第一图像(a c)的缩放率r2。结合图2、图3所示，上述内容可通过公式表示：
r1＝＝dsize/asize，r2＝(dsize esize)/(asize csize)，r1＝r2，其中，asize为扩展截取区域a的尺寸，csize为子图像c的尺寸，dsize为缩放后扩展截取区域d的尺寸，esize为子图像e的尺寸。
承上述，在步骤s10中得到的第一图像都具有相同的分辨率。具体地，为了使图像在划分后的像素尺寸完整，例如图2、图3中所示，输入图像b被截取划分为两个第一图像后，相应的两个子图像c尺寸的之和要等于一个截取图像b的尺寸，如果bsize不能够被2整除，则csize会出现小数影响实际图像划分中一个像素难以分配的问题，因此可将bsize减去一个像素使其能够被2整除，进而使输入图像b能够划分出两个相同尺寸的子图像c。当然，如果输入图像b要截取为三个第一图像，如果bsize不能被3整除，则可将bsize减去一定数量像素后能被3整除，以使截取图像b能够被平分出三个相同尺寸的子图像c，以此类推。同样道理，两个子图像c在经过缩放处理后尺寸由csize变为esize，如果拼接后的图像尺寸fsize不能够被2整除，则在计算esize时可将fsize加上一个像素使其能够被2整除，使esize的像素尺寸不会出现小数情况。通过上述操作，使多个第二图像拼接过程中，能够准确的裁剪掉缩放后扩展截取区域d，精确拼接出完整的显示目标图像f。
再者，为了使截取后的多个第一图像在截取边缘处能够得到更多的像素点参考，根据缩放处理算法例如6symbol插值算法需要在边缘像素点的一侧参考3个像素点，然而为了兼顾显示画面的隔行和逐行的划分、拼接，需要至少参考4个像素点。换句话说，在划分扩展截取区域a时，需要使连接其边缘的子图像c向其相邻的另一个子图像c截取至少4个像素点的宽度。需要指出的是，该宽度在图2中所示水平方向划分时为左右方向的长度，而在图3中所示垂直方向划分时为上下方向的长度。
最后，如图6所示，在本发明的其它实施例中，输入图像b可同时在水平和垂直方向上截取为多个第一图像，且这些第一图像包括子图像c和位于第一像素侧边的2个、3个或4个扩展截取区域a，经过上述处理后，拼接成完整的目标图像f。
第三实施例
如图5所示，本发明第三实施例中提供的一种视频处理器300，包括：第一可编程逻辑器件310、第二可编程逻辑器件330、视频处理芯片320和微控制器340，视频处理芯片320分别连接所述第一可编程逻辑器件310和所述第二可编程逻辑器件330，微控制器340分别连接所述视频处理芯片320、所述第一可编程逻辑器件310和所述第二可编程逻辑器件330。其中，微控制器340例如为基于的arm的嵌入式处理器，可编程逻辑器件例如为fpga(fieldprogrammablegatearray，现场可编程门阵列)。
具体地，第一可编程逻辑器件310用于从输入的视频源信号中截取出多个第一图像。结合图2、图3所示，在截取图像b的行方向(水平方向)或者列方向(垂直方向)上，可划分出多个第一图像，其中每一个第一图像包括子图像c和扩展截取区域a。在此说明，图2和图3中仅示意出截取图像b划分为两个第一图像的情况，因此每一个第一图像包括一个子图像c和一个扩展截取区域a；如果将截取图像b划分为两个以上的第一图像时，则位于行方向或者列方向两端的第一图像就包括一个子图像c和一个扩展截取区域a，而位于中间的第一图像则包括一个子图像c和两个扩展截取区域a。此外，为了使截取后的多个第一图像在截取边缘处能够得到更多的像素点参考，根据缩放处理算法例如6symbol插值算法需要在边缘像素点的一侧参考3个像素点，然而为了兼顾显示画面的隔行和逐行的划分、拼接，需要至少参考4个像素点。换句话说，在划分扩展截取区域a时，需要将连接其边缘的子图像c向其相邻的另一个子图像c截取至少4个像素点的宽度。需要指出的是，该宽度在图2中所示水平方向划分时为左右方向的长度，而在图3中所示垂直方向划分时为上下方向的长度。
视频处理芯片320用于在划分为多个第一图像之后，对待其进行缩放处理后，以分别得到多个第二图像，以及第二图像中的缩放后扩展截取区域d。结合图2、图3所示，每个第二图像包括子图像e和缩放后扩展截取区域d。每个子图像c在经过缩放处理后得到了子图像e，且每个扩展截取区域a转化为缩放后扩展截取区域d。在此，从子图像c到子图像e的缩放率与从扩展截取区域a到缩放后扩展截取区域d的缩放率是相同的，以保证图像不会产生畸变。
再者，视频处理芯片320为了使输入图像经过截取、缩放、拼接处理过程后得到的目标图像不发生畸变，需要缩放后扩展截取区域d相对于扩展截取区域a的缩放率r1等于第二图像(d e)相对于第一图像(a c)的缩放率r2。结合图2、图3所示，上述内容可通过公式表示：
r1＝＝dsize/asize，r2＝(dsize esize)/(asize csize)，r1＝r2，其中，asize为扩展截取区域a的尺寸，csize为子图像c的尺寸，dsize为缩放后扩展截取区域d的尺寸，esize为子图像e的尺寸。
承上述，为了使图像在划分后的像素尺寸完整，需要第一可编程逻辑器件310截取后第一图像都具有相同的分辨率，具体处理方式可参见前述实施例，在此不一一赘述。
第二可编程逻辑器件330用于对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；以及对多个所述待拼接图像进行拼接处理，得到目标图像。
此外，本实施例提供的视频处理器300依据视频处理芯片320的处理能力，其例如包括四个图像处理单元321，每个图像处理单元321例如具有单独处理1080p(分辨率为1920×1080@60hz)视频源图像的能力。每个图像处理单元分别对应一个图像处理通道，如图5所示，图像处理通道分别为ch0、ch1、ch2和ch3，每条图像处理通道的输入端连接第一可编程逻辑器件310，其输出端连接第二可编程逻辑器件320。需要对输入图像的属性参数分析后，再结合图像处理单元321的处理能力决定何种的处理方式，该属性参数对应于视频处理芯片320的硬件规格例如包括其图像处理单元321321的像素时钟、显存大小和所能处理图像的行大小等。例如视频处理器300的视频处理芯片320的图像处理单元321能够满足对1080p(分辨率为1920×1080@60hz)视频的直接图像处理，当输入图像和/或目标图像超过1080p分辨率，例如为4k2k(分辨率为3840×2160@60hz或4096×2160@60hz)规格，则需要将该输入图像划分为多个第一图像，通过多个图像处理通道传输给相应的图像处理单元321进行缩放处理后，再拼接输出完整的目标图像；反之，当输入图像和/或目标图像小于或等于1080p的规格，则无需截取、拼接处理，视频处理芯片320直接对其缩放处理后输出。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和/或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种视频图像处理方法，其特征在于，包括：
对输入图像进行截取操作，得到多个第一图像，其中每一个所述第一图像包括扩展截取区域；
对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像，其中每一个所述第二图像包括缩放后扩展截取区域；
对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；
对多个所述待拼接图像进行拼接处理，得到目标图像。
2.根据权利要求1所述的视频图像处理方法，其特征在于，在对输入图像进行截取操作，得到多个第一图像的步骤之前还包括：
接收所述输入图像；
获取所述输入图像的属性参数和所述目标图像的属性参数；
基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作。
3.根据权利要求2所述的视频图像处理方法，其特征在于，在所述基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作的步骤中，所述输入图像的属性参数和所述目标图像的属性参数对应于进行所述缩放处理操作的视频处理芯片内的图像处理单元的像素时钟、显存大小和所能处理图像的行大小，且当所述像素时钟、所述显存大小和所述行大小不满足指定条件时需要进行所述截取操作。
4.根据权利要求1所述的视频图像处理方法，其特征在于，在所述对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像的步骤中，所述缩放后扩展截取区域相对于所述扩展截取区域的缩放率等于所述第二图像相对于所述第一图像的缩放率。
5.根据权利要求4所述的视频图像处理方法，其特征在于，在所述对输入图像进行截取操作，得到多个第一图像的步骤中，所述多个第一图像具有相同的分辨率。
6.根据权利要求1所述的视频图像处理方法，其特征在于，在所述对输入图像进行截取操作，得到多个第一图像的步骤中，每一个所述第一图像的所述扩展截取区域至少为一个且位于所述第一图像的侧边，以及每一个所述扩展截取区域的宽度至少为四个像素。
7.一种视频处理器，其特征在于，包括：
第一可编程逻辑器件；
第二可编程逻辑器件；
视频处理芯片，分别连接在所述第一可编程逻辑器件和所述第二可编程逻辑器件之间；
微控制器，分别连接所述视频处理芯片、所述第一可编程逻辑器件和所述第二可编程逻辑器件；其中，
所述第一可编程逻辑器件用于对输入图像进行截取操作，得到多个第一图像，其中每一个所述第一图像包括扩展截取区域；
所述视频处理芯片用于对所述多个第一图像进行缩放处理操作，得到与所述多个第一图像分别对应的多个第二图像，其中每一个所述第二图像包括缩放后扩展截取区域；
所述第二可编程逻辑器件用于对所述多个第二图像分别进行裁剪操作以裁剪掉每一个所述第二图像的所述缩放后扩展截取区域，得到多个待拼接图像；以及对多个所述待拼接图像进行拼接处理，得到目标图像。
8.根据权利要求7所述的视频处理器，其特征在于，所述第一可编程逻辑器件还用于：接收所述输入图像，获取所述输入图像的属性参数和所述目标图像的属性参数，以及基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作。
9.根据权利要求8所述的视频处理器，其特征在于，在所述基于所述输入图像的属性参数和所述目标图像的属性参数判断是否需要进行截取操作的步骤中，所述输入图像的属性参数和所述目标图像的属性参数对应于所述视频处理芯片内的图像处理单元的像素时钟、显存大小和所能处理图像的行大小，且当所述像素时钟、所述显存大小和所述行大小不满足指定条件时判断需要进行所述截取操作。。
10.根据权利要求8所述的视频处理器，其特征在于，所述缩放后扩展截取区域相对于所述扩展截取区域的缩放率等于所述第二图像相对于所述第一图像的缩放率。
11.根据权利要求7所述的视频处理器，其特征在于，所述多个第一图像具有相同的分辨率；每一个所述第一图像的所述扩展截取区域至少为一个且位于所述第一图像的侧边，以及每一个所述扩展截取区域的宽度至少为四个像素。
12.根据权利要求7所述的视频处理器，其特征在于，所述视频处理芯片包括四个图像处理单元，所述四个图像处理单元分别对应的四个图像处理通道的输入端连接所述第一可编程逻辑器件，且所述四个图像处理单元分别对应的所述四个图像处理通道的输出端连接所述第二可编程逻辑器件。
技术总结