本申请涉及图像技术领域，特别涉及一种物体识别方法及装置。
背景技术：
随着图像技术的发展，图像技术已经运用到人们生产生活的各个领域，比如物体识别领域。示例地，通过对监控摄像机采集到的图像进行人脸识别，能够辅助查找罪犯。
通常监控摄像机与被拍摄物的距离较远，监控摄像机采集到的图像的分辨率较低，对该图像进行人脸识别的难度较高，因此，通常需要对该图像的彩色图像首先进行分辨率提升，再对分辨率提升得到的图像进行人脸识别。
但是，分辨率提升得到的图像中的人脸信息往往与监控摄像机采集到的图像中的人脸信息差异较大，这就导致对分辨率提升得到的图像进行人脸识别的准确度较低。
技术实现要素：
本申请提供了一种物体识别方法及装置，可以解决对分辨率提升得到的图像进行人脸识别的准确度较低的问题，所述技术方案如下：
第一方面，提供了一种物体识别方法，所述方法包括：在获取图像传感器产生的目标生图像之后，先对所述目标生图像中目标区域的图像进行超分得到超分彩色图像，再基于所述超分彩色图像进行目标物体的识别。其中，所述目标区域包括所述目标生图像中的至少部分区域，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率。本申请提供的物体识别方法中，通过对目标生图像中目标区域的图像进行超分处理，以放大增强目标区域的图像中的细节信息。由于被超分的图像是未经过isp处理的生图像，因此超分处理后的目标区域的图像能够包含较多细节信息。使得本实施例得到的超分彩色图像(超分处理后的目标区域的图像的彩色图像)相较于现有技术中的彩色图像拥有更多的细节信息。因此，基于该超分彩色图像进行目标物体的识别，能够提升目标物体的识别的准确度。
可选地，所述目标生图像为拜耳模式的图像。需要说明的是，本申请实施例中以目标生图像为拜耳模式的生图像为例，当然，该目标生图像还可以为除拜耳模式之外的任一种模式(如红绿蓝亮度(rgbw)模式)的生图像，本申请实施例对此不作限定。
可选地，所述方法还包括：对所述目标生图像进行第一处理，得到所述目标生图像的彩色图像；确定所述目标生图像的彩色图像中包含所述目标物体的第一区域；上述基于所述超分彩色图像进行目标物体的识别，具体包括：首先基于所述第一区域，确定所述超分彩色图像中的第二区域；然后基于所述超分彩色图像中所述第二区域的图像，进行所述目标物体的识别。在确定目标生图像的彩色图像中的第一区域后，可以采用一定的方式将该第一区域映射到超分彩色图像中，从而得到该超分彩色图像中的第二区域。并且，由于第二区域是第一区域映射得到的区域，因此，在第一区域包含目标物体的前提下，第二区域也包含目标物体。在确定超分彩色图像中的第二区域后，物体识别装置可以截取该第二区域的图像，并对该第二区域的图像进行目标物体的识别。并且，由于该超分彩色图像包含了目标物体的较多细节信息，因此，该超分彩色图像中的第二区域的图像也包含了目标物体的较多细节信息，基于该第二区域的图像进行目标物体的识别的准确度较高。
可选地，所述第一区域和所述第二区域均呈矩形，所述第一区域的左上角坐标为(xa1，ya1)，且右下角坐标为(xa2，ya2)；所述第二区域的左上角坐标为(xb1，yb1)，且右下角坐标为(xb2，yb2)；其中，xb1＝xa1*k；yb1＝ya1*k；xb2＝xb1 (xa2-xa1)*k；yb2＝yb1 (ya2-ya1)*k，k表示超分彩色图像与目标区域的图像的分辨率比值。
示例地，上述得到超分彩色图像的过程有多种实现方式，本申请实施例对此不作限定。以下将以以下的两种实现方式为例，对上述得到超分彩色图像的过程的实现方式进行讲解。
可选地，在得到超分彩色图像的过程的第一种实现方式中，所述目标生图像为拜耳模式的图像，所述对所述目标生图像中的目标区域的图像进行超分，得到超分彩色图像，包括：获取所述目标四通道图像，以及将所述目标四通道图像输入第一模型，得到所述第一模型输出的所述超分彩色图像；其中，所述第一模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的所述拜耳模式的图像的彩色图像。所述目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图。
可选地，在得到超分彩色图像的过程的第二种实现方式中，所述目标生图像为拜耳模式的图像，所述对所述目标生图像中的目标区域的图像进行超分，得到超分彩色图像，包括：先对所述目标区域的图像进行超分，得到拜耳模式图像；再对所述拜耳模式图像进行第二处理，得到所述超分彩色图像。
可选地，所述对所述目标区域的图像进行超分，得到拜耳模式图像，包括：获取所述目标四通道图像，其中，所述目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；将所述目标四通道图像输入第二模型，得到所述第二模型输出的提升分辨率后的所述目标四通道图像；将提升分辨率后的所述目标四通道图像转换为所述拜耳模式图像；其中，所述第二模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的四通道图像。
可以看出，得到超分彩色图像的过程的上述两种实现方式中，第一种实现方式是基于第一模型直接得到超分彩色图像，第一种实现方式得到超分彩色图像的速度较快。而第二种实现方式是先对目标区域的图像进行超分得到拜耳模式图像(如通过第二模型得到提升分辨率的目标四通道图像，再将该目标四通道图像转换为拜耳模式图像)，之后再将拜耳模式图像处理为超分彩色图像。物体识别装置可以采用这两种实现方式中的任一种实现方式执行得到超分彩色图像的过程，或者，物体识别装置可以基于用户的选择，采用这两种实现方式中用户选择的实现方式执行得到超分彩色图像的过程。
可选地，所述第一处理包括第一畸变校正处理，所述第二处理包括第二畸变校正处理；所述第一畸变校正处理的参数包括：第一畸变曲线；所述第二畸变校正处理的参数包括：第二畸变曲线；所述第二畸变曲线中的任一采样点(x0，y0)在所述超分目标生图像中对应的像素的坐标为(xai，yai)，所述第一畸变曲线中的任一采样点(x0，y0)在所述目标生图像中对应的像素的坐标为(xbi，ybi)；其中，xai＝(xbi-(wf/2 0.5))*k (wf*k/2 0.5)；yai＝(ybi-(hf/2 0.5))*k (hf*k/2 0.5)；wf表示所述目标生图像的宽，hf表示所述目标生图像的高，k表示所述超分彩色图像与所述目标区域的图像的分辨率比值。
由于将目标生图像与拜耳模式图像的分辨率不同，因此，将目标生图像处理为彩色图像的参数可能并不适用于将拜耳模式图像处理为彩色图像，如果直接采用将目标生图像处理为彩色图像的参数对拜耳模式图像进行处理，则可能会导致处理得到的超分彩色图像出现问题(如颜色偏色、图像扭曲以及对比度变化等问题)。本申请实施例中，能够对将目标生图像处理为彩色图像的畸变校正处理的参数进行修正，因此，避免了得到的超分彩色图像存在这些问题。本申请实施例中基于将目标生图像处理为彩色图像的参数，对拜耳模式图像进行相应的处理，得到超分彩色图像。当然，在基于上述参数对拜耳模式图像进行相应的处理时，也可以不基于将目标生图像处理为彩色图像的参数对拜耳模式图像进行相应的处理。本申请实施例对此不作限定。
进一步地，上述以目标生图像的目标区域为目标生图像的全部区域为例。可选地，该目标生图像的目标区域可以为目标生图像中包含目标物体的区域(如部分区域)。可选地，在所述对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像之前，所述方法还包括：确定所述目标生图像中包含所述目标物体的所述目标区域。
可选地，所述目标生图像为生图像视频中的第m 1帧图像，m≥1，在所述确定所述目标生图像中包含所述目标物体的所述目标区域之前，所述方法还包括：对所述生图像视频中的第m帧图像进行第三处理，得到所述第m帧图像的彩色图像；确定所述第m帧图像的彩色图像中包含所述目标物体的第三区域；所述确定所述目标生图像中包含所述目标物体的所述目标区域，包括：确定所述目标生图像中对应所述第三区域的所述目标区域。
可选地，所述目标区域和所述第三区域均呈矩形，所述第三区域的左上角坐标为(xd1，yd1)，且右下角坐标为(xd2，yd2)；所述第三区域对应的所述目标区域的左上角坐标为(xc1，yc1)，且右下角坐标为(xc2，yc2)；其中，xd1＝(xc1-(xc1 xc2)/2)*l (xc1 xc2)/2；yd1＝(yc1-(yc1 yc2)/2)*l (yc1 yc2)/2；xd2＝(xc2-(xc1 xc2)/2)*l (xc1 xc2)/2；yd2＝(yc2-(yc1 yc2)/2)*l (yc1 yc2)/2；l＞1。
可选地，在所述对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像之前，所述方法还包括：在所述目标生图像包含多个目标区域，且所述多个目标区域中存在满足替换条件的两个目标区域时，将所述两个目标区域替换为备选目标区域，得到更新的所述多个目标区域；其中，所述替换条件包括：所述两个目标区域至少部分重合，且所述两个目标区域的面积之和大于所述备选目标区域的面积；所述两个目标区域中一个目标区域的左上角坐标为(x11，y11)，且右下角坐标为(x12，y12)；所述两个目标区域中另一个目标区域的左上角坐标为(x21，y21)，且右下角坐标为(x22，y22)；所述备选目标区域的左上角坐标为(xm1，ym1)，且右下角坐标为(xm2，ym2)；xm1为x11和x21的最小值；ym1为y11和y21的最小值；xm2为x12和x22的最大值；ym2为y12和y22的最大值。由于将满足替换条件的多个目标区域替换为备选目标区域，因此减少了目标生图像中目标区域的个数，简化了基于目标区域进行目标物体的识别的过程。
第二方面，提供了一种物体识别装置，所述物体识别装置包括：用于执行第一方面提供的物体识别方法的各个模块。
可选地，所述物体识别装置包括：获取模块，用于获取图像传感器产生的目标生图像，所述目标生图像为拜耳模式的图像；超分模块，用于获取目标四通道图像，其中，所述目标生图像中目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；所述目标区域包括所述目标生图像中的至少部分区域；所述超分模块还用于将所述目标四通道图像输入第一模型，得到所述第一模型输出的超分彩色图像；其中，所述第一模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的所述拜耳模式的图像的彩色图像；所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；识别模块，用于基于所述超分彩色图像进行目标物体的识别。
可选地，所述物体识别装置包括：获取模块，用于获取图像传感器产生的目标生图像，所述目标生图像为拜耳模式的图像；超分子模块，用于获取目标四通道图像，其中，所述目标生图像中目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；所述目标区域包括所述目标生图像中的至少部分区域；所述超分子模块，还用于将所述目标四通道图像输入第二模型，得到所述第二模型输出的提升分辨率后的所述目标四通道图像；将提升分辨率后的所述目标四通道图像转换为拜耳模式图像；其中，所述第二模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的四通道图像；处理子模块，用于对所述拜耳模式图像进行第二处理，得到超分彩色图像，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；识别模块，用于基于所述超分彩色图像进行目标物体的识别。
可选地，所述物体识别装置包括：获取模块，用于获取图像传感器产生的目标生图像，所述目标生图像为拜耳模式的图像；超分子模块，用于获取目标四通道图像，其中，所述目标生图像中目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；所述目标区域包括所述目标生图像中的至少部分区域；所述超分子模块，还用于将所述目标四通道图像输入第二模型，得到所述第二模型输出的提升分辨率后的所述目标四通道图像；将提升分辨率后的所述目标四通道图像转换为拜耳模式图像；其中，所述第二模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的四通道图像；处理子模块，用于对所述拜耳模式图像进行第二处理，得到超分彩色图像，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；第一处理模块，用于对所述目标生图像进行第一处理，得到所述目标生图像的彩色图像；第一确定模块，用于确定所述目标生图像的彩色图像中包含所述目标物体的第一区域；识别模块，用于基于所述第一区域，确定所述超分彩色图像中的第二区域；基于所述超分彩色图像中所述第二区域的图像，进行所述目标物体的识别；
其中，所述第一处理包括第一畸变校正处理，所述第二处理包括第二畸变校正处理；所述第一畸变校正处理的参数包括：第一畸变曲线；所述第二畸变校正处理的参数包括：第二畸变曲线；所述第二畸变曲线中的任一采样点(x0，y0)在所述超分目标生图像中对应的像素的坐标为(xai，yai)，所述第一畸变曲线中的任一采样点(x0，y0)在所述目标生图像中对应的像素的坐标为(xbi，ybi)；其中，xai＝(xbi-(wf/2 0.5))*k (wf*k/2 0.5)；yai＝(ybi-(hf/2 0.5))*k (hf*k/2 0.5)；wf表示所述目标生图像的宽，hf表示所述目标生图像的高，k表示所述超分彩色图像与所述目标区域的图像的分辨率比值。
可选地，所述物体识别装置包括：获取模块，用于获取图像传感器产生的目标生图像；第二确定模块，用于确定所述目标生图像中包含目标物体的目标区域；替换模块，用于在所述目标生图像包含多个目标区域，且所述多个目标区域中存在满足替换条件的两个目标区域时，将所述两个目标区域替换为备选目标区域，得到更新的所述多个目标区域；超分模块，用于对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像，其中，所述目标区域包括所述目标生图像中的至少部分区域，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；识别模块，用于基于所述超分彩色图像进行目标物体的识别。其中，所述替换条件包括：所述两个目标区域至少部分重合，且所述两个目标区域的面积之和大于所述备选目标区域的面积；所述两个目标区域中一个目标区域的左上角坐标为(x11，y11)，且右下角坐标为(x12，y12)；所述两个目标区域中另一个目标区域的左上角坐标为(x21，y21)，且右下角坐标为(x22，y22)；所述备选目标区域的左上角坐标为(xm1，ym1)，且右下角坐标为(xm2，ym2)；xm1为x11和x21的最小值；ym1为y11和y21的最小值；xm2为x12和x22的最大值；ym2为y12和y22的最大值。
第三方面，提供了一种物体识别装置，所述物体识别装置包括：处理器和接口，所述处理器用于通过所述接口从图像传感器获取生图像，所述处理器用于运行程序，以使得所述物体识别装置执行如第一方面所述的物体识别方法。
第四方面，提供了一种计算机存储介质，所述存储介质内存储有计算机程序，所述计算机程序用于执行第一方面所述的物体识别方法。
第五方面，提供了一种计算机程序产品，当计算机程序产品在物体识别装置上运行时，使得物体识别装置执行如第一方面所述的物体识别方法。
上述第二方面至第五方面中任一方面的有益效果可以参考上述第一方面的有益效果，本申请在此不做赘述。
附图说明
图1为本申请实施例提供的一种物体识别装置的结构示意图；
图2为本申请实施例提供的一种物体识别方法的流程图；
图3为本申请实施例提供的一种目标生图像的示意图；
图4为本申请实施例提供的一种目标生图像的彩色图像的示意图；
图5为本申请实施例提供的一种超分彩色图像的示意图；
图6为本申请实施例提供的一种获取超分彩色图像的方法流程图；
图7为本申请实施例提供的一种目标四通道图像的示意图；
图8为本申请实施例提供的一种第一模型的示意图；
图9为像素抽牌层将4个第一组合图拼接为1个第二组合图的示意图；
图10为本申请实施例提供的另一种获取超分彩色图像的方法流程图；
图11为本申请实施例提供的一种第二模型的示意图；
图12为本申请实施例提供的一种对图7中的目标四通道图像进行分辨率提升后得到的图像的示意图；
图13为本申请实施例提供的一种拜耳模式图像的示意图；
图14为本申请实施例提供的一种物体识别方法的补充流程图；
图15为本申请实施例提供的一种第m帧图像的示意图；
图16为本申请实施例提供的一种第m 1帧图像的示意图；
图17为本申请实施例提供的一种目标生图像中的目标区域和备选目标区域的示意图；
图18为本申请实施例提供的一种物体识别装置的框图。
具体实施方式
为使本申请的原理、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
基于图像技术能够实现对图像中目标物体的识别。示例地，该目标物体可以为人脸、手、衣服、桌子、板凳等任意物体。
然而，当图像中目标物体的尺寸较小时，该图像就无法包含目标物体的细节信息，基于该图像进行目标物体的识别的难度较高，且准确率较低。因此，通常需要对该图像进行分辨率提升的处理，比如，该图像往往是彩色图像(相较于生图像而言，彩色图像更适合人眼进行观察)，可以直接对该彩色图像进行分辨率提升处理，以拉升该彩色图像的尺寸，并尽量增强该图像中目标物体的细节信息。但是，彩色图像往往是通过对拍摄装置(如摄像机或相机)直接采集到的生图像(也称raw图像)进行一系列图像信号处理(imagesignalprocessing，isp)(例如：图像去马赛克、图像压缩、图像去噪)后得到的图像。在该处理过程中生图像中目标物体的一些细节信息会被消除，进而导致彩色图像本身包含的目标物体的细节信息变少，即使对彩色图像进行分辨率提升处理，也较难复原彩色图像中目标物体的细节信息。
本申请提供的物体识别方法实施例，通过对生图像进行分辨率提升处理(也就是“超分”处理)，以放大增强生图像中的目标物体的细节信息。由于被超分的图像是未经过isp处理的生图像，因此分辨率提升后的生图像能够包含目标物体的较多细节信息。超分之后再获取分辨率提升后的生图像的彩色图像，使得本实施例得到的彩色图像相较于现有技术拥有更多的细节信息。因此，基于该彩色图像进行目标物体的识别，能够提升目标物体的识别的准确度。本申请实施例中，在有需要的情况下，可以在得到彩色图像之后，进一步对彩色图像执行isp操作。
需要说明的是，上述生图像是拍摄装置直接通过自身的图像传感器直接采集到的未经图像信号处理的图像(也称原始光学图像)。该生图像为拍摄装置内部最原始的图像信息，因此保留了拍摄装置能够获取的最丰富的图像高频细节。而对生图像进行图像信号处理得到的彩色图像的高频细节已经被减弱，甚至消失，最终导致得到的彩色图像无法保留目标物体的细节内容。
本申请实施例提供了一种物体识别方法，该物体识别方法可以用于物体识别装置。示例地，如图1所示，该物体识别装置包括：处理器101和接口106，该处理器101与接口106连接，接口106与图像传感器105连接，图像传感器105用于生成生图像，处理器101用于通过接口106从图像传感器105获取生图像。处理器101用于运行程序，以使得物体识别装置执行本申请实施例提供的物体识别方法。
可选地，请继续参考图1，该物体识别装置还可以包括：通信组件102，存储器103，和至少一个通信总线104，处理器101、接口106、通信组件102和存储器103之间可以通过该通信总线104连接。处理器101用于执行的程序可以为存储器103中的程序1031。存储器103可能包含高速随机存取存储器(ram：randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过通信组件102(可以是有线或者无线)实现该物体识别装置与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网或城域网等。需要说明的是，本申请实施例中以处理器和存储器相互独立为例，当然，存储器103也可以集成在处理器中，本申请实施例对此不作限定。
示例地，图2为本申请实施例提供的一种物体识别方法的流程图，如图2所示，该物体识别方法可以包括：
步骤201、获取拜耳模式的目标生图像。
如图1所示，该物体识别装置可以获取该图像传感器105生成的拜耳(bayer)模式的目标生图像。可选地，图1中以物体识别装置包括图像传感器为例，可选地，该物体识别装置也可以不包括图像传感器，而是与图像传感器连接，并能够获取到图像传感器生成的拜耳模式的目标生图像。
示例地，如图3所示，目标生图像可以包括阵列排布的多个像素，并且，该多个像素中每2行2列的像素组团形成一个像素组，且每个像素组中的四个像素的颜色分别为红、绿1、绿2和蓝。其中，绿1和绿2均表示绿色，但绿1和绿2分别对应的像素组中的两个像素。如图3所示，该像素组中第1行第1列的像素的颜色为红，第1行第2列的像素的颜色为绿1，第2行第1列的像素的颜色为绿2，第2行第2列的像素的颜色为蓝。
当然，这四个像素的分布位置还可以与图3所示的分布位置不同。比如，第1行第1列的像素的颜色为绿1，第1行第2列的像素的颜色为红，第2行第1列的像素的颜色为蓝，第2行第2列的像素的颜色为绿2；或者，第1行第1列的像素的颜色为绿1，第1行第2列的像素的颜色为蓝，第2行第1列的像素的颜色为红，第2行第2列的像素的颜色为绿2。本申请实施例对此不作限定。另外，本申请实施例也不对目标生图像中像素的个数进行限定。
需要说明的是，本申请实施例中以目标生图像为拜耳模式的生图像为例，当然，该目标生图像还可以为除拜耳模式之外的任一种模式(如红绿蓝亮度(rgbw)模式)的生图像，本申请实施例对此不作限定。
步骤202、对目标生图像进行第一处理，得到目标生图像的彩色图像。
在步骤202中，物体识别装置需要将该目标生图像处理为彩色图像。其中，彩色图像可以为任一种彩色模式的图像，如红绿蓝(rgb)格式、明亮度色度(yuv)格式等。
示例地，该第一处理可以包括：自动白平衡处理、颜色校正处理、伽马校正处理以及畸变校正处理中的至少一种处理，当然该第一处理还可以包括除这四种处理之外的其他处理。本申请实施例中以第一处理包括自动白平衡处理、颜色校正处理、伽马校正处理和畸变校正处理为例，并且，本申请实施例并不对这几种处理的先后顺序进行限定。
彩色图像例如联合图像专家组(jointphotographicexpertsgroup，jpeg)格式的图像、高效率图档格式(highefficiencyimagefileformat，helf)的图像等，jpeg格式也称jpg格式。
步骤203、确定目标生图像的彩色图像中包含目标物体的第一区域。
在得到目标生图像的彩色图像后，物体识别装置可以对该彩色图像进行目标物体的识别，以得到该彩色图像中包含目标物体的第一区域。当然，该彩色图像中可以包含一个或多个第一区域，本申请实施例对此不做限定，在步骤203中，物体识别装置需要识别出该彩色图像中的每个第一区域。
步骤204、对目标生图像中目标区域的图像进行超分，得到超分彩色图像，其中，目标区域包括目标生图像中的至少部分区域，超分彩色图像的分辨率大于目标生图像中目标区域的图像的分辨率。
物体识别装置在对目标生图像中目标区域的图像进行超分，得到超分彩色图像的过程中，可以首先对目标生图像的目标区域的图像(也是一种生图像)进行分辨率的提升，得到提升分辨率后的上述目标区域的图像，之后，再对提升分辨率后的上述目标区域的图像进行处理，得到该超分彩色图像。由于在步骤204中直接对目标生图像中目标区域的图像进行分辨率的提升处理，因此提升分辨率后的目标区域的图像中可以包含目标物体的较多细节信息。之后得到的该超分彩色图像也能包含目标物体较多的细节信息。
步骤205、基于第一区域，确定超分彩色图像中的第二区域。
在步骤203中确定目标生图像的彩色图像中的第一区域后，可以采用一定的方式将该第一区域映射到超分彩色图像中，从而得到该超分彩色图像中的第二区域。并且，由于第二区域是第一区域映射得到的区域，因此，在第一区域包含目标物体的前提下，第二区域也包含目标物体。需要说明的是，若步骤203中确定出了多个第一区域，则在步骤205中需要将多个第一区域中的每个第一区域均映射至超分彩色图像中，从而得到多个第一区域中每个第一区域对应的第二区域。
示例地，对于每个第一区域以及该第一区域对应的第二区域，该第一区域和该第二区域均可以呈矩形。其中，若第一区域的左上角坐标为(xa1，ya1)，且右下角坐标为(xa2，ya2)，则该第一区域对应的第二区域的左上角坐标为(xb1，yb1)，且右下角坐标为(xb2，yb2)；其中，xb1＝xa1*k；yb1＝ya1*k；xb2＝xb1 (xa2-xa1)*k；yb2＝yb1 (ya2-ya1)*k；k表示超分彩色图像与目标生图像的分辨率比值(可以称为分辨率提升率)，k＞1。
例如，目标生图像的彩色图像如图4所示，超分彩色图像如图5所示。假设k＝2，如图4所示，第一区域的左上角坐标为(3，3)，且右下角坐标为(6，6)。则如图5所示，该第二区域的左上角坐标为(xa1*k，ya1*k)＝(3*2，3*2)＝(6，6)，第二区域的右下角坐标为(xb1 (xa2-xa1)*k，yb1 (ya2-ya1)*k)＝(6 (6-3)*2，6 (6-3)*2)＝(12，12)。可以看出，第一区域的长和宽均为3，第二区域的长和宽均为6，第二区域比第一区域在长和宽方面均放大了两倍。
步骤206、基于第二区域进行目标物体的识别。
例如：基于第二区域进行车牌识别，人脸识别。其中，基于第二区域进行目标物体的识别可以是指在:第二区域的范围之内进行目标物体的识别。
在确定超分彩色图像中的第二区域后，物体识别装置可以截取该第二区域的图像，并对该第二区域的图像进行目标物体的识别。并且，由于该超分彩色图像包含了目标物体的较多细节信息，因此，该超分彩色图像中的第二区域的图像也包含了目标物体的较多细节信息，基于该第二区域的图像进行目标物体的识别的准确度较高。
并且，由于第二区域为物体识别装置确定出的包含目标物体的区域，因此仅基于该第二区域便能够进行目标物体的识别，而无需基于超分彩色图像中除第二区域之外的区域进行目标物体的识别，简化了目标物体的识别的复杂度。
示例地，上述步骤204有多种实现方式，本申请实施例对此不作限定。以下将以以下的两种实现方式为例，对上述步骤204的实现方式进行讲解。并且，以下两种实现方式均以步骤204中的目标生图像的目标区域为目标生图像的全部区域为例。
在步骤204的第一种实现方式中，如图6所示，步骤204可以包括：
步骤2041a、获取目标四通道图像，其中，目标生图像中目标区域的图像包括阵列排布的多个像素组，该像素组包括两行两列像素，该目标四通道图像包括：该多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图。
示例地，如步骤201中所述，目标生图像中目标区域的图像可以包括多个像素组，且每个像素组包括红、绿1、绿2和蓝四种像素。在步骤2041a中，物体识别装置可以将目标生图像中目标区域的图像转换为目标四通道图像，该目标四通道图像包括四个组合图，且这四个组合图中每个组合图包括该多个像素组中同一位置的像素。
例如，对于图3所示的目标生图像，若目标区域为该目标生图像中的全部区域，则将该目标生图像中的目标区域的图像转换得到的目标四通道图像可以包括如图7所示的四个组合图，分别为红色像素的组合图、绿1色像素的组合图、绿2色像素的组合图以及蓝色像素的组合图。可见，图3中的多个像素中，若像素的行数和列数均为奇数，则该像素属于目标四通道图像中红色像素的组合图；若像素的行数为奇数且列数为偶数，则该像素属于目标四通道图像中绿1色像素的组合图；若像素的行数为偶数且列数为奇数，则该像素属于目标四通道图像中绿2色像素的组合图；若像素的行数和列数均为偶数，则该像素属于目标四通道图像中蓝色像素的组合图。
步骤2042a、将目标四通道图像输入第一模型，得到第一模型输出的超分彩色图像。
第一模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的该拜耳模式的图像的彩色图像。因此，在将目标区域的图像(一种拜耳模式的图像，且此时目标区域也即整个目标生图像)的四通道图像(称为目标四通道图像)输入第一模型后，第一模型能够对该目标四通道图像进行处理，进而输出超分彩色图像。
可选地，该第一模型可以为神经网络模型。
示例地，图8为本申请实施例提供的一种第一模型的示意图，如图8所示，该第一模型可以包括：第一模块、16个串联的第二模块、k个串联的第三模块、第四模块、第五模块、第六模块、第七模块和第八模块。
(1)第一模块可以包括：卷积层和漏线性整流层。该卷积层用于分别采用64种卷积核对输入第一模型的所有图像(如上述目标四通道图像)进行卷积处理，并输出六十四通道图像，其中，这64种卷积核中每种卷积核的大小均为3*3。漏线性整流层用于基于漏线性整流函数对卷积层输出的图像(如上述六十四通道图像)进行激活处理，得到该图像的激活特征图。
其中，该漏线性整流函数可以为：
xi,j是输入漏线性整流层的图像中第i行第j列的像素的像素值(如像素强度)，yi,j是该图像的激活特征图中第i行第j列的像素的像素值，a为弱化参数，1≤a≤2。可见，经过激活处理后，该图像中像素值大于或等于零的像素的像素值被保留，而像素值小于零的像素的像素值被减弱。i≥1，j≥1。
(2)第二模块可以包括：第一卷积层、线性整流层、第二卷积层和相加层。其中，第一卷积层可以用于：分别采用64种卷积核(3*3大小)对输入第二模块的图像进行处理，并输出六十四通道图像；线性整流层用于基于线性整流函数对第一卷积层输出的六十四通道图像进行激活处理，并输出激活处理后的六十四通道图像；第二卷积层用于分别采用64种卷积核(3*3大小)对漏线性整流层输出的六十四通道图像进行处理，并输出六十四通道图像；相加层用于将第二卷积层输出的六十四通道图像与输入该第二模块的图像相加，并输出六十四通道图像的特征图。
其中，该线性整流函数如下：
xi,j是第一卷积层输出的图像中第i行第j列的像素的像素值，yi,j是该图像的激活特征图中第i行第j列的像素的像素值。可见，经过激活处理后，该图像中像素值大于或等于零的像素的像素值被保留，而像素值小于零的像素的像素值被减为0。i≥1，j≥1。
(3)第三模块可以包括：卷积层、第一漏线性整流层、像素抽牌层以及第二漏线性整流层。其中，卷积层用于分别采用64种卷积核(3*3大小)对输入第三模块的图像进行处理，并输出六十四通道图像；第一漏线性整流层用于基于漏线性整流函数对卷积层输出的六十四通道图像进行激活处理，并输出激活处理后的六十四通道图像；像素抽牌层用于将第一漏线性整流层输出的六十四通道图像分成4份(每份包括十六通道图像)，并将这4份图像拼接成十六通道图像；第二漏线性整流层用于基于漏线性整流函数对像素抽牌层输出的十六通道图像进行激活处理，并输出激活处理后的十六通道图像。其中，该漏线性整流函数可以参考第一模块中的漏线性整流函数，本申请实施例在此不做赘述。
第一漏线性整流层输出的六十四通道图像(包括64个组合图)中的组合图(称为第一组合图)的尺寸可以为x*y，则像素抽牌层输出的十六通道图像(包括16个组合图)中的通道图像(称为第二组合图)的尺寸可以为2x*2y。像素抽牌层可以将4份第一组合图(每份第一组合图包括16个第一组合图)中，每份第一组合图中的第m个第一组合图组成一组第一组合图，这样便可以得到16组第一组合图，每组第一组合图包括4个第一组合图。之后，像素抽牌层可以将每组第一组合图中的4个第一组合图拼接为1个第二组合图，从而得到16个第二组合图。
示例地，图9为像素抽牌层将一组第一组合图中的4个第一组合图拼接为1个第二组合图的示意图。如图9所示，假设将这4个第一组合图分别称为图像a、b、c和d，图像a中的像素称为1，图像b中的像素称为2，图像c中的像素称为3，图像d中的像素称为4。则将这4个第一组合图拼接而成的第二组合图可以包括阵列排布的多个像素组，每个像素组包括两行两列的像素，其中，第1行第1列的像素为来自图像a的像素1，第1行第2列的像素为来自图像b的像素2，第2行第1列的像素为来自图像c的像素3，第2行第2列的像素为来自图像d的像素4。
进一步地，每个第三模块能够对输入的图像放大2倍，由于第一模型包括k个第三模块，因此，k个第三模块共能够对输入的图像放大2k倍。超分彩色图像与目标生图像中目标区域的图像的分辨率比值k＝2k。本申请实施例中可以根据k的大小，合理设置第一模型中第三模块的个数。
(4)第四模块包括卷积层，且该卷积层用于分别采用64种卷积核(3*3大小)对输入第四模块的图像进行处理，并输出六十四通道图像。
(5)第五模块包括卷积层，且该卷积层用于分别采用4种卷积核(3*3大小)对输入第四模块的图像进行处理，并输出四通道图像。第五模块输出的四通道图像的分辨率大于输入第一模型的四通道图像的分辨率。
(6)第六模块包括放大层和相加层。其中，放大层用于采用双线性插值的方式对输入第一模型的四通道图像进行插值放大，放大倍数同样为k。相加层用于将放大层输出的结果与第五模块输出的结果相加，得到上述提升分辨率后的目标区域的图像。
(7)第七模块包括：卷积层和漏线性整流层。该卷积层用于分别采用64种卷积核对第六模块输出的结果进行卷积处理，并输出六十四通道图像，其中，这64种卷积核中每种卷积核的大小均为3*3。漏线性整流层用于基于漏线性整流函数对卷积层输出的图像进行激活处理，得到该图像的激活特征图。
其中，该漏线性整流函数可以参考第一模块中的漏线性整流函数，本申请实施例在此不做赘述。
(8)第八模块包括：卷积层。该卷积层用于分别采用3种卷积核对第七模块输出的结果进行卷积处理，并输出上述超分彩色图像(具有3个通道)，其中，这3种卷积核中每种卷积核的大小均为3*3。
可选地，上述实施例中以第一模型中的每个卷积层所采用的卷积核的大小均为3*3为例，可选地，各个卷积核的大小也可以不为3*3，如为4*4等，本申请实施例对此不作限定。
在步骤204的第一种实现方式中，物体识别装置在获取目标四通道图像后，直接采用该第一模型对该目标四通道图像进行处理，便能够得到超分彩色图像，使得获取超分彩色图像的效率较高。
可选地，在使用该第一模型之前，物体识别装置可以基于第一训练数据对初始模型进行训练以得到第一模型。当然，训练初始模型得到第一模型的过程也可以不由物体识别装置执行，本申请实施例对此不作限定。
示例地，在获取用于训练得到第一模型的第一训练数据时，可以首先获取拜耳模式的生图像(可以是任意的生图像)，之后，再依照装箱(binning)插值方式对获取到的生图像进行插值，从而获得生图像的小尺寸的退化图像(该退化图像可以看做是分辨率降低后的生图像)。在获取第一训练数据时还可以将获取到的生图像进行处理，以得到生图像的彩色图像。该生图像的退化图像，以及生图像的彩色图像，便可以作为第一训练数据对初始模型进行训练。比如训练时将退化图像作为输入，并将初始模型输出的结果与彩色图像进行比对，进而根据比对结果对初始模型进行调整，重复多次该过程便可以将初始模型训练为第一模型。
其中，退化图像中像素的像素值满足以下公式：
其中，ri,j为退化图像中的(i，j)坐标上的红色像素的像素值，gri 1,j为退化图像中的(i 1，j)坐标上的绿色像素的像素值，gbi,j 1为退化图像中的(i，j 1)坐标上的绿色像素的像素值，bi 1,j 1为退化图像中的(i 1，j 1)坐标上的蓝色像素的像素值。f(i-1)×k 1 2×r，(j-1)×k 1 2×c表示退化图像对应的生图像(退化图像由对该生图像进行插值得到)中((i-1)×k 1 2×r，(j-1)×k 1 2×c)坐标上像素的像素值。f(i-1)×k 1 2×r，(j-1)×k 2 2×c表示退化图像对应的生图像中((i-1)×k 1 2×r，(j-1)×k 2 2×c)坐标上像素的像素值。f(i-1)×k 2 2×r，(j-1)×k 1 2×c表示退化图像对应的生图像中((i-1)×k 2 2×r，(j-1)×k 1 2×c)坐标上像素的像素值。f(i-1)×k 2 2×r，(j-1)×k 2 2×c表示退化图像对应的生图像中((i-1)×k 2 2×r，(j-1)×k 2 2×c)坐标上像素的像素值。k为退化倍数，与步骤205中提到的超分彩色图像与目标生图像中目标区域的图像的分辨率比值k相等。
相关技术中也存在用于对彩色图像进行提升分辨率处理的模型，该模型所需的训练数据需要基于彩色图像的退化图像得到。而本申请中用于训练第一模型的第一训练数据是基于拜耳模式的生图像的退化图像得到。并且，获取彩色图像的退化图像的过程较复杂，而获取生图像的退化图像的过程交简单，因此，本申请中获取用于训练第一模型的第一训练数据的效率较高，相应地，训练得到第一模型的精度也较高。
在步骤204的第二种实现方式中，如图10所示，步骤204可以包括：
步骤2041b、获取目标四通道图像，其中，目标生图像中目标区域的图像包括阵列排布的多个像素组，该像素组包括两行两列像素，该目标四通道图像包括：该多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图。
步骤2041b可以参考上述步骤2041a，本申请实施例在此不做赘述。
步骤2042b、将目标四通道图像输入第二模型，得到第二模型输出的提升分辨率后的目标四通道图像。
第二模型用于用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的该四通道图像。因此，在将目标生图像中目标区域的图像(一种拜耳模式的图像，本申请实施例以目标区域为整张目标生图像为例)的四通道图像(称为目标四通道图像)输入第二模型后，第二模型能够对该目标四通道图像进行处理，进而输出提升分辨率后的目标四通道图像。
可选地，该第二模型可以为神经网络模型。
示例地，图11为本申请实施例提供的一种第二模型的示意图，如图11所示，该第二模型可以包括：第一模块、16个串联的第二模块、k个串联的第三模块、第四模块、第五模块和第六模块。这些模块的解释可以参考图8所示的第一模型中这些模块的解释，本申请实施例在此不做赘述。
步骤2043b、将提升分辨率后的目标四通道图像转换为拜耳模式图像。
在得到第二模型输出的提升分辨率后的目标四通道图像后，物体识别装置可以按照步骤2041b中获取目标生图像中目标区域的图像的四通道图像(称为目标四通道图像)的方式的反方式，将提升分辨率后的目标四通道图像转换为拜耳模式图像。
示例地，拜耳模式图像可以包括多个像素组，且每个像素组包括红、绿1、绿2和蓝四种像素。在步骤2043b中，物体识别装置可以将提升分辨率后的目标四通道图像转换为拜耳模式图像，该多个像素组中同一位置的像素均来自目标四通道图像中的同一组合图。
例如，假设对图7中的目标四通道图像进行分辨率提升后得到的图像如图12所示(包括红色像素的组合图、绿1色像素的组合图、绿2色像素的组合图以及蓝色像素的组合图)。提升分辨率后的目标四通道图像转换得到的拜耳模式图像可以如图13所示。图13中的拜耳模式图像中，若像素的行数和列数均为奇数，则该像素来自于图12中红色像素的组合图；若像素的行数为奇数且列数为偶数，则该像素来自于图12中绿1色像素的组合图；若像素的行数为偶数且列数为奇数，则该像素来自于图12中绿2色像素的组合图；若像素的行数和列数均为偶数，则该像素来自于图12中蓝色像素的组合图。
步骤2044b、对拜耳模式图像进行第二处理，得到超分彩色图像。
可选地，在步骤2044b中，物体识别装置可以基于步骤202中第一处理的参数，对步骤2043b中得到的拜耳模式图像(也即提升分辨率后的目标区域的图像)进行第二处理，得到超分彩色图像。
可选地，在基于将目标生图像处理为彩色图像的参数对拜耳模式图像进行相应的处理时，若该参数为自动白平衡处理、颜色校正处理或伽马校正处理的参数，则可以直接采用该参数对拜耳模式图像进行处理。若该参数为畸变校正处理的参数，由于拜耳模式图像与目标生图像的尺寸以及分辨率不同，因此，需要对该畸变校正处理的参数进行修正，并采用修正后的畸变校正处理的参数对该拜耳模式图像进行处理。
示例地，第一处理包括第一畸变校正处理，第二处理包括第二畸变校正处理；第一畸变校正处理和第二畸变校正处理均可以是基于畸变曲线进行的校正处理(如张氏畸变校正处理)。假设第一畸变校正处理的参数包括：第一畸变曲线；第二畸变校正处理的参数包括：第二畸变曲线；第二畸变曲线中的任一采样点(x0，y0)在拜耳模式图像中对应的像素的坐标为(xai，yai)，第一畸变曲线中的任一采样点(x0，y0)在目标生图像中对应的像素的坐标为(xbi，ybi)；其中，xai＝(xbi-(wf/2 0.5))*k (wf*k/2 0.5)；yai＝(ybi-(hf/2 0.5))*k (hf*k/2 0.5)；wf表示目标生图像的宽，hf表示目标生图像的高。
由于将目标生图像与拜耳模式图像的分辨率不同，因此，将目标生图像处理为彩色图像的参数可能并不适用于将拜耳模式图像处理为彩色图像，如果直接采用将目标生图像处理为彩色图像的参数对拜耳模式图像进行处理，则可能会导致处理得到的超分彩色图像出现问题(如颜色偏色、图像扭曲以及对比度变化等问题)。本申请实施例中，能够对将目标生图像处理为彩色图像的畸变校正处理的参数进行修正，因此，避免了得到的超分彩色图像存在这些问题。
本申请实施例中基于将目标生图像处理为彩色图像的参数，对拜耳模式图像进行相应的处理，得到超分彩色图像。当然，在基于上述参数对拜耳模式图像进行相应的处理时，也可以不基于将目标生图像处理为彩色图像的参数对拜耳模式图像进行相应的处理。本申请实施例对此不作限定。
可以看出，步骤204的上述两种实现方式中，第一种实现方式是基于第一模型直接得到超分彩色图像，第一种实现方式得到超分彩色图像的速度较快。而第二种实现方式是先对目标区域的图像进行超分得到拜耳模式图像(如通过第二模型得到提升分辨率的目标四通道图像，再将该目标四通道图像转换为拜耳模式图像)，之后再将拜耳模式图像处理为超分彩色图像。物体识别装置可以采用这两种实现方式中的任一种实现方式执行步骤204，或者，物体识别装置可以基于用户的选择，采用这两种实现方式中用户选择的实现方式执行步骤204。
可选地，在使用该第二模型之前，物体识别装置可以基于第二训练数据对初始模型进行训练以得到第二模型。当然，训练初始模型得到第二模型的过程也可以不由物体识别装置执行，本申请实施例对此不作限定。
示例地，在获取用于训练得到第二模型的第二训练数据时，可以首先获取拜耳模式的生图像(可以是任意的生图像)，之后，再依照装箱(binning)插值方式对获取到的生图像进行插值，从而获得生图像的小尺寸的退化图像(该退化图像可以看做是分辨率降低后的生图像)。这些过程可以参考上述实施例中获取第一训练数据的过程，本申请实施例在此不做赘述。得到的退化图像以及生图像便可以作为第二训练数据对初始模型进行训练。在训练初始模型时，可以将退化图像输入初始模型，并将该初始模型输出的结果与该退化图像对应的生图像进行比对，并根据比对结果对初始模型进行调整；重复多次该过程便可以将初始模型训练为第二模型。
进一步地，上述实施例中以步骤204中目标生图像的目标区域为目标生图像的全部区域为例。可选地，该目标生图像的目标区域可以为目标生图像中包含目标物体的区域(如部分区域)。
示例地，目标生图像可以为生图像视频(本申请实施例中以该生图像视频为拜耳模式的视频为例)中的第m 1帧图像，m≥1，此时，在图2所示的物体识别方法的基础上，如图14所示，在步骤204之前，该物体识别方法还可以包括：
步骤301、对视频中的第m帧图像进行第三处理，得到第m帧图像的彩色图像。
步骤302、确定第m帧图像的彩色图像中包含目标物体的第三区域。
步骤303、确定第m 1帧图像中对应第三区域的目标区域。
在步骤303中，物体识别装置可以确定第三区域在第m 1帧图像(也即目标生图像)中对应的目标区域。第三区域与对应的目标区域所包含的内容大致相似，这两个区域的特征的相似度大于相似度阈值(比如80％、90％等)，目标生图像中的目标区域由该目标区域在第m帧图像中对应的第三区域变化而来。
可选地，目标区域和第三区域均呈矩形，第三区域的左上角坐标为(xd1，yd1)，且右下角坐标为(xd2，yd2)；第三区域对应的目标区域的左上角坐标为(xc1，yc1)，且右下角坐标为(xc2，yc2)；其中，xd1＝(xc1-(xc1 xc2)/2)*l (xc1 xc2)/2；yd1＝(yc1-(yc1 yc2)/2)*l (yc1 yc2)/2；xd2＝(xc2-(xc1 xc2)/2)*l (xc1 xc2)/2；yd2＝(yc2-(yc1 yc2)/2)*l (yc1 yc2)/2；l＞1。l可以由用户设置，比如1.5≤l≤3。
示例地，假设l＝3，第m帧图像如图15所示，第m 1帧图像如图16所示。若第m帧图像中的某一第三区域的左上角坐标为(3，3)，且右下角坐标为(6，6)，则该第三区域在第m 1帧图像中对应的目标区域的左上角坐标为((xc1-(xc1 xc2)/2)*l (xc1 xc2)/2，(yc1-(yc1 yc2)/2)*l (yc1 yc2)/2)＝((3-(3 6)/2)*3 (3 6)/2，(3-(3 6)/2)*3 (3 6)/2)＝(0，0)，且右下角坐标为((6-(3 6)/2)*3 (3 6)/2，(6-(3 6)/2)*3 (3 6)/2)＝(9，9)。
步骤304、在第m 1帧图像包含多个目标区域，且该多个目标区域中存在满足替换条件的两个目标区域时，将该两个目标区域替换为备选目标区域，得到更新的多个目标区域。
该替换条件包括：该两个目标区域至少部分重合，且该两个目标区域的面积之和大于备选目标区域的面积。其中，两个目标区域中一个目标区域的左上角坐标为(x11，y11)，且右下角坐标为(x12，y12)；两个目标区域中另一个目标区域的左上角坐标为(x21，y21)，且右下角坐标为(x22，y22)；备选目标区域的左上角坐标为(xm1，ym1)，且右下角坐标为(xm2，ym2)；xm1为x11和x21的最小值；ym1为y11和y21的最小值；xm2为x12和x22的最大值；ym2为y12和y22的最大值。
示例地，假设目标生图像中的目标区域如图17所示，包括：目标区域1和目标区域2。其中，目标区域1的左上角坐标为(3，6)，且右下角坐标为(6，3)，目标区域2的左上角坐标为(0，9)，目标区域2的右下角坐标为(9，0)；备选目标区域x(并不属于步骤301中确定出的多个目标区域)的左上角坐标可以为(0，6)，右下角坐标为(9，3)。可以看出，目标区域1和目标区域2至少部分重合，且目标区域1的面积(9)与目标区域2的面积(81)之和(90)大于备选目标区域x的面积(27)。因此，目标区域1和目标区域2满足上述替换条件，可以将多个目标区域中的目标区域1和目标区域2替换为备选目标区域x，从而实现了对步骤301中确定出的多个目标区域的更新。
由于将满足替换条件的多个目标区域替换为备选目标区域，因此减少了目标生图像中目标区域的个数，简化了基于目标区域进行目标物体的识别的过程。
可选地，物体识别装置可以依次以步骤301中确定出的多个目标区域中的每个区域为基准区域，执行多个目标区域的更新流程。
其中，该更新流程可以包括：物体识别装置依次判定该基准区域与该多个目标区域中除该区域之外的每个其他区域是否满足替换条件。一旦某一基准区域与某一其他区域满足替换条件，则物体识别装置就可以将该基准区域与该其他区域替换为这两个区域对应的备选目标区域。
或者，该更新流程可以包括：物体识别装置还可以将找出所有其他区域中的一组其他区域，该组其他区域中的每个区域均与该基准区域满足替换条件；之后，物体识别装置还可以确定该组其他区域中每个区域对应的面积差(该区域与基准区域的面积之和与这两个区域对应的备选目标区域的面积之差)，并将该基准区域与该组其他区域中对应的面积差最大的区域替换为这两个区域对应的备选目标区域。
在对多个目标区域更新完毕后，物体识别装置便可以将更新后的多个目标区域中的任一目标区域作为步骤204中目标区域。示例地，物体识别装置可以截取目标生图像中的每个目标区域，得到每个目标区域的图像，并采用图2所示的方法对每个目标区域的图像进行处理以及识别目标物体。
进一步地，若在基于第m 1帧图像进行目标物体的识别后，还需要继续基于第m 2帧图像进行目标物体的识别，则该识别的过程可以参考基于第m 1帧图像进行目标物体的识别的过程。并且，上述步骤204中第m 1帧图像中的目标区域可以作为第m 2帧图像的前一帧图像中的第三区域，而无需在基于第m 2帧图像进行目标物体的识别的过程中，重新确定第m 2帧图像的前一帧图像中的第三区域。
上述实施例中以在步骤303中确定多个目标区域之后，还在步骤304中对多个目标区域进行更新为例，可选地，也可以不执行步骤304，而是在步骤303中确定多个目标区域之后，直接执行步骤204，本申请实施例对此不作限定。
本申请实施例提供的方法实施例步骤的先后顺序能够进行适当调整，步骤也能够根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
图18为本申请实施例提供的一种物体识别装置的框图，可以运行前面提及的物体识别方法。如图18所示，该物体识别装置包括：
获取模块1801，用于获取图像传感器产生的目标生图像；获取模块1801用于执行的操作可以参考图2所示的实施例中的步骤201，本申请实施例在此不做赘述。
超分模块1802，用于对目标生图像中目标区域的图像进行超分，得到超分彩色图像，其中，目标区域包括目标生图像中的至少部分区域，超分彩色图像的分辨率大于目标区域的图像的分辨率；超分模块1802用于执行的操作可以参考图2所示的实施例中的步骤204，本申请实施例在此不做赘述。
识别模块1803，用于基于超分彩色图像进行目标物体的识别。识别模块1803用于执行的操作可以参考图2所示的实施例中的步骤205和步骤206，本申请实施例在此不做赘述。
可选地，目标生图像为拜耳模式的图像。
可选地，物体识别装置还包括：
第一处理模块(图18中未示出)，用于对目标生图像进行第一处理，得到目标生图像的彩色图像；第一处理模块用于执行的操作可以参考图2所示的实施例中的步骤202，本申请实施例在此不做赘述。
第一确定模块(图18中未示出)，用于确定目标生图像的彩色图像中包含目标物体的第一区域；第一确定模块用于执行的操作可以参考图2所示的实施例中的步骤203，本申请实施例在此不做赘述。
其中，识别模块1803用于：基于第一区域，确定超分彩色图像中的第二区域；基于超分彩色图像中第二区域的图像，进行目标物体的识别。
可选地，目标生图像为拜耳模式的图像，超分模块1802用于：获取目标四通道图像，其中，目标区域的图像包括阵列排布的多个像素组，像素组包括两行两列像素，目标四通道图像包括：多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；将目标四通道图像输入第一模型，得到第一模型输出的超分彩色图像；其中，第一模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的拜耳模式的图像的彩色图像。该过程可以参考图6所示的实施例，本申请实施例在此不做赘述。
可选地，目标生图像为拜耳模式的图像，超分模块1902包括：超分子模块(图18中未示出)，用于对目标区域的图像进行超分，得到拜耳模式图像；处理子模块(图18中未示出)，用于对拜耳模式图像进行第二处理，得到超分彩色图像。
可选地，超分子模块用于：获取目标四通道图像，其中，目标区域的图像包括阵列排布的多个像素组，像素组包括两行两列像素，目标四通道图像包括：多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；将目标四通道图像输入第二模型，得到第二模型输出的提升分辨率后的目标四通道图像；将提升分辨率后的目标四通道图像转换为拜耳模式图像；其中，第二模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的四通道图像。该过程可以参考图10所示的实施例，本申请实施例在此不做赘述。
可选地，第一处理包括第一畸变校正处理，第二处理包括第二畸变校正处理；第一畸变校正处理的参数包括：第一畸变曲线；第二畸变校正处理的参数包括：第二畸变曲线；第二畸变曲线中的任一采样点(x0，y0)在超分目标生图像中对应的像素的坐标为(xai，yai)，第一畸变曲线中的任一采样点(x0，y0)在目标生图像中对应的像素的坐标为(xbi，ybi)；其中，xai＝(xbi-(wf/2 0.5))*k (wf*k/2 0.5)；yai＝(ybi-(hf/2 0.5))*k (hf*k/2 0.5)；wf表示目标生图像的宽，hf表示目标生图像的高，k表示超分彩色图像与目标区域的图像的分辨率比值。
可选地，物体识别装置还包括：第二确定模块(图18中未示出)，用于确定目标生图像中包含目标物体的目标区域。该过程可以参考图14所示的实施例中的步骤303，本申请实施例在此不做赘述。
可选地，目标生图像为生图像视频中的第m 1帧图像，m≥1，物体识别装置还包括：
第三处理模块(图18中未示出)，用于对生图像视频中的第m帧图像进行第三处理，得到第m帧图像的彩色图像；该过程可以参考图14所示的实施例中的步骤301，本申请实施例在此不做赘述。
第三确定模块(图18中未示出)，用于确定第m帧图像的彩色图像中包含目标物体的第三区域；该过程可以参考图14所示的实施例中的步骤302，本申请实施例在此不做赘述。
第二确定模块用于：确定目标生图像中对应第三区域的目标区域。
可选地，物体识别装置还包括：
替换模块(图18中未示出)，用于在目标生图像包含多个目标区域，且多个目标区域中存在满足替换条件的两个目标区域时，将两个目标区域替换为备选目标区域，得到更新的多个目标区域；其中，替换条件包括：两个目标区域至少部分重合，且两个目标区域的面积之和大于备选目标区域的面积；两个目标区域中一个目标区域的左上角坐标为(x11，y11)，且右下角坐标为(x12，y12)；两个目标区域中另一个目标区域的左上角坐标为(x21，y21)，且右下角坐标为(x22，y22)；备选目标区域的左上角坐标为(xm1，ym1)，且右下角坐标为(xm2，ym2)；xm1为x11和x21的最小值；ym1为y11和y21的最小值；xm2为x12和x22的最大值；ym2为y12和y22的最大值。该过程可以参考图14所示的实施例中的步骤304，本申请实施例在此不做赘述。
综上所述，本申请实施例提供的物体识别装置中，超分模块能够对目标生图像中目标区域的图像进行超分处理，以放大增强目标区域的图像中的细节信息。由于被超分的图像是未经过isp处理的生图像，因此超分处理后的目标区域的图像能够包含较多细节信息。使得本实施例得到的超分彩色图像(超分处理后的目标区域的图像的彩色图像)相较于现有技术中的彩色图像拥有更多的细节信息。因此，基于该超分彩色图像进行目标物体的识别，能够提升目标物体的识别的准确度。
本申请实施例提供了一种计算机存储介质，所述存储介质内存储有计算机程序，所述计算机程序用于执行本申请实施例提供的任一物体识别方法。
本申请实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在物体识别装置上运行时，使得物体识别装置执行本申请实施例提供的任一物体识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储装置。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质，或者半导体介质(例如固态硬盘)等。
在本申请中，术语“第一”和“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“至少一个”指一个或多个，“多个”指两个或两个以上，除非另有明确的限定。
本申请实施例提供的方法实施例和装置实施例等不同类型的实施例均可以相互参考，本申请实施例对此不做限定。
在本申请提供的相应实施例中，应该理解到，所揭露的装置等可以通过其它的构成方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元描述的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个物体识别装置(例如终端设备)上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
1.一种物体识别方法，其特征在于，所述方法包括：
获取图像传感器产生的目标生图像；
对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像，其中，所述目标区域包括所述目标生图像中的至少部分区域，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；
基于所述超分彩色图像进行目标物体的识别。
2.根据权利要求1所述的方法，其特征在于，所述目标生图像为拜耳模式的图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
对所述目标生图像进行第一处理，得到所述目标生图像的彩色图像；
确定所述目标生图像的彩色图像中包含所述目标物体的第一区域；
其中，基于所述超分彩色图像进行目标物体的识别，具体包括：
基于所述第一区域，确定所述超分彩色图像中的第二区域；
基于所述超分彩色图像中所述第二区域的图像，进行所述目标物体的识别。
4.根据权利要求1至3任一所述的方法，其特征在于，所述目标生图像为拜耳模式的图像，所述对所述目标生图像中的目标区域的图像进行超分，得到超分彩色图像，包括：
获取目标四通道图像，其中，所述目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；
将所述目标四通道图像输入第一模型，得到所述第一模型输出的所述超分彩色图像；
其中，所述第一模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的所述拜耳模式的图像的彩色图像。
5.根据权利要求3所述的方法，其特征在于，所述目标生图像为拜耳模式的图像，所述对所述目标生图像中的目标区域的图像进行超分，得到超分彩色图像，包括：
对所述目标区域的图像进行超分，得到拜耳模式图像；
对所述拜耳模式图像进行第二处理，得到所述超分彩色图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述目标区域的图像进行超分，得到拜耳模式图像，包括：
获取目标四通道图像，其中，所述目标区域的图像包括阵列排布的多个像素组，所述像素组包括两行两列像素，所述目标四通道图像包括：所述多个像素组中第1行第1列像素的组合图、第1行第2列像素的组合图、第2行第1列像素的组合图以及第2行第2列像素的组合图；
将所述目标四通道图像输入第二模型，得到所述第二模型输出的提升分辨率后的所述目标四通道图像；
将提升分辨率后的所述目标四通道图像转换为所述拜耳模式图像；
其中，所述第二模型用于对未超分的拜耳模式的图像的四通道图像进行超分，输出提升分辨率后的四通道图像。
7.根据权利要求6所述的方法，其特征在于，所述第一处理包括第一畸变校正处理，所述第二处理包括第二畸变校正处理；
所述第一畸变校正处理的参数包括：第一畸变曲线；所述第二畸变校正处理的参数包括：第二畸变曲线；所述第二畸变曲线中的任一采样点(x0，y0)在所述超分目标生图像中对应的像素的坐标为(xai，yai)，所述第一畸变曲线中的任一采样点(x0，y0)在所述目标生图像中对应的像素的坐标为(xbi，ybi)；
其中，xai＝(xbi-(wf/2 0.5))*k (wf*k/2 0.5)；yai＝(ybi-(hf/2 0.5))*k (hf*k/2 0.5)；wf表示所述目标生图像的宽，hf表示所述目标生图像的高，k表示所述超分彩色图像与所述目标区域的图像的分辨率比值。
8.根据权利要求1至7任一所述的方法，其特征在于，在所述对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像之前，所述方法还包括：
确定所述目标生图像中包含所述目标物体的所述目标区域。
9.根据权利要求8所述的方法，其特征在于，所述目标生图像为生图像视频中的第m 1帧图像，m≥1，在所述确定所述目标生图像中包含所述目标物体的所述目标区域之前，所述方法还包括：
对所述生图像视频中的第m帧图像进行第三处理，得到所述第m帧图像的彩色图像；
确定所述第m帧图像的彩色图像中包含所述目标物体的第三区域；
所述确定所述目标生图像中包含所述目标物体的所述目标区域，包括：
确定所述目标生图像中对应所述第三区域的所述目标区域。
10.根据权利要求8或9所述的方法，其特征在于，在所述对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像之前，所述方法还包括：
在所述目标生图像包含多个目标区域，且所述多个目标区域中存在满足替换条件的两个目标区域时，将所述两个目标区域替换为备选目标区域，得到更新的所述多个目标区域；
其中，所述替换条件包括：所述两个目标区域至少部分重合，且所述两个目标区域的面积之和大于所述备选目标区域的面积；
所述两个目标区域中一个目标区域的左上角坐标为(x11，y11)，且右下角坐标为(x12，y12)；所述两个目标区域中另一个目标区域的左上角坐标为(x21，y21)，且右下角坐标为(x22，y22)；所述备选目标区域的左上角坐标为(xm1，ym1)，且右下角坐标为(xm2，ym2)；xm1为x11和x21的最小值；ym1为y11和y21的最小值；xm2为x12和x22的最大值；ym2为y12和y22的最大值。
11.一种物体识别装置，其特征在于，所述物体识别装置包括：
获取模块，用于获取图像传感器产生的目标生图像；
超分模块，用于对所述目标生图像中目标区域的图像进行超分，得到超分彩色图像，其中，所述目标区域包括所述目标生图像中的至少部分区域，所述超分彩色图像的分辨率大于所述目标区域的图像的分辨率；
识别模块，用于基于所述超分彩色图像进行目标物体的识别。
12.根据权利要求11所述的物体识别装置，其特征在于，所述目标生图像为拜耳模式的图像。
13.根据权利要求11或12所述的物体识别装置，其特征在于，所述物体识别装置还包括：
第一处理模块，用于对所述目标生图像进行第一处理，得到所述目标生图像的彩色图像；
第一确定模块，用于确定所述目标生图像的彩色图像中包含所述目标物体的第一区域；
其中，所述识别模块用于：
基于所述第一区域，确定所述超分彩色图像中的第二区域；
基于所述超分彩色图像中所述第二区域的图像，进行所述目标物体的识别。
14.根据权利要求13所述的物体识别装置，其特征在于，所述目标生图像为拜耳模式的图像，所述超分模块包括：
超分子模块，用于对所述目标区域的图像进行超分，得到拜耳模式图像；
处理子模块，用于对所述拜耳模式图像进行第二处理，得到所述超分彩色图像。
15.根据权利要求11至14任一所述的物体识别装置，其特征在于，所述物体识别装置还包括：
第二确定模块，用于确定所述目标生图像中包含所述目标物体的所述目标区域。
16.根据权利要求15所述的物体识别装置，其特征在于，所述目标生图像为生图像视频中的第m 1帧图像，m≥1，所述物体识别装置还包括：
第三处理模块，用于对所述生图像视频中的第m帧图像进行第三处理，得到所述第m帧图像的彩色图像；
第三确定模块，用于确定所述第m帧图像的彩色图像中包含所述目标物体的第三区域；
所述第二确定模块用于：确定所述目标生图像中对应所述第三区域的所述目标区域。
17.一种物体识别装置，其特征在于，所述物体识别装置包括：处理器和接口，所述处理器用于通过所述接口从图像传感器获取生图像，所述处理器用于运行程序，以使得所述物体识别装置执行如权利要求1至10任一项所述的物体识别方法。
18.一种计算机存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序用于执行权利要求1至10任一项所述的物体识别方法。
技术总结