本申请属于图像处理,具体涉及一种图像处理方法及其装置。
背景技术:
1、近年来演唱会、音乐节等各类舞台演出热度高居不下,同时随着电子设备摄影技术的发展,用户期待通过电子设备帮助自己定格下演出中精彩、难忘的瞬间。由于舞台中复杂灯光、雾气等的影响,以及人物在舞台中的运动,利用电子设备拍摄出来的人物易出现局部过曝、单通道溢出等问题,如此丢失了人物的真实信息。
2、目前的图像处理技术,无法实现对舞台等复杂拍摄环境中拍摄的人物图像进行很好的修复,导致用户拍摄体验不佳。
技术实现思路
1、本申请实施例的目的是提供一种图像处理方法及其装置。实现了对舞台等复杂拍摄环境中拍摄的人物图像进行很好的修复,真实还原人物信息,提升用户拍摄体验。
2、第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
3、获取第一视频帧序列中的第一图像和n帧第二图像,其中,所述第二图像为所述第一视频帧序列中除所述第一图像外的图像,每帧所述第二图像中均包括第一对象的完整人脸区域,n为大于或等于2的正整数;
4、基于每帧所述第二图像中所述第一对象的人脸特征点,对所述第一对象的人脸进行三维重建,得到所述第一对象的第一人脸三维模型;
5、将每帧所述第二图像中的人脸纹理信息映射至所述第一人脸三维模型中,得到所述第一对象的第二人脸三维模型;
6、将所述第一图像中所述第一对象的人脸角度与所述第二人脸三维模型的人脸角度对齐,得到第三人脸三维模型;
7、基于所述第三人脸三维模型,对所述第一图像中的人脸信息进行修复,得到目标图像。
8、第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
9、第一获取模块,用于获取第一视频帧序列中的第一图像和n帧第二图像,其中,所述第二图像为所述第一视频帧序列中除所述第一图像外的图像,每帧所述第二图像中均包括第一对象的完整人脸区域,n为大于或等于2的正整数;
10、三维重建模块,用于基于每帧所述第二图像中所述第一对象的人脸特征点,对所述第一对象的人脸进行三维重建,得到所述第一对象的第一人脸三维模型;
11、映射模块,用于将每帧所述第二图像中的人脸纹理信息映射至所述第一人脸三维模型中,得到所述第一对象的第二人脸三维模型;
12、对齐模块,用于将所述第一图像中所述第一对象的人脸角度与所述第二人脸三维模型的人脸角度对齐,得到第三人脸三维模型;
13、修复模块,用于基于所述第三人脸三维模型,对所述第一图像中的人脸信息进行修复,得到目标图像。
14、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
15、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
16、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
17、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
18、在本申请实施例中,通过获取第一视频帧序列中的第一图像,以及第一视频帧序列中除第一图像外的多个角度的第二图像,然后根据每帧第二图像中第一对象的人脸特征点,对第一对象的人脸进行三维重建,得到第一对象的第一人脸三维模型,将每帧第二图像中的人脸纹理信息映射至第一人脸三维模型中,如此在第一人脸三维模型中渲染出带有人脸纹理信息的人脸,得到第一对象的第二人脸三维模型,然后通过将第一图像中第一对象的人脸角度与第二人脸三维模型的人脸角度对齐,得到第三人脸三维模型,利用第三人脸三维模型,对第一图像中的人脸信息进行修复,可得到人脸信息完好的目标图像,实现了对舞台等复杂拍摄环境中拍摄的人物图像进行很好的修复,真实还原人物信息,提升用户拍摄体验。
1.一种图像处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于每帧所述第二图像中所述第一对象的人脸特征点,对所述第一对象的人脸进行三维重建,得到所述第一对象的第一人脸三维模型,包括:
3.根据权利要求1所述的方法,其特征在于,所述第一人脸三维模型包括多个三角面片,每个三角面片具有多个顶点;
4.根据权利要求1所述的方法,其特征在于,在所述将所述第一图像中所述第一对象的人脸角度与所述第二人脸三维模型的人脸角度对齐,得到第三人脸三维模型之前,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述基于所述第三人脸三维模型,对所述第一图像中丢失的人脸信息进行修复,得到目标图像,包括:
6.一种图像处理装置,其特征在于,所述装置包括:
7.根据权利要求6所述的装置,其特征在于,所述三维重建模块,包括:
8.根据权利要求6所述的装置,其特征在于,所述第一人脸三维模型包括多个三角面片,每个三角面片具有多个顶点;
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
10.根据权利要求6所述的装置,其特征在于,所述修复模块具体用于:
