本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、图像拍摄和处理系统及载体。
背景技术：
延时拍摄是指以一种将时间压缩的拍摄技术，在拍摄得到一组照片或者视频后，可后期通过照片串联或者视频抽帧将较长时间的过程压缩在较短时间内，并以视频的方式播出。
随着无人机航拍技术的发展，越来越多的用户使用无人机实施延时拍摄。但是在无人机进行延时拍摄时，鸟类等昆虫很容易被无人机吸引，例如无人机在进行航拍时，常常有鸟类会伴随在无人机四周飞行，导致无人机的拍摄镜头中频繁出现鸟类或者鸟类的部分身体。除此之外，在使用手持云台等进行延时拍摄时也会出现类型情况，例如，在人流密度较大的景区，常常会有游客进入到延迟拍摄的视场范围。基于延时拍摄的特性，上述过程中，鸟类身体、游人的影像会突兀的出现在影像中，严重影响延时拍摄得到的视频的播放效果。
技术实现要素：
有鉴于此，本发明实施例提供一种图像处理方法、装置、图像拍摄和处理系统及装置，可有效去除图像中的异常物体，提高延时拍摄得到的图像帧序列的播放效果。
本发明实施例的第一方面是提供的一种图像处理方法，包括：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
本发明实施例的第二方面是提供的一种图像处理装置，包括存储器、处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
本发明实施例的第三方面是提供的一种图像拍摄和处理系统，其特征在于，包括拍摄装置和一个或多个处理器，其中：
所述拍摄装置，用于延时拍摄得到图像帧序列，并将所述图像帧序列发送给所述一个或多个处理器；
所述一个或多个处理器，被配置用于在所述图像帧序列中，确定具有目标物体的目标帧，抠除所述目标帧中存在目标物体的图像区域，并填充抠除所述目标物体后的图像区域。
本发明实施例的第四方面是提供的一种载体，其特征在于，图像拍摄和处理装置，其中，所述图像拍摄和处理装置被配置用于：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
在本发明实施例中，控制终端可先获取延时拍摄的图像帧序列，从而可在所述图像帧序列中确定有目标物体的目标帧，通过对所述目标帧中存在目标物体的图像区域进行抠除，并通过对抠除所述目标物体后的图像区域的填充，可有效去除所述目标帧中目标物体对应的图像，从而提升延时拍摄的播放效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理场景的示意图；
图2是本发明另一实施例提供的一种图像处理场景的示意图；
图3是本发明实施例提供的一种图像帧序列的示意图；
图4a是本发明实施例提供的一种具有目标物体的目标帧的示意图；
图4b是本发明实施例提供的一种对如图4a所示的目标帧中的目标物体进行扣除后的示意图；
图4c是本发明实施例提供的一种将如图4b所示的图像进行填充后的示意图；
图5是本发明实施例提供的一种图像处理方法的示意流程图；
图6是本发明另一实施例提供的一种图像处理方法的示意流程图；
图7是本发明实施例提供的一种目标物体为局部物体的示意图；
图8是本发明实施例提供的一种图像拍摄和处理系统的示意性框图；
图9a是本发明实施例提供的一种局部掩膜的结构示意图；
图9b是本发明实施例提供的一种部分卷积的神经网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前为了消除延时拍摄得到的图像帧序列中的目标物体，所述目标物体包括在延时拍摄过程中所述目标帧中包括的异常物体，或者，所述目标帧中用户指定抠除的物体，在得到基于延时拍摄的所述图像帧序列后可对所述目标物体进行手工处理，以消除序列中的目标物体，但是，采用手工处理的方式，可能存在遗漏的风险，而且对所述图像帧序列中的目标物体的去除效率较低，不能有效消除图像中的目标物体。基于此，本申请提出了一种图像处理方法，可自动对延时拍摄的图像帧序列进行识别，并可将该图像帧序列中存在目标物体的图像区域进行扣除，以及对扣除后的图像区域进行填充，可提高对图像帧序列中目标物体的去除效率，也可同时提高对图像帧序列中目标物体对应图像区域的消除效果，以提升延时拍摄得到的图像帧序列的播放效果。
在一个实施例中，该图像处理方法可应用于如图1所示的图像处理场景中，其中，所述图像处理方法可具体应用于如图1所示的图像拍摄和处理系统，其中，该系统包括拍摄装置和一个或多个处理器，在本应用场景中，所述拍摄装置和所述一个或多个处理器集成在同一实体设备中，此时，所述图像拍摄和处理系统仅包括该实体设备。如图中所示的无人机中，所述一个或多个处理器被配置在所述无人机内部，所述拍摄装置安装在所述无人机上，并用于延时拍摄得到图像帧序列，将所述图像帧序列发送给所述无人机，其中，具体发送给所述无人机中集成的一个或多个处理器，所述一个或多个处理器则可获取所述拍摄装置发送的延时拍摄的图像帧序列，具体地，可由所述拍摄装置按照预设的时间间隔进行图像采集，并发送给所述一个或多个处理器，以使得所述一个或多个处理器可将采集到的图像按照时间序列进行排序，从而可进一步将排序后的图像压缩成图像帧序列，从而可获取到基于延时拍摄的图像帧序列。
在另一实施例中，所述拍摄装置和所述一个或多个处理器还可集成在不同的实体设备中，对应的所述图像拍摄和处理系统由多台实体设备构成，所述拍摄装置例如可集成在手机、相机等设备中，所述一个或多个服务器处可集成在上述实体设备中之外，还可集成在地面站或者遥控设备中，其中，集成所述拍摄装置和所述一个或多个处理器的实体设备之间，可基于预先建立的通信连接进行图像传输，以实现对存在目标物体的图像的处理。
在一个实施例中，所述图像处理方法还可应用于如图2所示的图像处理场景中，其中，所述图像处理方法可具体应用于如图2所示的载体中，所述载体包括图像拍摄和处理装置，所述图像拍摄和处理装置可搭载在所述载体上，该载体包括无人机、无人车或者具有云台的手持装置或者载体装置等。在本应用场景中，可以载体为手持云台为例进行说明，所述手持云台中配置有上述的图像拍摄和处理装置，其中，所述图像拍摄和处理装置可被配置用于执行：获取延时拍摄的图像帧序列，并对所述图像帧序列进行处理，得到扣除所述图像帧序列中异常物体的目标图像。图像拍摄装置可以载体的一部分，也可以固定安装于载体。图像处理装置以有线后者无线的方式与图像拍摄装置通信连接，用于接收来自图像处理装置捕获的图像数据。
在一个实施例中，所述无人机或者所述手持云台可按照时间顺序对采集到的图像进行排序，下面以图1所示的拍摄场景为例对本方案进行详细阐述，在图2所示的拍摄场景下实施该图像处理方法的具体实现方式可参见本发明实施例。具体地，无人机，即所述无人机中的一个或多个处理器可按照如图3中箭头所指示的时间顺序对采集到的图像进行排序，排序后进一步压缩得到的图像帧序列可如图3所示。进一步地，在得到所述图像帧序列后，可对所述图像帧序列中的各帧图像进行识别，以从所述图像帧序列中确定出包括目标物体的目标帧，其中，所述目标物体是在延时拍摄过程中出现的异常物体，所述异常物体是所述目标帧和与所述目标帧的相邻帧在同一位置对应不同像素值的像素点所组成图像对应的物体，其中，对图3所示的图像帧序列的识别，确定出的包括目标物体对应的图像是图示中标记序号为2的图像。
在所述无人机获取到延时拍摄的图像帧序列后，可在所述图像帧序列中确定具有目标物体的目标帧，可假设所述无人机从所述图像帧序列中确定的具有目标物体的目标帧如图4a所示，其中，4a所示的图像即是上述图3中用序号2所标记的图像。其中所述目标物体假设为图中401区域标识的异常物体。其中，所述目标物体可以是所述无人机中预设的作为异常物体的鸟等干扰物，也可以是用户选择的需要消除的物体等。在无人机确定出目标物体时，所述无人机可在检测到所述目标帧中包括预设的干扰物时，从所述目标帧中确定出目标物体；或者所述无人机还可对任一图像帧中包括的物体的种类进行识别，并确定出任一图像帧中包括的物体种类，从而可基于该图像帧中包括的各种类物体的数量，确定出目标物体，例如，可将所述图像帧中包括的各种类物体的数量最少的确定为目标物体。
在所述无人机从所述图像帧序列中确定出具有目标物体的目标帧后，可扣除所述目标帧中存在目标物体的图像区域，即将图4a中401区域标识的图像进行扣除，扣除后的目标帧可如图4b所示。进一步地，在扣除目标帧中存在目标物体的图像区域后，可对该区域进行填充，填充后的图像可如图4c所示，从而可避免目标物体在进行图像帧序列播放时，对播放效果产生的影响，提高用户的观影质量。在如图2所示的拍摄场景中，安置在手持云台上的所述目标物体(即异常物体)为拍摄过程中突然出现的游客，即图2中的人。
请参见图5，是本发明实施例提出的一种图像处理方法的示意流程图，所述图像处理方法可具体应用于上述的图像拍摄和处理系统以及载体中，在本发明实施例中，以执行主体为在图像拍摄和处理系统为例，对该图像处理方法进行具体阐述，其中，如图5所示，所述方法包括：
s501，获取延时拍摄的图像帧序列。
在一个实施例中，所述图像拍摄和处理系统中的拍摄装置用于延时拍摄得到图像帧序列，并将该图像帧系序列发送到该系统包括的一个或多个处理器中，所述处理器则可被配置获取得到延时拍摄的图像帧序列。
具体地，所述拍摄装置可通过按照预设的时间间隔拍摄得到多帧图像，所述预设时间间隔例如可以是30分钟，2小时等，所述拍摄装置例如可以是摄像头等图像采集设备。在所述拍摄装置拍摄得到多帧图像后，可直接对所述多帧图像基于时间序列进行排序，得到初始图像序列，进一步地，可将所述初始图像序列进行压缩，以生成图像帧序列。
在另一实施例中，所述图像帧序列还可以是集成有所述一个或多个处理器的设备生成的。具体地，集成有所述一个或多个处理器的设备例如可以是上述的无人机、无人汽车、地面站以及遥控设备等。所述拍摄装置在拍摄到多帧图像后，可将所述多帧图像直接发送给一个或多个处理器，以便于所述一个或多个处理器将所述多帧图像基于时间序列进行排序得到初始图像序列，并对所述初始图像序列进行压缩，从而生成所述图像帧序列。
s502，在所述图像帧序列中，确定具有目标物体的目标帧。
在图像拍摄和处理系统获取到图像帧序列之后，其中，具体由所述一个或多个处理器获取到该图像帧序列，为了从所述图像帧序列中确定出具有目标物体的目标帧，可先对所述图像帧序列进行预处理，即可先将所述图像帧序列拆分为按照时间序列排序的图像组，从而可从所述图像组中确定出具有目标物体的目标帧。
在所述图像拍摄和处理系统确定目标物体时，可基于所述图像拍摄和处理系统中预先设定的目标物体确定，具体地，可先确定所述图像拍摄和处理系统预设的目标物体的种类，从而可对该图像帧序列的任一帧图像进行图像识别，以从所述任一帧图像中确定出包括的物体的类别，从而可将所述包括的物体的类别和所述预设的目标物体的种类进行对比，从而可根据对比结果，确定出包括所述目标物体的种类的目标帧。
在一个实施例中，所述图像拍摄和处理系统预设的目标物体的种类，可基于拍摄场景的不同，而预设不同的目标物体的种类，所述拍摄场景例如可以是自然风光、城市生活、生物演变等，例如所述拍摄场景为自然风光时，预设的目标物体的种类可以是鸟类等；当所述拍摄场景为生物演变时，预设的目标物体的种类可以是人类等。其中，所述图像拍摄和处理系统预设的目标物体的种类可以是一种，也可以是多种。
s503，抠除所述目标帧中存在目标物体的图像区域。
图像拍摄和处理系统在扣除所述目标帧中存在目标物体的图像区域之前，可先基于预设网络模型确定所述目标物体对应于所述目标帧的图像区域，其中，所述预设网络模型例如可以是区域卷积神经网络(regioncnn，rcnn)网络模型，具体地，所述图像拍摄和处理系统可将所述目标帧输入所述rcnn模型，从而可基于所述rcnn模型的输出确定所述目标物体对应于所述目标帧的图像区域。
所述rcnn模型在基于输入的目标帧确定目标物体对应的图像区域时，可先对输入的目标帧进行特征提取，从而可基于特征提取结果确定所述目标帧中包括物体的类别，进一步地，可将所述目标帧中包括物体的类别和所述图像拍摄和处理系统预设的目标物体的种类进行对比，从而可根据对比结果，确定出所述目标帧中目标物体对应的图像区域。
在确定出所述目标帧中目标物体对应的图像区域后，可在所述图像区域生成对应的局部掩膜图形，即掩膜图像用于对所述图像的局部区域进行标识，从而可对所述局部掩膜图像所标识的局部图像区域进行抠除，从而实现对所述目标帧中存在目标物体的图像区域进行抠除。在抠除所述目标帧中存在目标物体的图像区域后，可在图像中用白色区域进行表示，并执行步骤s504。
s504，填充抠除所述目标物体后的图像区域。
在一个实施例中，所述图像拍摄和处理系统在将目标帧中存在目标物体的图像区域进行抠除后，需对扣除所述目标物体后的图像区域进行填充，以保持目标帧图像的连续性，并可同时保证所述图像帧序列在进行播放时的播放效果。
在对扣除所述目标物体后的图像区域进行填充时，可基于所述目标帧的前一帧图像以及后一帧图像对所述图像区域进行填充；或者，可将抠除存在目标物体的图像区域的目标帧和所述目标帧中存在异常图像的图像区域对应的单元图像输入卷积神经网络模型，从而实现对扣除目标物体的图像区域的填充，其中，所述卷积神经网络模型的输出图像即为进行填充后的目标帧，在利用所述卷积神经网络模型进行像素填充时，具体可以是由卷积神经网络结构中部分卷积(partialconvolutions)层的卷积神经(unet)结构网格进行填充的；又或者，可将所述目标帧的前一帧图像、后一帧图像、抠除存在目标物体的图像区域的目标帧，以及所述目标帧中存在异常图像的图像区域对应的单元图像输入卷积神经网络模型进行像素填充。
在本发明实施例中，图像拍摄和处理系统可先获取延时拍摄的图像帧序列，从而可在所述图像帧序列中确定有目标物体的目标帧，通过对所述目标帧中存在目标物体的图像区域进行抠除，并通过对抠除所述目标物体后的图像区域的填充，可有效去除所述目标帧中目标物体对应的图像，从而提升延时拍摄的播放效果。
请参见图6，是本发明另一实施例提出的一种图像处理方法的示意流程图，所述图像处理方法也可具体应用于上述的图像拍摄和处理系统以及载体中，在本发明实施例中，同样以执行主体为在图像拍摄和处理系统为例，对该图像处理方法进行具体阐述，其中，如图6所示，所述方法包括：
s601，获取延时拍摄的图像帧序列。
在一个实施例中，图像拍摄和处理系统中的拍摄装置在确定图像帧序列时，可先获取拍摄装置拍摄的至少一帧初始图像，从而可将所述至少一帧图像基于时间序列进行排序，得到初始图像序列，进一步地，可通过将所述初始图像序列进行压缩，从而可得到图像帧序列。其中，在对所述初始图像帧序列进行压缩时，可先删除基于所述初始图像序列中的空白图像，并可通过修改初始图像对应的时间，从而得到所述图像帧序列，得到的所述图像帧序列的每一帧图像都是连续的非空白图像。
s602，在所述图像帧序列中，确定具有目标物体的目标帧。
在一个实施例中，所述图像拍摄和处理系统在确定具有目标物体的目标帧时，可先确定所述目标帧的相邻帧，并将所述目标帧和所述相邻帧进行对比，从而可从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体即为所述目标物体，进一步地，可从所述图像帧序列中确定出包括所述目标物体的目标帧。
所述目标物体一般为移动物体，且可以为移动物体的全部或者局部，当所述移动物体的全部被拍摄到目标帧中时，所述目标物体为所述移动物体的全部，如图4a所示，目标帧中目标物体为鸟的全部；当所述移动物体只有部分被拍摄到目标帧中时，所述目标物体为所述移动物体的局部，即所述移动物体被拍摄到目标帧中的部分，如图7所示，目标帧中目标物体为鸟的局部(脚)，即用701标识的局部图像。
在一个实施例中，图像拍摄和处理系统可基于上述的卷积神经网络结构对所述目标帧中的图像边缘进行识别，可提高对目标帧中目标物体对应图像的识别速度，具体地，可由卷积神经网络结构中partialconvolutions层的unet结构对图像边缘进行识别，并根据识别结果确定出目标帧中目标物体对应图像的边缘。具体地，采用partialconvolutions层对图像边缘进行识别时，可确定出属于同一语义的像素点集合，从而可将所述属于同一语义的像素点集合所构成的图像区域作为目标物体对应图像的图像区域，进一步地，可确定出目标帧。其中，属于同一语义的像素点是指：用于描述同一物体特征的像素点，例如，图4a中鸟的翅膀对应的像素点和鸟的脚对应的像素点都是用于描述鸟的特征的像素点，因此，该翅膀对应的像素点和脚对应的像素点是属于同一语义的像素点集合。而车门对应的像素点不是用于描述鸟的特征的像素点，因此，车门对应的像素点和翅膀对应的像素点不属于同一语义的像素点集合。
为了增强部分卷积算法对图像边缘识别的可靠性，在确定出属于同一语义的像素点集合后，还可进一步确定出各属于同一语义的像素点所构成的图像区域对应的物体与图像拍摄和处理系统之间的距离，从而可通过距离比较确定出目标物体，并进一步确定出具有目标物体的目标帧。例如，如果在图4a中基于同一语义确定出的鸟与图像拍摄和处理系统之间的距离为a，而基于同一语义确定出的车与图像拍摄和处理系统之间的距离为b，且a小于b，则说明车和鸟不在同一平面上，因此，确定出的目标物体则为鸟。
所述图像拍摄和处理系统在确定具有目标物体的目标帧时，可先基于神经网络模型对所述图像帧序列进行处理，基于对所述图像帧序列的处理，可确定所述图像帧序列中各图像包括的物体的类别。具体地，所述图像拍摄和处理系统可先将所述图像帧序列包括的多张图像输入所述神经网络模型；从而可调用所述神经网络模型对所述图像帧序列中的任一图像进行特征提取，得到特征提取结果；基于所述特征提取结果，可确定所述图像帧序列中各图像包括物体的类别。在一个实施例中，所述特征例如可以是颜色特征以及纹理特征等。
所述图像拍摄和处理系统在基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，可先调用神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果，在一个实施例中，所述图像拍摄和处理系统可针对不同特征分别进行汇总，得到对应的特征汇总结果，例如分别对纹理特征进行汇总，得到纹理特征汇总结果，以及对颜色特征进行汇总，得到颜色特征汇总结果。在另一实施例中，所述图像拍摄和处理系统还可将所有特征提取结果进行汇总，例如可基于所述纹理特征和所述颜色特征进行汇总，得到特征汇总结果。在对特征提取结果进行汇总时，可将所述特征提取结果直接相加，得到所述特征汇总结果；也可将所述特征提取结果进行加权计算，从而得到特征汇总结果。
在得到所述特征汇总结果后，则图像拍摄和处理系统可基于所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别，具体地，所述图像拍摄和处理系统可将所述特征汇总结果和各物体种类对应的预设特征值进行匹配，从而可根据匹配结果，确定所述各图像包括物体的类别。
在所述图像拍摄和处理系统基于所述神经网络模型对所述图像帧序列进行处理，确定出所述图像帧序列中各图像包括物体的类别后，进一步地，可基于所述神经网络模型对所述图像帧序列进行处理的输出结果确定目标帧。具体地，所述图像拍摄和处理系统可基于所述神经网络模型输出的各图像包括的物体的类别，从所述图像帧序列中确定出目标帧，其中，所述图像拍摄和处理系统可将所述各图像包括的物体的类别和预设的目标物体的类别进行匹配，从而可判断所述图像帧序列中各图像是否包含目标物体，并将包含所述目标物体的图像帧确定为目标帧。
在另一实施例中，所述图像拍摄和处理系统从图像帧序列中确定具有目标物体的目标帧时，还可针对所述图像帧序列包括多帧图像的任一帧图像，并对所述图像进行区域划分，得到多个区域图像；从而可获取各个所述区域图像的特征参数，并基于所述特征参数，确定图像帧序列中具有目标物体的目标帧，其中，在获取各个区域图像的特征参数后，可基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别，从而可根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
s603，确定所述目标帧中存在目标物体的图像区域。
s604，基于所述图像区域，生成和所述图像区域对应的局部掩膜图形。
s605，根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
步骤s603-步骤s605，是对上述实施例中步骤s503的具体细化。图像拍摄和处理系统在抠除所述目标帧中存在目标物体的图像区域时，可先确定所述目标帧中存在目标物体的图像区域，在一个实施例中，图像拍摄和处理系统可调用预设网络模型确定所述目标帧中存在目标物体的图像区域，所述预设网络模型例如可以是上述的rcnn模型。
在确定所述目标帧中存在目标物体的图像区域后，可基于所述图像区域，生成和所述图像区域对应的局部掩膜图形，即掩膜图形，所述局部掩膜图形用于标记所述目标帧中存在目标物体的局部图像区域，基于所述掩膜图形和所述目标帧，可对所述目标帧中存在目标物体的图像区域进行抠除，抠除所述存在目标物体的图像区域后在所述目标帧中用白色区域进行表示。
举例来说，如果目标帧为图4a所示的图像，所述目标帧中存在目标物体的图像区域对应的可以是401所标识的区域，基于所述图像区域可生成对应的局部掩膜图形，生成局部掩膜图形后的所述目标帧可如图4b所示，在生成所述掩膜图形后，可对处于所述掩膜图形内的图像进行抠除，抠除处于所述掩膜内的图像后，所述目标帧中存在目标物体的图像区域可用白色进行表示，如图4c所示。
在一个实施例中，可基于局部掩膜图形的周围图像信息对扣除目标物体后的图像区域进行填充，具体地，可先确定所述目标帧中存在目标物体的图像区域的周围图像域，该周围图像域中的像素点和该存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值，进一步地，则可基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
在基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，可先从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；进一步地，所述图像拍摄和处理系统可确定所述参考帧的曝光强度，以使得图像拍摄和处理系统可采用白平衡算法，并基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
s606，填充抠除所述目标物体后的图像区域。
在一个实施例中，图像拍摄和处理系统在填充抠除所述目标物体后的图像区域时，可先获取所述目标帧包括的第一单元图像，其中所述第一单元图像为所述目标帧中存在目标物体的图像区域，从而可将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像即为进行填充后的目标帧。
在另一实施例中，所述图像拍摄和处理系统在填充抠除所述目标物体后的图像区域时，还可先获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，其中，所述第一单元图像为所述目标帧中存在目标物体的图像区域，从而可将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像即为进行填充后的目标帧。其中，所述卷积神经网络模型具体可以是上述的partialconvolutions层的卷积神经unet结构。
在另一实施例中，所述图像拍摄和处理系统在填充抠除所述目标物体后的图像区域时，还可先获取所述目标帧的前一帧图像和后一帧图像，从而可基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像进行填充，得到填充后的目标帧。具体地，所述图像拍摄和处理系统可先获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中国存在目标物体的图像区域对应相同位置的图像；并获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像，进一步地，可获取所述第二单元图像中所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值，从而针对任一像素点，可计算所述第一数值和所述第二数值的平均值，从而可基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到填充后的目标帧。
需要说明的是，由于图像拍摄和处理系统在进行像素填充时，参考了所述目标帧的前一帧图像以及所述后一帧图像中和所述目标物体对应相同位置的图像的像素，因此，可保证进行填充后的目标帧的内容和色彩在时序上的连贯性。
在本发明实施例中，图像拍摄和处理系统先获取延时拍摄的图像帧序列，并在所述图像帧序列中，确定具有目标物体的目标帧，进一步地可确定所述目标帧中存在目标物体的图像区域，从而可基于所述图像区域，生成和所述图像区域对应的局部掩膜图像，并基于所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行扣除，并填充扣除所述目标物体后的图像区域，在去除所述目标帧中目标物体对应的图像的同时，可保证进行填充后的目标帧子的内容和色彩在时序上的连贯性，可有效提升对延时拍摄的播放效果。
本发明实施例提供了一种图像拍摄和处理系统，图8是本发明实施例提供的图像拍摄和处理系统的结构图，如图8所示，图像拍摄和处理系统800包括拍摄装置801和一个或多个处理器802，可具体应用在如图1所示的图像处理场景中，其中，
所述拍摄装置801，用于延时拍摄得到图像帧序列，并将所述图像帧序列发送给所述一个或多个处理器；
所述一个或多个处理器802，被配置用于获取延时拍摄的图像帧序列，在所述图像帧序列中，确定具有目标物体的目标帧，抠除所述目标帧中存在目标物体的图像区域，并填充抠除所述目标物体后的图像区域。
在一个实施例中，所述一个或多个处理器802在获取延时拍摄的图像帧序列时，具体用于：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
在一个实施例中，所述一个或多个处理器802在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
在一个实施例中，所述一个或多个处理器802在基于神经网络模型对所述图像帧序列进行处理时，具体用于：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
在一个实施例中，所述一个或多个处理器802在基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，具体用于：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
在一个实施例中，所述一个或多个处理器802在根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，具体用于：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
在一个实施例中，所述一个或多个处理器802在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
在一个实施例中，所述一个或多个处理器802在基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，具体用于：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
在一个实施例中，所述一个或多个处理器802在抠除所述目标帧中存在目标物体的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
在一个实施例中，所述一个或多个处理器802在填充抠除所述目标物体后的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
在一个实施例中，所述一个或多个处理器802在基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，具体用于：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
在一个实施例中，所述一个或多个处理器802在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
在一个实施例中，所述一个或多个处理器802在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
在一个实施例中，所述一个或多个处理器802在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
在一个实施例中，所述一个或多个处理器802在基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，具体用于：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
在一个实施例中，所述目标物体是所述拍摄装置在延时拍摄过程中，所述目标帧包括的异常物体。
在一个实施例中，所述一个或多个处理器802在确定具有目标物体的目标帧时，具体用于：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
在一个实施例中，所述目标物体为移动物体的全部或者局部。
本实施例提供的图像拍摄和处理系统能够执行前述实施例提供的如图5和图6所示的图像处理方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例了提供一种载体，所述载体包括图像拍摄和处理装置，所述载体可具体应用在如图2所示的图像处理场景中，其中，所述图像拍摄和处理装置被配置用于：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
在一个实施例中，所述图像拍摄和处理装置在获取延时拍摄的图像帧序列时，具体用于：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
在一个实施例中，所述图像拍摄和处理装置在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
在一个实施例中，所述图像拍摄和处理装置在基于神经网络模型对所述图像帧序列进行处理时，具体用于：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
在一个实施例中，所述图像拍摄和处理装置在基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，具体用于：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
在一个实施例中，所述图像拍摄和处理装置在根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，具体用于：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
在一个实施例中，所述图像拍摄和处理装置在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
在一个实施例中，所述图像拍摄和处理装置在基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，具体用于：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
在一个实施例中，所述图像拍摄和处理装置在抠除所述目标帧中存在目标物体的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
在一个实施例中，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
在一个实施例中，所述图像拍摄和处理装置在基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，具体用于：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
在一个实施例中，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
在一个实施例中，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
在一个实施例中，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
在一个实施例中，所述图像拍摄和处理装置在基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，具体用于：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
在一个实施例中，所述目标物体是所述拍摄装置在延时拍摄过程中，所述目标帧包括的异常物体。
在一个实施例中，所述图像拍摄和处理装置在确定具有目标物体的目标帧时，具体用于：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
在一个实施例中，所述目标物体为移动物体的全部或者局部。
本实施例提供的载体能够执行前述实施例提供的如图5和图6所示的图像处理方法，其执行方式和有益效果类似，在这里不再赘述。
在一个实施例中，将对本说明书中所述的局部掩膜(mask)和部分卷积(partialconvolution)进行说明。在图像处理过程中，常常使用全卷积神经网络(fullyconvolutionalnetwork)。然而，全卷积神经网络需要对整个输入图像进行遍历性卷积，资源耗费大，且在一定程度上降低处理的速度。而局部掩膜则只对兴趣区域进行卷积，对兴趣区中逐个像素的语义进行识别，同时对局部掩膜的边界框进行回归处理，以获得局部掩膜边界框周围的像素特征。
如图9a所示，输入图像的框选区域为兴趣区(roi，regionofinterest)，在cnn的卷积层，只对roi区域进行部分卷积，通过分类器(classbox)通过对每个像素的语义分析输出roi区域的语义分类。对于损失函数，对于roi区域中的每一个采样，可以定义一个多任务损失函数：
l＝lcls lbox lmask
其中lcls和lbox可以通过一般快速r-cnn的损失函数进行定义；对于每一个roi掩膜都具有一个一个km2维度的分支，k为二值化编码，m*m为分辨率，对于每一个k都会具有一个分类。对于此，我们对每个像素提供sigmoid()函数，定义lmask为平均二值化交叉熵损失。
如图9b所示，示例性地给出了部分卷积(partialconvolution)所使用的u-net神经网络模型。网络中包含对输入图像进行多次下卷积和上卷积的过程。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
1.一种图像处理方法，其特征在于，包括：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
2.根据权利要求1所述的方法，其特征在于，所述获取延时拍摄的图像帧序列，包括：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
3.根据权利要求1所述的方法，其特征在于，所述在所述图像帧序列中，确定具有目标物体的目标帧，包括：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
4.根据权利要求3所述的方法，其特征在于，所述基于神经网络模型对所述图像帧序列进行处理，包括：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
5.根据权利要求4所述的方法，其特征在于，所述基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别，包括：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
6.根据权利要求3-5任一项所述的方法，其特征在于，所述根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧，包括：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
7.根据权利要求1所述的方法，其特征在于，所述在所述图像帧序列中，确定具有目标物体的目标帧，包括：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
8.根据权利要求7所述的方法，其特征在于，所述基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧，包括：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
9.根据权利要求1所述的方法，其特征在于，所述抠除所述目标帧中存在目标物体的图像区域，包括：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
10.根据权利要求9所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
11.根据权利要求10所述的方法，其特征在于，所述基于所述周围图像域对扣除所述目标物体后的图像区域进行填充，包括：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
12.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
13.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
14.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
15.根据权利要求14所述的方法，其特征在于，所述基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧，包括：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
16.根据权利要求1所述的方法，其特征在于，所述目标物体是在延时拍摄过程中，所述目标帧包括的异常物体。
17.根据权利要求16所述的方法，其特征在于，所述确定具有目标物体的目标帧，包括：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
18.根据权利要求16所述的方法，其特征在于，所述目标物体为移动物体的全部或者局部。
19.一种图像处理装置，其特征在于，包括存储器、处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
20.根据权利要求19所述的装置，其特征在于，所述处理器获取延时拍摄的图像帧序列时，执行如下操作：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
21.根据权利要求19所述的装置，其特征在于，所述处理器在所述图像帧序列中，确定具有目标物体的目标帧时，执行如下操作：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
22.根据权利要求21所述的装置，其特征在于，所述处理器基于神经网络模型对所述图像帧序列进行处理时，执行如下操作：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
23.根据权利要求22所述的装置，其特征在于，所述处理器基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，执行如下操作：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
24.根据权利要求21-23任一项所述的装置，其特征在于，所述处理器根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，执行如下操作：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
25.根据权利要求19所述的装置，其特征在于，所述处理器在所述图像帧序列中，确定具有目标物体的目标帧时，执行如下操作：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
26.根据权利要求25所述的装置，其特征在于，所述处理器基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，执行如下操作：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
27.根据权利要求19所述的装置，其特征在于，所述处理器抠除所述目标帧中存在目标物体的图像区域时，执行如下操作：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
28.根据权利要求27所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
29.根据权利要求28所述的装置，其特征在于，所述处理器基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，执行如下操作：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
30.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
31.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
32.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
33.根据权利要求32所述的装置，其特征在于，所述处理器基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，执行如下操作：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中与第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
34.根据权利要求1所述的装置，其特征在于，所述目标物体是在延时拍摄过程中，所述目标帧包括的异常物体。
35.根据权利要求34所述的装置，其特征在于，所述处理器确定具有目标物体的目标帧时，执行如下操作：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
36.根据权利要求35所述的装置，其特征在于，所述目标物体为移动物体的全部或者局部。
37.一种图像拍摄和处理系统，其特征在于，包括拍摄装置和一个或多个处理器，其中：
所述拍摄装置，用于延时拍摄得到图像帧序列，并将所述图像帧序列发送给所述一个或多个处理器；
所述一个或多个处理器，被配置用于获取延时拍摄的图像帧序列，在所述图像帧序列中，确定具有目标物体的目标帧，抠除所述目标帧中存在目标物体的图像区域，并填充抠除所述目标物体后的图像区域。
38.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述拍摄装置在获取延时拍摄的图像帧序列时，具体用于：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
39.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
40.根据权利要求39所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在基于神经网络模型对所述图像帧序列进行处理时，具体用于：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
41.根据权利要求40所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，具体用于：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
42.根据权利要求39-41任一项所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，具体用于：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
43.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
44.根据权利要求43所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，具体用于：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
45.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在抠除所述目标帧中存在目标物体的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
46.根据权利要求45所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在填充抠除所述目标物体后的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
47.根据权利要求46所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，具体用于：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
48.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
49.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
50.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
51.根据权利要求50所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，具体用于：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
52.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述目标物体是所述拍摄装置在延时拍摄过程中，所述目标帧包括的异常物体。
53.根据权利要求52所述的图像拍摄和处理系统，其特征在于，所述一个或多个处理器在确定具有目标物体的目标帧时，具体用于：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
54.根据权利要求52所述的图像拍摄和处理系统，其特征在于，所述目标物体为移动物体的全部或者局部。
55.一种载体，用于搭载图像拍摄装置，所述图像拍摄装置与图像处理装置可通信耦合连接，其特征在于，所述图像处理装置被配置用于：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
56.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在获取延时拍摄的图像帧序列时，具体用于：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
57.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
58.根据权利要求57所述的载体，其特征在于，所述图像拍摄和处理装置在基于神经网络模型对所述图像帧序列进行处理时，具体用于：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
59.根据权利要求58所述的载体，其特征在于，所述图像拍摄和处理装置在基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，具体用于：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
60.根据权利要求57-59任一项所述的载体，其特征在于，所述图像拍摄和处理装置在根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，具体用于：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
61.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在所述图像帧序列中，确定具有目标物体的目标帧时，具体用于：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
62.根据权利要求61所述的载体，其特征在于，所述图像拍摄和处理装置在基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，具体用于：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
63.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在抠除所述目标帧中存在目标物体的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
64.根据权利要求63所述的载体，其特征在于，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
65.根据权利要求64所述的载体，其特征在于，所述图像拍摄和处理装置在基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，具体用于：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前m帧中的任一帧，其中，m为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
66.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
67.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
68.根据权利要求55所述的载体，其特征在于，所述图像拍摄和处理装置在填充抠除所述目标物体后的图像区域时，具体用于：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
69.根据权利要求58所述的载体，其特征在于，所述图像拍摄和处理装置在基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，具体用于：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
70.根据权利要求55所述的载体，其特征在于，所述目标物体是所述拍摄装置在延时拍摄过程中，所述目标帧包括的异常物体。
71.根据权利要求70所述的载体，其特征在于，所述图像拍摄和处理装置在确定具有目标物体的目标帧时，具体用于：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
72.根据权利要求70所述的载体，其特征在于，所述目标物体为移动物体的全部或者局部。
73.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-18任一项所述的图像处理方法。
技术总结