本公开涉及图像处理装置、拍摄装置、视频播放系统、方法以及程序。
背景技术：
近年来，能够对拍摄地点的全方位进行视频拍摄的全天球相机正在普及。在这样的全天球相机中，除了在固定的状态下进行拍摄之外，还设想用户一边手持移动一边拍摄视频的情况。也已知在此时修正全天球相机的手晃动或倾斜使其成为晃动少的视频的修正技术。
全天球相机拍摄的全天球视频中通常存在视听者视听全天球视频时的初始的正面方向。一般而言，视听时的正面方向追随全天球相机拍摄时的全天球相机的正面方向(例如，双眼情况下的一个镜头的正面方向等)。但是，在视听时的正面方向追随拍摄时的全天球相机的动作的情况下，根据拍摄者的拍摄条件显示的影像大幅变化，在视听时有可能使视听者产生眩晕。
例如，在拍摄者将全天球相机固定在头部进行拍摄的情况下，若视听时的正面方向追随拍摄时的全天球相机的动作，则若拍摄者摇头而观察周围，则全天球视频大幅旋转，成为使视听者产生晕眩的主要原因。此外，全天球视频大幅旋转也有可能导致非常难以看到视频本身。另外，除了将全天球相机固定于头部进行拍摄的情况之外，即使手持，拍摄中正面方向大幅变化的情况也是如此。
日本特开2017-147682号公报(专利文献1)公开了如下结构：针对图像数据，全局坐标中的水平面内的摇晃除去微小摇晃分量进行修正，由此进行坐标变换，从而生成全天球图像。但是，虽然关于绕铅直方向轴的旋转修正摇晃的高频分量，但由于追随拍摄者摇头观察周围这样有意的动作，因此在视听时使视听者产生晕眩这一点上并不充分。
技术问题
本公开是鉴于上述问题而完成的，本公开的目的在于提供一种图像处理装置，其能够抑制视频的视听时因拍摄中绕基准轴的旋转而产生的视听者的眩晕。
技术解决方案
在本公开中，为了应对上述课题，提供一种图像处理装置，其具有以下特征，对包含连续图像的视频进行处理，该连续的图像是以至少包含绕规定轴的角度坐标的坐标系表示的。该图像处理装置包括获取视频数据的视频数据获取单元和获取与视频数据对应的传感器数据的传感器数据获取单元。该图像处理装置还包括旋转修正单元，该旋转修正单元基于传感器数据，对图像实施消除绕基准轴的旋转变化的修正，以使视频的多个帧中的图像的显示基准被固定在拍摄中的特定方向上。
有益效果
根据上述结构，能够抑制视频视听时因拍摄中的绕基准轴的旋转而产生的视听者的眩晕。
附图说明
图1是构成本实施方式的全天球视频系统的全天球相机的截面图。
图2是说明将本实施方式的全天球相机固定到头部的情况的图。
图3是本实施方式的全天球视频系统的硬件结构图。
图4是与在本实施方式的全天球视频系统上实现的全天球视频播放功能相关联的主要功能框图。
图5中，(a)是全天球图像的生成中的图像数据流图，(b)是使用平面，(c)是使用球面来表示全天球图像的数据结构的情况进行说明的图。
图6是对本实施方式的全天球图像的天顶修正和旋转修正进行说明的图。
图7是对本实施方式的全天球图像的天顶修正和旋转修正获得的全天球图像进行说明的图。
图8是说明特定的实施方式的全天球视频系统中从视频的拍摄到视听为止的处理的顺序图。
图9是说明另一特定的实施方式的全天球视频系统中从视频的拍摄到视听为止的处理的顺序图。
图10是表示构成本实施方式的全天球视频系统的全天球相机所执行的对帧合成数据进行旋转处理的流程图。
图11是利用一个例子说明拍摄者在头部佩戴全天球相机移动时的行进方向和拍摄正面方向的关系的图。
图12是说明拍摄者进行了图11所示的动作时拍摄到的旋转修正前的全天球图像和旋转修正后的全天球图像的图(1/2)。
图13是说明拍摄者进行了图11所示的动作时拍摄到的旋转修正前的全天球图像和旋转修正后的全天球图像的图(2/2)。
图14是表示构成另一实施方式的全天球视频系统的全天球相机所执行的对帧合成数据进行旋转处理的流程图。
本发明的实施方式
以下对本实施方式进行说明，但实施方式并不限于以下说明的实施方式。另外，在以下的实施方式中，作为图像处理装置(以及拍摄装置)以及视频播放系统的一例，分别使用全天球相机以及全天球视频系统进行说明。
以下，参照图1至图3说明本实施方式的全天球视频系统的整体结构。
图1是构成本实施方式的全天球视频系统的全天球相机110的截面图。图1所示的全天球相机110具备：拍摄体12、保持所述拍摄体12、控制器15及电池16等部件的框体14、和设置在所述框体14上的快门按钮18。
图1所示的拍摄体12构成为包括两个成像光学系20a、20b、ccd(chargecoupleddevice)传感器、cmos(complementarymetaloxidesemiconductor)传感器等两个拍摄元件22a、22b。成像光学系20分别构成为例如6组7枚鱼眼镜头。在图1所示的实施方式中，上述鱼眼镜头具有比180度(＝360度/n，光学系的数量n＝2)更大的全画角，优选具有185度以上的画角，更优选具有190度以上的画角。将这样的广角成像光学系20和拍摄元件22各1个组合而得到的称为广角拍摄光学系。另外，在说明的实施方式中，以光学系的数量为2的情况为一例进行说明，但只要能够拍摄广角的区域，光学系的数量可以是1个，也可以是3个以上。另外，不限于鱼眼镜头那样具有180度以上的画角。
在图1所示的实施方式中，成像光学系20a、20b为相同规格，以各自的光轴一致的方式相互反向组合。拍摄元件22a、22b将接收到的光分布变换为图像信号，并依次向控制器上的图像处理单元输出图像帧。详细内容后述，由拍摄元件22a、22b分别拍摄到的图像被进行合成处理，由此，生成立体角4π球面度的图像(以下称为“全天球图像”)。全天球图像是拍摄能够从拍摄地点看到的所有方向而获得的图像。全天球图像的连续帧构成全天球视频。
在此，在说明的实施方式中，说明生成全天球图像和全天球视频，但也可以是拍摄全天周图像、全天周视频、仅水平面360度的所谓全景图像和全景视频，此外，也可以是拍摄180度画角的半球图像或半圆筒的图像，只要是具有球面或圆筒上的图像信息的图像数据即可。即，本实施方式的视频及其所包含的图像是由包含绕规定轴的角度坐标的坐标系表示的图像。在上述全天球图像、视频、半球图像、视频、部分球面的图像的情况下，将矢径作为常数(例如1)，用包含表示规定轴与矢径所成的角的角度坐标以及绕规定轴的角度坐标的球面坐标系来表示。在上述全景图像/视频或其部分图像的情况下，将矢径作为常数(例如1)，用包含圆筒的轴向的坐标以及绕该轴的角度坐标的圆筒坐标系来表示。
图2说明将图1的全天球相机110固定在拍摄者的头部50的情况。图2是将全天球相机110固定在帽子型的固定器具52上的例子。通过这样将全天球相机110佩戴在拍摄者的头部50上，由全天球相机110拍摄的图像数据的拍摄正面方向成为追随拍摄者的摇头运动h。拍摄正面方向是预先设定的方向，是作为播放视频数据时显示基准的方向。在图2中，一并示出拍摄者的行进方向t。拍摄者有时一边观察周围一边前进，摇头运动h导致的拍摄正面方向与行进方向t不一定一致。如图2所示，除了将全天球相机110固定在帽子型的固定器具52上并佩戴在头部50上以外，也存在全天球相机110本身是可佩戴在头部50上的形状(嵌入全天球相机功能的头盔或帽子)的情况。
图3(a)示出了构成本实施方式的全天球视频系统的全天球相机110的硬件结构。全天球相机110对应于所说明的实施方式中的图像处理装置或拍摄装置。
全天球相机110构成为包括cpu(centralprocessingunit)112、rom(readonlymemory)114、图像处理块116、视频压缩块118、经由dram(dynamicrandomaccessmemory)接口120连接的dram132以及经由外部传感器接口124连接的传感器136。其中，cpu112、rom114、图像处理块116和视频压缩块118搭载在图1所示的控制器15上。
cpu112控制全天球相机110的各部分的动作和整体动作。rom114存储由cpu112可解读的代码描述的操作系统(os)、控制程序和各种参数。图像处理块116与2个拍摄元件130a、130b(图1中的拍摄元件22a、22b)连接，输入它们分别拍摄到的图像的图像信号。图像处理块116构成为包括isp(imagesignalprocessor)等，对从拍摄元件130输入的图像信号进行阴影修正、拜耳插值、白平衡修正、伽马修正等。
视频压缩块118是进行mpeg-4avc/h.264等的视频压缩和解压缩的编解码块。dram132提供在实施各种信号处理和图像处理时暂时保存数据的存储区域。
在图3(a)所示的实施方式中，传感器136构成为包括角速度传感器136a以及加速度传感器136b。角速度传感器136a是检测三轴的角速度分量的传感器。加速度传感器136b是检测3轴的加速度分量的传感器。如下所述，检测到的加速度分量和角速度分量被用于执行向重力方向上的全天球图像的天顶修正和绕重力方向的旋转修正。作为传感器136，还可以具备用于求出方位角等的地磁传感器(也称为电子罗盘)等其他传感器，也可以用于对方位角实施绕重力方向的旋转修正。
全天球相机110构成为还包括外部存储接口122、usb(universalserialbus)接口126和串行块128。外部存储接口122与外部存储装置134连接。外部存储接口122控制对插入到存储卡槽中的存储卡等的外部存储装置134的读写。usb连接器138连接到usb接口126。usb接口126控制与经由usb连接器138连接的智能手机等外部装置的usb通信。串行块128控制与智能手机等外部装置的串行通信，与无线nic(networkinterfacecard)140连接。
当通过电源开关的操作而使电源成为接通状态时，上述os、控制程序被加载到主存储器中。cpu112根据读入到主存储器中的程序控制装置各部的动作，并且将控制所需的数据暂时保存在存储器上。由此，实现全天球相机110的后述的各功能部和处理。
图3(b)示出了构成本实施方式的全天球视频系统的信息终端150的硬件结构。信息终端150对应于所说明的实施方式中的信息处理装置。
图3(b)所示的信息终端150构成为包括cpu152、ram154、内部存储装置156、输入装置158、外部存储装置160、显示器162、无线nic164、usb连接器166。
cpu152控制信息终端150的各部分的动作以及整体动作。ram154提供cpu152的作业区域。内部存储装置156存储cpu152能够解读的代码描述的操作系统、承担本实施方式的信息终端150侧的处理的应用程序等的控制程序。cpu152可以由多个cpu构成。
输入装置158是触摸屏等输入装置，提供用户接口。输入装置158接受全天球视频的修正等操作者的各种指示。外部存储装置160是安装在存储卡槽等中的可装卸的记录介质，记录视频形式的图像数据、静态图像数据等各种数据。显示器162对响应于用户操作而修正的全天球视频进行画面显示。无线nic164建立与全天球相机110等外部设备的无线通信的连接。usb连接器166与全天球相机110等外部设备进行usb连接。
若对信息终端150接通电源，电源成为接通状态，则从内部存储装置156读出控制程序，并加载到ram154。cpu152按照读入到ram154的控制程序，控制装置各部的动作，并且将控制所需的数据暂时保存在存储器上。由此，实现信息终端150的后述的各功能部以及处理。
以下，参照图4-图9，对本实施方式的全天球视频系统所具备的全天球视频播放功能进行说明。
图4表示与在本实施方式的全天球视频系统上实现的全天球视频播放功能相关联的主要功能块200。如图4所示，全天球相机110的功能块构成为包括图像处理部210和输出部240。图像处理部210构成为包括第1拍摄部212、第2拍摄部214、角速度检测部216、加速度检测部218、图像合成部220、天顶修正量计算部226、第1旋转量计算部224、第2旋转量计算部226、存储部228以及图像旋转部230。通过控制器15所具备的cpu112、图像处理块116执行各种程序来进行各部的处理。
与此相对，同样如图4所示，信息终端150的功能块构成为包括接收部252和显示控制部254。各部的处理通过信息终端150所具备的cpu152执行各种程序来进行。
以下，首先说明全天球相机110侧的功能块。
第1拍摄部212使用拍摄元件130a依次拍摄，生成时间序列上连续的鱼眼图像a。第2拍摄部214使用拍摄元件130b依次拍摄，生成时间序列上连续的鱼眼图像b。图像合成部220对时间序列上连续的鱼眼图像a(第1帧数据)和时间序列上连续的鱼眼图像b(第2帧数据)实施拼接处理，生成帧合成数据。帧合成数据是包含从开始拍摄到结束为止的分别构成全天球视频的多个帧的、成为全天球视频数据的主体的视频数据。鱼眼图像a以及鱼眼图像b是用于构成全天球图像的部分图像，第1以及第2帧数据也是包含从开始拍摄到结束为止的各个部分图像的帧的、能够构成全天球视频的视频数据。图像合成部220将所生成的帧合成数据输出到图像旋转部230。第1拍摄部212、第2拍摄部214以及图像合成部220能够构成本实施方式中的拍摄单元。
在下文中，将参照图5描述全天球图像的生成和生成的全天球图像。图5(a)说明全天球图像生成中的各图像的数据结构和图像的数据流。首先，由各个拍摄元件130直接拍摄的图像是将大致全天球中的半球收容在视野中的图像。入射到成像光学系的光按照规定的射影方式在拍摄元件130的受光区域成像。在此，拍摄的图像是由受光区域构成平面区域的二维的拍摄元件拍摄的图像，成为在平面坐标系中表现的图像数据。另外，典型地，如图5(a)中“鱼眼图像a”以及“鱼眼图像b”所示，所得到的图像构成为包含各拍摄范围被投影的成像圈整体的鱼眼图像。
由该多个拍摄元件130拍摄到的各帧的多个鱼眼图像被进行失真修正和合成处理，构成与各帧对应的一个全天球图像。在合成处理中，根据作为平面图像而构成的各鱼眼图像，首先生成包含互补的各半球部分的各半球图像。然后，基于重复区域的匹配，对包含各半球部分的两个半球图像进行拼接(图像合成)，生成包含全天球整体的全天球图像。
图5(b)是用平面来表示并说明本实施方式中使用的全天球图像的图像数据的数据结构的图。图5(c)是用球面来表示并说明全天球图像的图像数据的数据结构的图。如图5(b)所示，全天球图像的图像数据被表现为以相对于规定的轴所成的垂直角度φ和与绕规定的轴的旋转角对应的水平角度θ为坐标的像素值的排列。垂直角度φ为0度至180度(或者-90度至 90度)的范围，水平角度θ为0度至360度(或者-180度至 180度)的范围。
如图5(c)所示，全天球形式的各坐标值(θ，φ)与表示以拍摄地点为中心的全方位的球面上的各点建立对应，全方位在全天球图像上建立对应。由鱼眼镜头拍摄到的鱼眼图像的平面坐标与全天球图像在球面上的坐标以规定的变换表建立对应。变换表是基于各个镜头光学系的设计数据等，按照规定的投影模型由制造商等预先制作的数据，是将鱼眼图像变换为全天球图像的数据。
此外，在说明的实施方式中，其流程是从鱼眼图像变换为全天球图像，并通过图像旋转部230对拼接处理后的帧合成数据实施旋转处理。但是，变换处理、合成处理以及旋转处理的顺序没有特别限定。也可以是这样的流程：对作为部分图像的鱼眼图像a和鱼眼图像b(包括对其进行了变换得到的互补的各半球部分的两个半球图像)分别由图像旋转部230实施了旋转处理(修正)之后进行拼接处理。另外，除了对全天球形式的图像实施旋转处理之外，还可以在将鱼眼图像变换为全天球图像的上述变换表中反映旋转处理，基于反映了旋转处理的变换表，从鱼眼图像a以及鱼眼图像b得到旋转处理后的全天球图像。在本实施方式中，对视频实施修正是指无论变换处理、合成处理以及旋转处理的顺序如何，最终得到包括反映了规定的修正的图像的视频。另外，在本实施方式中，通过拼接2个鱼眼图像来制作全天球图像，但不限于此，在其他实施方式中，例如也可以对3个以上的图像进行拼接而制作全天球图像或全景图像。
在此，再次参照图4。角速度检测部216是包括角速度传感器136a的角速度检测机构，在拍摄中，输出使用角速度传感器136a对3轴方向的角速度分量进行测量而得到的角速度数据。角速度数据是从开始拍摄到结束为止的绕全天球相机110(内的角速度传感器136a)的三个轴产生的角速度的时间序列数据。角速度数据不需要与帧一一对应地记录，典型地，能够以比帧率快的速率进行记录。在该情况下，能够将时间戳作为线索，之后求出与各帧的对应关系。或者，也可以与全天球视频的各帧一一对应地记录角速度。在本实施方式中，角速度检测部216构成与视频的各帧相关联地记录传感器数据的记录单元，角速度数据在本实施方式中可以包含在传感器数据中。
加速度检测部218是包括加速度传感器136b的加速度检测机构，在拍摄中，输出使用加速度传感器136b对3轴方向的加速度分量进行测量所得到的加速度数据。加速度数据是从开始拍摄到结束为止的全天球相机110(内的加速度传感器136b)的三轴加速度的时间序列数据。加速度数据不需要与帧一一对应地记录，典型地，能够以比帧率快的速率进行记录。在该情况下，能够将时间戳作为线索，之后求出与各帧的对应关系。或者，也可以与全天球视频的各帧一一对应地记录加速度。在本实施方式中，加速度检测部218构成与视频的各帧相关联地记录传感器数据的记录单元，加速度数据在本实施方式中可以包含在传感器数据中。
另外，从加速度传感器116b、角速度传感器136a直接得到的上述加速度数据以及角速度数据是基于传感器坐标系(或者全天球相机110的坐标系)的3轴方向的数据。另一方面，加速度传感器136b输出基于运动的加速度与重力加速度之和，上述的加速度数据以及角速度数据能够变换为以重力加速度轴为基准的绝对坐标系。因此，上述传感器数据表示绝对坐标系中的变位量。
天顶修正量计算部222基于从加速度检测部218输出的加速度数据，计算各帧中的相对于基准轴的拍摄时的倾斜角，生成天顶修正数据。天顶修正数据是与全天球视频的各帧相关联地记录的、从开始拍摄到结束为止的全天球相机110相对于基准轴的倾斜角的时间序列数据。相对于基准轴的倾斜角典型地构成为由加速度的维度的值构成的矢量。基准轴典型地与重力加速度所作用的重力方向一致，以下，设基准轴为重力方向而继续说明。加速度传感器136b不区分重力和惯性力，因此从加速度传感器136b得到的倾斜角可以优选基于由角速度传感器136a测量到的信号进行修正。
第1旋转量计算部224基于从加速度检测部218输出的加速度数据以及从角速度检测部216输出的角速度数据，根据全天球相机110的相对角度的变化量，对每一帧计算与重力方向垂直的方向的平面(水平面)的坐标系中的全天球相机110的拍摄正面方向的矢量，记录第1旋转修正数据。第1旋转修正数据是与全天球视频的各帧相关联地记录的、从开始拍摄到结束为止的、拍摄正面方向从基准值的角度变化量的时间序列数据。拍摄正面方向的角度变化量由基准帧中的基于全天球相机110的姿态的上述水平面内的拍摄正面方向与对象帧中的基于全天球相机110的姿态的上述水平面内的拍摄正面方向的差分表示。在此，基准帧例如能够设为拍摄开始时间点的帧或应用本修正的开始时间点(在拍摄开始后能够指示应用修正的实施方式的情况)的帧。第1旋转修正数据例如使用将旋转角度数值化后的数据或向量来表示。在本实施方式中，第1旋转修正数据也可以包含在传感器数据中，第1旋转量计算部224在本实施方式中能够构成为与视频的各帧相关联地获取以及记录传感器数据的传感器数据获取单元以及记录单元。
第2旋转量计算部226基于从加速度检测部218输出的加速度数据和从角速度检测部216输出的角速度数据，对每个规定的帧计算与重力方向垂直方向的平面(水平面)的平面坐标系中的全天球相机110的行进方向的矢量，生成第2旋转修正数据。拍摄开始时的帧中的行进方向与拍摄开始时的帧中的全天球相机110的拍摄正面方向相等。第2旋转修正数据是与全天球视频的各帧或各规定数量的帧相关联地记录的、从开始拍摄到结束为止的、行进方向从基准值的角度变化量的时间序列数据。行进方向的角度变化量由基准帧中的全天球相机110在上述水平面内的行进方向(拍摄正面方向)和对象帧中的全天球相机110在上述水平面内的行进方向的差分表示。第2旋转修正数据例如是将旋转角度数值化后的数据或矢量。在本实施方式中，第2旋转修正数据也可以包含在传感器数据中，第2旋转量计算部226在本实施方式中能够构成为与视频的各帧相关联地获取以及记录传感器数据的传感器数据获取单元以及记录单元。
在加速度数据中的全天球相机110的特定方向的加速度满足规定条件的情况下，行进方向的变化将此时的特定方向判断为行进方向。规定条件可以设定为：在合成多个帧的矢量时，特定方向的加速度超过规定的阈值的情况等。在不满足规定条件的情况下，行进方向能够继承之前的帧的数据。行进方向的定义没有特别限定，可以是拍摄者的行进方向，也可以是相机自身的行进方向。第2旋转量计算部226还能够作为本实施方式中的确定单元发挥功能。
图像旋转部230分别获取由图像合成部220、天顶修正量计算部222、第1旋转量计算部224以及第2旋转量计算部226输出的帧合成数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据。图像旋转部230基于获取的天顶修正数据、第1旋转修正数据以及第2旋转修正数据对获取的帧合成数据的各帧实施旋转处理(天顶修正以及旋转修正)，输出修正后的全天球帧数据。
在此，参照图6以及图7，对天顶修正以及旋转修正进行说明。图6是说明在本实施方式中进行的全天球图像的天顶修正和旋转修正的图。图7是说明在本实施方式中进行的全天球图像的天顶修正和旋转修正而得到的全天球图像的图。图7(a)示出天顶修正前的视频的帧，图7(b)示出天顶修正后的视频的帧。
如上所述，全天球图像形式的图像数据被表现为以相对于规定的轴z0所成的垂直角度φ和与绕上述规定的轴z0的旋转角对应的水平角度θ为坐标的像素值的排列。在此，规定的轴在没有进行任何修正的情况下，是以全天球相机110为基准定义的轴。例如，可以将图1所示的全天球相机110的拍摄体12侧作为头部，将其相反侧作为底部，将从底部向头部通过框体中心的中心轴作为定义水平角度θ和垂直角度φ的规定的轴z0，从而定义全天球图像。此外，例如，全天球图像的水平角度θ可以被定义为使得两个成像光学系20a和20b中的一个光学元件的光轴方向在水平角度θ处位于中心。
所谓天顶修正，是指将如图6的左图所示在中心轴z0相对于重力方向倾斜的状态下拍摄的全天球图像(图7(a))修正为如同图6的右图所示那样在中心轴z0与重力方向z一致的状态下拍摄的全天球图像(图7(b))的处理(roll、pitch方向的修正)。图像旋转部230作为天顶修正单元发挥功能，其基于天顶修正数据中所包含的各帧中的相对于重力方向的倾斜角，对各帧进行天顶修正，使得规定轴(中心轴)与重力方向大致一致。
与此相对，旋转修正是指在通过天顶修正而使中心轴z0与基准方向一致的方式修正后的全天球图像中，进一步消除绕重力方向z的角度变化(图7的水平角度θ方向的变化)，将显示的基准(例如全天球形式中的水平角度θ的中央、视频数据播放时默认显示的基准位置)固定于拍摄中的特定方向的修正(yaw方向的修正)。默认显示的基准位置是指在用户对视频数据显示的方向不进行变更操作的情况下显示的全天球形式中的区域。特定方向例如是全天球相机110的正面方向。图像旋转部230作为旋转修正单元发挥功能，其基于第1旋转修正数据和第2旋转修正数据，实施消除绕基准轴(通过天顶修正而与重力方向一致)的旋转变化的修正。
在此，角度变化被消除而固定为显示基准的拍摄中的特定方向可以是上述的基准帧中的全天球相机110在上述水平面内的拍摄正面方向。另外，在求出全天球相机110的行进方向之后，上述特定方向可以是全天球相机110在上述水平面内的行进方向。
更具体而言，图像旋转部230基于第1旋转修正数据及第2旋转修正数据，对视频的各帧实施消除绕基准轴的旋转变化的修正，以使至少一定期间的多个帧中显示基准与拍摄中的特定方向大致一致。这里，被消除的旋转变化的量基于与基准轴垂直的平面内的特定方向(例如拍摄开始时的拍摄正面方向或行进方向)与修正对象帧中的与基准轴垂直的平面内的拍摄正面方向的差分。另外，固定于该特定方向的期间是从该特定方向被确定的时刻到下次的特定方向被确定的时刻为止。
此外，在说明的实施方式中，在开始最初，使基准帧中的全天球相机110在上述水平面内的拍摄正面方向作为特定方向，固定显示基准(图像的中心)，在求出全天球相机110的行进方向之后，将上述水平面内的行进方向确定为特定方向，将显示基准(图像的中心)固定为该行进方向，对此情况进行说明。在该情况下，无论图2所示的摇头运动h如何，最初以开始时间点的拍摄正面方向为图像的中心的方式进行旋转修正，当确定行进方向t时，进行旋转修正以使该行进方向t为图像的中心。
但是，特定方向的确定方法没有特别限定。在其他实施方式中，也可以构成为无论行进方向t如何，默认显示的基准位置始终固定在基准帧的全天球相机110在上述水平面内的拍摄正面方向上。在这样的实施方式中，能够省略使用第2旋转量计算部226以及第2旋转修正数据的旋转修正。另外，在该情况下，由于在拍摄中不会因行进方向的变化而更新特定方向，因此固定于该特定方向的期间成为从视频的开始时间点或指示固定开始的时间点到视频的结束时间点或指示固定结束的时间点为止的整个期间。
存储部228用于存储上述的第1帧数据、第2帧数据、帧合成数据、天顶修正以及旋转修正后的已修正帧合成数据、加速度数据、角速度数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据。存储部228作为图3(a)所示的dram132、外部存储装置134、其他存储装置等的存储区域的一部分而被提供。
此外，通过一次拍摄获取的全天球视频也可以作为例如一个文件记录在存储部228中。在这种情况下，作为全天球视频的记录方法，可以设想各种方式。
例如，可以将已修正的帧合成数据记录为一个全天球视频数据。在这种情况下，加速度数据、角速度数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据也可以可选地作为元数据与已修正的帧合成数据一起记录。在该实施方式中，在需要修正后的数据的情况下，读出已修正的帧合成数据即可。
在另一实施方式中，可以将修正前的帧合成数据记录为一个全天球视频数据。在该情况下，加速度数据、角速度数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据以规定的组合作为元数据与修正前的帧合成数据一起被记录。在该另一实施方式中，在需要修正后的数据的情况下，根据元数据准备天顶修正数据、第1旋转修正数据以及第2旋转修正数据(不足的数据被计算)，通过图像旋转部230对修正前的帧合成数据实施图像旋转。例如，如果存在加速度数据以及角速度数据，则能够计算天顶修正数据、第1旋转修正数据以及第2旋转修正数据中的任意的不足的数据。
由图像旋转部230进行了天顶修正和旋转修正的帧合成数据被输出到输出部240。输出部240能够将修正后的数据作为视频数据，经由无线nic140、usb连接器138向外部的信息终端150发送输出。或者，输出部240也能够将修正后的数据作为视频数据，向规定的存储装置进行文件输出。
另外，虽称为“视频”，但只要能够播放视频，则可以以任何方式进行记录。例如，也可以通过h.264/mpeg-4avc(advancedvideocoding)、h.265/hevc(highefficiencyvideocoding)等规定的编解码器，作为将多个帧压缩后的视频数据来记录。另外，motionjpeg(jointphotographicexpertsgroup)是作为连续的静态图像来表现视频的形式，但也可以像这样作为多个帧的静态图像的连续的序列来记录视频数据，也可以作为多个帧的静态图像的文件的集合来记录视频。输出部240具备适当的编解码器。
以下，继续说明信息终端150侧的功能块。信息终端150是与全天球相机110通信，安装有用于阅览和播放全天球图像的应用程序的终端装置。信息终端150可以是智能手机、平板计算机、个人计算机、头戴式显示器(hmd)等。信息终端150经由应用程序从操作者接受各种指示，并且向全天球相机110发出各种请求。例如，信息终端150响应于接受到来自操作者的指定的全天球视频的播放指示(例如适用了旋转修正的视频播放的指示)，向全天球相机110发出要求规定的全天球视频的修正后的视频数据的请求。
信息终端150的接收部252接收从全天球相机110输出的视频数据。信息终端150的显示控制部254基于接收到的视频数据，在信息终端150所具备的显示器162等显示装置上显示全天球视频。在特定的实施方式中，显示控制部254基于上述的显示基准，使被实施了修正的视频数据的图像的至少一部分在显示器162上进行画面显示。此外，显示控制部254通过用户的操作改变在全天球形式中显示的方向，并且改变显示在显示器162上的区域。
另外，在信息终端150侧，基于修正后的图像数据显示怎样的图像是任意的。例如，显示控制部254可以将整个全天球图像显示在显示装置上，也可以将全天球图像粘贴在球体对象上，并且在从规定位置以规定视角的虚拟相机观察球体对象的情况下的图像作为帧进行视频显示。在任一种情况下，在全天球形式中，定义了规定的显示基准，基于该显示基准，以特定的视野显示图像。例如，在显示器162上显示整个全天球图像的情况下，能够始终以特定方向固定在显示器162的中央的状态进行显示。在显示器162上显示用虚拟相机观察情况下的图像的情况下，基于显示基准将全天球图像粘贴在球体对象上。在该情况下，拍摄中的特定方向并不固定于显示器162的中央，但若不变更显示范围(虚拟相机的位置、方向)，则规定的方向(例如行进方向的左手边等)始终固定于显示器162的中央。
此外，在本实施方式中，采用如下结构：不使用信息终端150，而是使用全天球相机110侧的资源进行天顶修正和旋转修正的实体处理，向信息终端150输出修正结果来进行显示。根据该结构，在全天球相机110侧具备充分的资源的情况下，不管信息终端150所具备的处理性能如何，都能够一边实施天顶修正以及旋转修正一边稳定地进行视频播放。
此外，在说明的实施方式中，作为输出的方式，将全天球视频的图像数据发送给信息终端150，但并不限定于此。在全天球相机110具备显示装置的情况下，也可以采用在该显示装置上进行显示的方式。
在图4所示的实施方式中，全天球相机110的功能块除了图像处理部210和输出部240以外，可以构成为还包括指示接受部242。指示接受部242能够接受在视频的拍摄中指定特定方向的指示。在上述的实施方式中，特定方向是规定时间点的拍摄正面方向或行进方向，但通过设置指示接受部242，能够在拍摄中的任意时刻指定想要固定为图像的显示基准的方向(存在关注的被摄体的方向等)。指示接受部242构成本实施方式中的接受单元。
图8以及图9是说明在各种特定的实施方式中的全天球视频系统的从视频的拍摄到视听为止的处理的顺序图。
图8(a)对应于图4所示的实施方式。在图8(a)所示的实施方式中，在全天球相机110侧进行拍摄、图像处理(包括图像合成、天顶修正以及旋转修正)，将图像处理后的视频数据发送到信息终端150。然后，在信息终端150中，基于图像处理后的视频数据进行显示器显示。更具体而言，在图8(a)的实施方式中，全天球相机110在s10中通过拍摄处理获取视频数据，在s11中对视频数据实施图像处理，在s12中，将图像处理后的视频数据发送给信息处理终端。在s13中，信息处理终端在显示器上显示视频数据。
在图4和图8(a)所示的实施方式中，全天球相机110作为分别具备视频数据获取单元(第1拍摄部212、第2拍摄部214以及根据需要的图像合成部220)、传感器数据获取单元(角速度检测部216、加速度检测部218、第1旋转量计算部224以及第2旋转量计算部226)以及旋转修正单元(图像旋转部230)的图像处理装置进行动作。
在图4和图8(a)中，说明了使用全天球相机110侧的资源进行图像处理(包括图像合成、天顶修正以及旋转修正)的例子，但不限于此。例如，也可以将第1帧数据、第2帧数据、帧合成数据、角速度数据、加速度数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据的一部分或全部发送到信息终端150侧，在信息终端150侧进行图像处理的一部分或全部。在该情况下，在信息终端150侧，通过信息终端150侧的cpu152执行各种程序，执行图4的功能框图所示的全天球相机110侧的一部分功能。由此，例如能够使用处理速度更高的cpu执行图像合成部220所进行的第1帧数据(鱼眼图像a)与第2帧数据(鱼眼图像b)的合成处理那样的负荷大的处理，即使是像素数量多的数据，也能够在短时间内或者实时地进行处理。
例如，在图8(b)所示的实施方式中，在全天球相机110侧只进行拍摄(s30)，图像处理前的帧数据和旋转参数被发送到信息终端150(s31)。这里，旋转参数是上述的加速度数据、角速度数据、天顶修正数据、第1旋转修正数据以及第2旋转修正数据等与帧数据的修正相关的参数的总称。然后，在信息终端150中，基于接收到的旋转参数对接收到的帧数据进行天顶修正以及旋转修正等图像处理(s32)，基于图像处理后的视频数据进行显示器显示(s33)。
在图8(b)所示的实施方式中，信息终端150作为分别具备视频数据获取单元(接收部)、传感器数据获取单元(接收部)以及旋转修正单元(与图像旋转部230对应的单元)的图像处理装置进行动作。
其中，在这种情况下，图像合成可以由全天球相机110和信息终端150中的任一个进行。在全天球相机110侧进行图像合成的情况下，从全天球相机110向信息终端150发送的帧数据是帧合成数据(全天球形式)。在信息终端150侧进行图像合成的情况下，从全天球相机110向信息终端150发送的帧数据是第1帧数据(鱼眼图像a)和第2帧数据(鱼眼图像b)。第1帧数据和第2帧数据可以分别作为对应的视频数据发送，或者，也可以发送接合2个鱼眼图像而成的一个接合图像的视频数据(将鱼眼图像a以及鱼眼图像b并列接合而成为1个图像的情况下的视频数据)。在该情况下，信息终端150具备与图像合成部220对应的单元作为视频数据获取单元。
另外，对于旋转参数来说，哪个阶段的数据被发送到信息终端150也是任意的。例如，可以将上述加速度数据以及角速度数据作为旋转参数发送到信息终端150。在该情况下，根据加速度数据以及角速度数据，在信息终端150侧计算天顶修正数据、第1旋转修正数据以及第2旋转修正数据。在该情况下，信息终端150具备与第1旋转量计算部224以及第2旋转量计算部226对应的单元作为传感器数据获取单元。或者，也可以将天顶修正数据、第1旋转修正数据以及第2旋转修正数据作为旋转参数发送到信息终端150。在该情况下，信息终端150只要具备接收天顶修正数据、第1旋转修正数据以及第2旋转修正数据的接收单元即可。
另外，在参照上述图4、图8(a)和图8(b)说明的实施方式中，全天球视频系统由全天球相机110和信息终端150这两个装置构成，但不限于此。
例如，如图9(a)所示，也可以包含与第1信息终端150连接的第2信息终端170。在此，第2信息终端170例如是头戴式显示器等。在图9(a)所示的实施方式中，在全天球相机110侧只进行拍摄(s50)，图像处理前的帧数据和旋转参数被发送到第1信息终端150(s51)。在第1信息终端150中，对接收到的帧数据进行天顶修正以及旋转修正等图像处理(s52)，图像处理后的视频数据被发送到第2信息终端170(s53)。在第2信息终端170中，基于图像处理后的视频数据进行显示器显示(s54)。
在图9(a)所示的实施方式中，第1信息终端150作为分别具备视频数据获取单元(接收部)、传感器数据获取单元(接收部)以及旋转修正单元(与图像旋转部230对应的单元)的图像处理装置进行动作。与图像合成部220、第1旋转量计算部224和第2旋转量计算部226相对应的单元可以包括在全天球相机110和第1信息终端150中的任一个中。
此外，如图9(b)所示，全天球视频系统也可以包括服务器装置190。在
图9(b)所示的实施方式中，全天球相机110侧只进行拍摄(s70)，图像处理前的帧数据和旋转参数被发送到信息终端150(s71)。在信息终端150中，将接收到的帧数据以及旋转参数转发到服务器装置190(s72)，使服务器装置190对帧数据进行天顶修正以及旋转修正等图像处理(s73)。信息终端150从服务器装置190进行图像处理后的视频数据的下载或流传输(s74)，基于图像处理后的视频数据进行显示器显示(s75)。另外，对服务器装置190的访问不限于信息终端150。
在图9(b)所示的实施方式中，服务器装置190作为分别具备视频数据获取单元(接收部)、传感器数据获取单元(接收部)以及旋转修正单元(与图像旋转部230对应的单元)的图像处理装置进行动作。与图像合成部220、第1旋转量计算单元224和第2旋转量计算单元226相对应的单元可以包括在全天球相机110和服务器装置190中的任一个中。
此外，在全天球相机110具备显示装置的情况下，可以由全天球相机110单体构成全天球视频系统。在这种情况下，全天球相机110可以在自身所具有的显示装置上显示。
以下，参照图10-图13对本实施方式中的天顶修正以及旋转修正进行更详细的说明。图10是表示构成本实施方式的全天球视频系统的全天球相机110(在特定的实施方式中也可以是信息终端150或服务器装置190)所执行的对帧合成数据进行旋转处理的流程图。
图10所示的处理中，响应于全天球相机110接受了要求修正后的视频数据的请求，从步骤s100开始。
在步骤s101中，全天球相机110获取帧合成数据和旋转参数。另外，在此，为了便于说明，设定为在旋转处理的开始时间点已完成第1帧数据以及第2帧数据的记录、基于图像合成的帧合成数据的生成、角速度数据以及加速度数据的记录。然而，在其他实施方式中，在进行实时传输的情况等中，也可以一边依次进行第1帧数据以及第2帧数据的记录、角速度数据以及加速度数据的记录、基于图像合成的帧合成数据的生成，一边执行图10所示的旋转处理。另外，在此，假设天顶修正数据、第1旋转修正数据以及第2旋转修正数据还未被计算来进行说明。
在步骤s102中，全天球相机110存储该全天球相机110的拍摄正面方向的初始值。当计算第1旋转修正数据和第2旋转修正数据的基准时，使用该开始时间点的全天球相机110的拍摄正面方向。另外，在步骤s102中，将最初的帧作为处理对象，处理进入步骤s103。
在步骤s103中，全天球相机110通过天顶修正量计算部222至少基于加速度数据，计算该处理对象的帧中的相对于重力方向的倾斜角，并写入到天顶修正数据中。
在步骤s104中，全天球相机110通过第1旋转量计算部224检测与之前的帧比较的水平面内的旋转角度的变化量。在步骤s105中，全天球相机110通过第1旋转量计算部224对在步骤s104中计算出的帧间的角度变化量进行累计，计算从初始值起的拍摄正面方向的角度变化量，并写入第1旋转修正数据。如上所述，第1旋转修正数据是水平面的坐标系中的、对象帧中的拍摄正面方向与全天球相机110的拍摄正面方向的初始值的角度变化量的时间序列数据。
可以对每个帧执行步骤s103至步骤105的处理。另一方面，可以按每规定的帧数执行步骤s106至步骤s108的处理。这里，规定的帧数能够设定为任意的值。通过减小规定的帧数，能够增加追随性，但若规定的帧数变得过小，则容易出现行进时的晃动分量、静止时的晃动分量的影响。因此，如果是每1秒60帧的视频(60fps)，则可以将规定的帧数设定为例如10至30帧左右。
在步骤s106中，全天球相机110通过第2旋转量计算部226计算水平面的坐标系的规定帧数内的全天球相机110的移动距离和行进方向矢量。此外，在此成为计算对象的规定帧只要是所保存的全天球视频数据的播放，则可以是中心帧前后的规定数量的帧，如果是实时传输，则可以是从起始帧到规定数量的帧。
在步骤s107中，全天球相机110通过第2旋转量计算部226判定在步骤s106中计算出的移动距离是否为规定阈值以上。在步骤s107中判定移动距离为规定阈值以上的情况下(是)，使处理进入步骤s108。这里，移动距离是指在规定的帧数中，水平面的坐标系中的最初帧的位置与最后帧的位置的差分。
在步骤s108中，全天球相机110通过第2旋转量计算部226，计算在s105中计算出的行进方向矢量相对于初始值的角度变化量，并写入第2旋转修正数据。这里，第2旋转修正数据是行进方向矢量的初始值(与相机方向的初始值相等)和上述那样作为规定数量帧的平均的行进方向矢量的差分的时间序列数据。
另一方面，在步骤s107中判定移动距离为阈值以下的情况下(否)，处理直接进入步骤s109。
在步骤s109中，全天球相机110通过图像旋转部230，基于天顶修正数据(其中的对象帧的倾斜角)，对帧合成数据的对象帧实施天顶修正。
在步骤s110中，全天球相机110通过图像旋转部230，基于第1旋转修正数据及第2旋转修正数据，计算在对象帧中应消除的水平面内的旋转变化量(旋转修正量)。如上所述，第1旋转修正数据是水平面内的、基准帧的拍摄正面方向的初始值与对象帧时间点的拍摄正面方向的差分，第2旋转修正数据是水平面内的、基准帧的行进方向(与拍摄正面方向相等)的初始值和对象帧时间点的行进方向的差分。因此，通过对第1旋转修正数据和第2旋转修正数据进行合计，能够计算最终应消除的旋转变化量。此外，在特定方向是拍摄正面方向的初始值的情况下，由于第2旋转修正数据在移动距离成为阈值以上之前是默认的值(零)，所以旋转变化量是第1旋转修正数据所规定的那样，基于拍摄正面方向的初始值和修正对象帧中的水平面内的拍摄正面方向的差分的值。另一方面，当特定方向被确定为行进方向时，旋转变化量基于行进方向与修正对象帧中的拍摄正面方向的差分。
在步骤s111中，全天球相机110对于对象帧基于计算出的旋转修正量实施旋转修正。
在步骤s112中，全天球相机110判断是否存在下一帧。在步骤s112中判定存在下一帧的情况下(是)，向步骤s103循环。另一方面，在步骤s112中判定没有下一帧的情况下(否)，在步骤s113结束该旋转处理。
通过上述的处理，对视频实施消除绕基准轴的旋转变化的修正，以使得在至少一定期间的多个帧中显示基准与拍摄中的特定方向大致一致。
另外，在以上说明的实施方式中，说明了在步骤s110中，基于第1旋转修正数据和第2旋转修正数据来计算应消除的旋转量，在步骤s111中集中实施旋转修正的情况。然而，并不特别限定于此，在另一实施方式中，也可以依次应用基于第1旋转修正数据的旋转修正和基于第2旋转修正数据的旋转修正。并且，在另一实施方式中，也可以基于天顶修正数据、第1旋转修正数据以及第2旋转修正数据来集中实施天顶修正以及旋转修正。
通过上述旋转修正，能够与摇头等造成的低频旋转变化无关地将图像的显示基准固定在初始相机拍摄正面方向或行进方向等特定方向上。
以下，参照图11至图13，对行进方向与拍摄正面方向的关系以及此时图像旋转部进行的旋转处理进行说明。图11是以一个例子说明拍摄者在头部50佩戴全天球相机110移动的情况下的行进方向t与拍摄正面方向h的关系的图。图12和图13是说明拍摄者进行了图11所示的动作时拍摄到的旋转修正前的全天球图像(左侧)和旋转修正后的全天球图像(右侧)的图。
图11是按时间序列表示编号0、1、1’、1至10的图，在图11中，一起示意性地示出了在以编号表示的各时间点的、固定于拍摄者的头部50的全天球相机110的状态、拍摄者(全天球相机110)的行进方向t、与摇头动作对应的全天球相机110的拍摄正面方向h。
在图11中，当关注行进方向t时，在该例子中，示出了拍摄者在编号0至5的期间朝向“北”行进。另外，在图11中关注拍摄正面方向h时，拍摄者在编号0至1的时间点朝向与行进方向相同的“北”，在编号2至4的时间点进行通过摇头动作来观察周围的动作，在编号5的时间点表示观察行进方向左手的“西”。另外，编号1、1’例如表示在与他人擦肩而过时让路的情况等暂时向右平行移动后返回原来的前进道路的动作。然后，拍摄者一边观察“西”，一边在编号6至7之间从“北”向“西”转换行进方向，在编号7至8的时间点一边观察与行进方向相同的“西”一边行进。另外，示出了在编号9的时间点，一边向“西”前进一边观察行进方向左手的“南”，在编号10的时间点进一步将行进方向转换为观察的“南”的情形。需要说明的是，东西南北为了便于说明而绘制，但不一定识别东西南北。
图12和图13示意性地示出了与图11所示的编号0、1、1’、1至10对应的旋转修正前的全天球图像(左侧)300和旋转修正后的全天球图像(右侧)310。另外，在旋转修正后的全天球图像(右侧)310中示意性地示出了设定于全天球图像中央的规定范围316被显示在信息终端150的显示画面上。
在编号0、1、1’、1至5的期间，拍摄者向“北”前进，但如图12以及图13的左侧所示，可知在修正前的全天球图像300中，图像根据拍摄者的摇头动作而旋转。更具体而言，在编号0、1、1’、1至5的期间，拍摄正面方向302变化为“北”→“西北(从北向左方向60度)”→“东北(从北向右方向60度)”→“西北(从北向左方向45度)”→“西(从北向左方向90度)”。另一方面，如图12和图13的右侧所示，在修正后的全天球图像310中，在编号0、1、1’、1至5的各时间点，显示基准314始终固定于开始时间点的拍摄正面方向和行进方向的“北”。另外，在时间点1、1’的平行移动中，全天球相机110的移动方向瞬间变化，但由于是短时间的变化，所以在图10所示的步骤s107中，判定为规定数量的帧中的移动距离小于阈值，不重新确定为行进方向，保持“北”不变。
提取代表性点对旋转修正进行说明，在图11中，在编号2的时间点，拍摄者朝向北前进，另一方面，全天球相机110向左方向旋转60度，是朝向“西北”的状态。此时，对于该拍摄者，全天球相机110的拍摄正面方向h和行进方向t不同。在此，说明拍摄者变化为图11的编号2的时间点的状态时的图像旋转部230的旋转处理。当拍摄者的头的朝向从编号1的时间点变到编号2的时间点的状态时，即拍摄装置的方向朝左方向旋转60度时，图像旋转部230基于第1旋转修正数据执行旋转处理，使全天球图像向右方向旋转60度，以消除全天球图像的旋转。由此，能够将显示于显示器的默认方向固定于行进方向。实际上，针对时间点1至时间点2的状态变化的各帧，依次执行基于第1旋转修正数据的旋转处理。此时，由于没有行进方向的变化，因此不执行基于第2旋转修正数据的旋转处理。另外，对于时间点2至时间点3的变化、时间点3至时间点4的变化、时间点4至时间点5的变化也是同样的。
在编号5至7中，拍摄者向作为观察方向的“西”逐渐改变行进方向，但如图13的左侧所示，在修正前的全天球图像300中，拍摄者的朝向始终看“西”，图像没有变化。另一方面，如图13的右侧所示，在修正后的全天球图像310中，显示基准314分别固定为更新后的行进方向的“西北(编号6)”和“西(编号7)”。在此，时间点6的行进方向显示了在充分长的期间内行进方向恒定，一旦固定为重新确定的“西北”的方向变化的情况。
在此，说明拍摄者在图11的编号5、6以及7的时间点的状态变化时的图像旋转部的旋转处理。当拍摄者从5的时间点到6的时间点的状态中不改变拍摄正面方向h而改变行进方向t时，基于第1旋转修正数据，执行使全天球图像向右方向旋转90度的旋转处理，从初始值消除全天球图像相对于拍摄正面方向的旋转。另一方面，基于第2旋转修正数据，基于全天球图像的从初始的行进方向(初始的拍摄正面方向)的行进方向的差分，执行使其向左方向旋转45度的旋转处理。而且，若对第1旋转修正数据以及第2旋转修正数据进行合计，则执行向右方向旋转45度的旋转处理。
另外，在编号7的时间点的状态下，基于第1旋转修正数据，执行使全天球图像向右方向旋转90度的旋转处理，从初始值消除全天球图像相对于拍摄正面方向的旋转。另一方面，基于第2旋转修正数据，基于从天球图像的初始的行进方向(初始的拍摄正面方向)的行进方向的差分，执行使其向左方向旋转90度的旋转处理。并且，若对第1旋转修正数据和第2旋转修正数据进行合计，则不进行旋转修正。
另外，行进方向的变化也可以进行插值，以使得从前一行进方向向后一行进方向平滑地转换。即，能够应用对时间点5以及时间点6的期间、以及时间点6以及时间点7的期间的45度的角度变化在这些期间的各帧中插值而得到的值。或者，行进方向的变化也可以瞬时地变化。例如，也可以将画面显示暂时消隐，从显示基准固定为之前的行进方向的状态向显示基准固定为新的行进方向的状态切换。
另一方面，在从编号8向编号9的变化中，拍摄者不改变行进方向而使观察的方向从“西”向“南”变化。在这种情况下，如图13的左侧所示，在时间点8和时间点9处，在修正前的全天球图像300中，拍摄者的朝向从“西”向“南”变化，但由于行进方向被固定为“西”，因此如图13的右侧所示，显示基准314被固定为“西”。另一方面，在编号9至10中，拍摄者不改变观察的方向而使行进方向从“西”向“南”变化。在这种情况下，如图13的左侧所示，在时间点9和时间点10处，在修正前的全天球图像300中，拍摄者的朝向始终看“南”，但如图13的右侧所示，行进方向从“西”向“南”变化，显示基准314固定的方向从“西”向“南”发生变化。
在此，说明拍摄者在图11的编号8、9以及10的时间点的状态变化时的图像旋转部的旋转处理。当拍摄者从编号8的时间点到编号9的时间点的状态不改变行进方向t而改变了拍摄正面方向h时，基于第1旋转修正数据，执行使全天球图像向右方向旋转180度的旋转处理，从初始值消除其相对于拍摄正面方向的旋转。另一方面，基于第2旋转修正数据，基于从全天球图像的初始的行进方向(初始的拍摄正面方向)的行进方向的差分，执行使其向左方向旋转90度的旋转处理。而且，若对第1旋转修正数据以及第2旋转修正数据进行合计，则执行向右方向旋转90度的旋转处理。另外，在编号10的时间点的状态下，基于第1旋转修正数据，执行使全天球图像向右方向旋转180度的旋转处理，从初始值消除其相对于拍摄正面方向的旋转。另一方面，基于第2旋转修正数据，基于从全天球图像的初始的行进方向(初始的拍摄正面方向)的行进方向的差分，执行使其向左方向旋转180度的旋转处理。并且，若对第1旋转修正数据和第2旋转修正数据进行合计，则不进行旋转修正。
这样，能够将显示于显示器的默认方向固定于拍摄开始时的拍摄正面方向以及行进方向中的一个。
以下，参照图14对另一实施方式中的天顶修正以及旋转修正进行更详细的说明。图14是表示构成另一实施方式的全天球视频系统的全天球相机110(在特定的实施方式中也可以是信息终端150或服务器装置190)执行的对帧合成数据的旋转处理的流程图。另外，图14表示不进行行进方向的确定，始终将显示基准固定于拍摄开始时的拍摄正面方向的情况下的实施方式。
图14所示的处理响应于全天球相机110接受了要求修正后的视频数据的请求，从步骤s200开始。
在步骤s201中，全天球相机110获取帧合成数据和旋转参数。与图10所示的实施方式同样地，为了便于说明，在旋转处理的开始时间点已完成第1帧数据以及第2帧数据的记录、基于图像合成的帧合成数据的生成、角速度数据以及加速度数据的记录。
在步骤s202中，全天球相机110存储该全天球相机110的拍摄正面方向的初始值。在步骤s203中，全天球相机110通过天顶修正量计算部222，至少基于加速度数据，计算该处理对象的帧中的相对于重力方向的倾斜角，并写入到天顶修正数据中。
在步骤s204中，全天球相机110通过第1旋转量计算部224累计每个时钟的水平面的坐标系的角度变化量，检测与前帧比较的水平面内的旋转角度的变化量。在步骤s205中，全天球相机110通过第1旋转量计算部224对在步骤s204中计算出的帧之间的角度变化量进行累计，计算从初始值起的拍摄正面方向的角度变化量，并写入第1旋转修正数据。
在步骤s206中，全天球相机110通过图像旋转部230，基于天顶修正数据(其中的对象帧的倾斜角)，对帧合成数据的对象帧实施天顶修正。
在步骤s207中，全天球相机110通过图像旋转部230，基于第1旋转修正数据，对对象帧实施旋转修正。如上所述，第1旋转修正数据是水平面内的、基准帧的拍摄正面方向的初始值与对象帧时间点的拍摄正面方向的差分，原样表示在对象帧中应消除的水平面内的旋转变化量。
在步骤s208中，全天球相机110判定是否存在下一帧。在步骤s208中判定存在下一帧的情况下(是)，向步骤s203循环。另一方面，在步骤s208中判定没有下一帧的情况下(否)，在步骤s209中结束该旋转处理。
通过上述处理，对视频实施消除绕基准轴的旋转变化的修正，使得从开始拍摄到结束为止的期间的多个帧中，显示基准与拍摄开始时的拍摄正面方向大致一致。
如以上所示，根据本实施方式，能够提供能够抑制视频视听时因拍摄时的绕基准轴的旋转而产生的视听者的眩晕的图像处理装置、拍摄装置、视频播放系统、方法以及程序。
在特定的实施方式中，由于视听时的显示基准固定于拍摄者的行进方向上，所以能够抑制视听者的眩晕，并且视听者能够感觉到接近拍摄者观看的景色的临场感。
此外，在上述的实施方式中，说明了全天球相机110固定在拍摄者的头部50上的情况。本实施方式的旋转修正功能能够适当地应用于这样的情况，但应用的场景没有特别限定，当然也能够应用于用户手持进行拍摄那样的情况。
另外，在上述的实施方式中，说明了使用角速度传感器136a以及加速度传感器136b来计算第1旋转修正数据以及第2旋转修正数据的情况。然而，在其他实施方式中，在计算角度变化量时，也可以使用地磁传感器来计算第1旋转修正数据和第2旋转修正数据。在该情况下，可以存储地磁传感器的初始值，基于地磁传感器的初始值与对象帧中的地磁传感器所示的方向的差分来计算水平面的坐标系的旋转角度，并计算第1旋转修正数据以及第2旋转修正数据。另外，在上述的说明中，说明了事先保存有帧合成数据、加速度数据以及角速度数据的情况，但该旋转修正功能除了保存的视频数据以外，还能够应用于实时传输的视频数据流。
并且，在上述的实施方式中，说明了对坐标系是包含2个角度坐标的球面坐标系的视频进行天顶修正的情况。然而，根据实施方式的不同，有时不产生需要天顶修正的程度的重力方向的倾斜，在这样的情况下，能够省略天顶修正。在该情况下，如果坐标系是包含一个角度坐标的圆筒坐标系，则基准轴可以是角度坐标的轴，如果坐标系是包含两个角度坐标的球面坐标系，则基准轴可以是赋予两个角度坐标的轴。
需要说明的是，上述功能部能够通过用诸如汇编、c、c 、c#、java(注册商标)等的传统编程语言或面向对象的编程语言等记述的计算机可执行程序来实现，存储在rom、eeprom、eprom、闪存、软盘、cd-rom，cd-rw、dvd-rom、dvd-ram、dvd-rw、蓝光光盘、sd卡，mo等装置可读记录介质中，或者，能够通过电通信线路来分发。另外，上述功能部的一部分或全部能够安装在例如现场可编程门阵列(fpga)等可编程设备(pd)上，或者能够作为asic(专用集成电路)安装，作为为了在pd上实现上述功能部而下载到pd的电路结构数据(位流数据)、用于生成电路结构数据的hdl(hardwaredescriptionlanguage)、vhdl(veryhighspeedintegratedcircuitshardwaredescriptionlanguage)、verilog-hdl等记述的数据通过记录介质进行发布。
至此，对本发明的实施方式进行了说明，但本发明的实施方式并不限定于上述的实施方式，能够在其他实施方式、追加、变更、删除等本领域技术人员能够想到的范围内变更，在任何方式中，只要起到本发明的作用、效果，都包含在本发明的范围内。
1.一种图像处理装置，对包含连续图像的视频进行处理，该连续图像是以至少包含绕规定轴的角度坐标的坐标系表示的，该图像处理装置包括：
获取视频数据的视频数据获取单元；
获取与所述视频数据对应的传感器数据的传感器数据获取单元；和
旋转修正单元，所述旋转修正单元基于所述传感器数据，对所述图像实施消除绕基准轴的旋转变化的修正，以使所述视频的多个帧中的所述图像的显示基准被固定在拍摄中的特定方向上。
2.如权利要求1所述的图像处理装置，其特征在于，
规定时间点的基准帧中与基于拍摄所述视频的相机的姿态的所述基准轴垂直的平面内的方向被确定为所述拍摄中的特定方向，所述旋转变化的量基于基准帧中的基于所述姿态的方向和修正对象帧中与基于所述相机的姿态的所述基准轴垂直的平面内的方向之间的差分。
3.如权利要求2所述的图像处理装置，其特征在于，
所述规定时间点是所述视频拍摄的开始时间点或接受所述视频拍摄中的指示的时间点。
4.如权利要求2所述的图像处理装置，其特征在于，
与所述多个帧对应的一定期间是从所述视频开始或指示固定的开始的第一时间点到所述视频结束或指示固定的结束的第二时间点为止的期间。
5.如权利要求1所述的图像处理装置，其特征在于，
包括将与所述基准轴垂直的平面内的所述相机移动的行进方向确定为所述拍摄中的特定方向的确定单元，在所述行进方向被确定为所述特定方向的情况下，所述旋转变化的量基于所述行进方向与修正对象帧中的与基于所述相机的姿态的所述基准轴垂直的平面内的方向的差分。
6.如权利要求5所述的图像处理装置，其特征在于，
所述确定单元基于所述传感器数据，将规定数量的帧中的移动距离满足规定条件时再次求出的行进方向确定为所述拍摄中的特定方向，所确定的所述拍摄中的特定方向对应的所述多个帧所对应的一定期间是从该确定开始至下一次的确定为止的期间。
7.如权利要求1所述的图像处理装置，其特征在于，
所述坐标系还包括相对于所述规定轴的角度坐标，所述图像处理装置还包括天顶修正单元，所述天顶修正单元基于所述视频的各帧中在拍摄时相对于所述基准轴的倾斜角，对所述视频的各帧进行天顶修正，以使所述规定轴与所述基准轴大致一致。
8.如权利要求1所述的图像处理装置，其特征在于，
所述视频包括以包含两个角度坐标的坐标系来表示的全天球图像作为各帧，所述视频由多个拍摄元件拍摄，所述全天球图像通过对由所述多个拍摄元件所拍摄的多个部分图像进行合成而构成，所述视频数据包括所述全天球图像或所述多个部分图像作为各帧，所述修正是对所述全天球图像或所述多个部分图像实施的，所述基准轴是重力方向。
9.如权利要求1所述的图像处理装置，其特征在于，与所述视频对应的传感器数据包括加速度传感器输出的数据、角速度传感器输出的数据、地磁传感器输出的数据以及基于这些传感器输出的数据而计算出的旋转修正数据中的至少一种。
10.一种视频播放系统，用于播放包括连续图像的视频，该连续图像是以至少包含绕规定轴的角度坐标的坐标系表示的，所述视频播放系统包括：
获取视频数据的视频数据获取单元；
获取与所述视频数据对应的传感器数据的传感器数据获取单元；
旋转修正单元，所述旋转修正单元基于所述传感器数据，对所述图像实施消除绕基准轴的旋转变化的修正，以使所述视频的多个帧中的所述图像的显示基准被固定在拍摄中的特定方向上；以及
显示控制单元，使实施了所述修正的所述视频图像的至少一部分在显示单元上基于所述显示基准进行画面显示。
11.如权利要求10所述的视频播放系统，其特征在于，还包括旋转量计算单元,计算与所述基准轴垂直方向的平面坐标系内的拍摄中的特定方向。
12.如权利要求10所述的视频播放系统，其特征在于，
所述视频数据获取单元包括拍摄视频的各帧的拍摄单元，所述传感器数据获取单元包括记录单元，将与所述拍摄单元一同具备的传感器的输出数据或者由该输出数据计算出的修正数据与所述视频的各帧关联地进行记录，或者所述视频数据获取单元和所述传感器数据获取单元包括接收单元，接收由拍摄单元拍摄的视频的各帧以及与所述拍摄单元一同具备的传感器的输出数据或者由该输出数据计算出的修正数据。
13.一种方法，对包含连续图像的视频进行处理，该连续图像是以至少包含绕规定轴的角度坐标的坐标系表示的，该方法中，计算机执行以下步骤：
获取视频数据；
获取与所述视频数据对应的传感器数据；和
基于所述传感器数据，对所述图像实施消除绕基准轴的旋转变化的修正，以使所述视频的多个帧中的所述图像的显示基准被固定在拍摄中的特定方向上。
14.一种记录有程序的非暂时性记录介质，所述程序用于实现对包含连续图像的视频进行处理的图像处理装置，该连续图像是以至少包含绕规定轴的角度坐标的坐标系表示的，所述程序使计算机作为以下单元发挥功能：
获取视频数据的视频数据获取单元；
获取与所述视频数据对应的传感器数据的传感器数据获取单元；和
旋转修正单元，所述旋转修正单元基于所述传感器数据，对所述图像实施消除绕基准轴的旋转变化的修正，以使所述视频的多个帧中的所述图像的显示基准被固定在拍摄中的特定方向上。
技术总结