本公开内容涉及信息处理设备、信息处理方法以及程序。
背景技术：
最近已经公开了用于向用户呈现虚拟对象的技术。例如，已经公开了关于图像处理设备的技术，该图像处理设备包括：识别部，其识别图像中所看到的对象的位置或姿势；以及显示控制部，其根据识别部的识别的稳定程度来修改与对象相关的虚拟对象的显示(例如，参见专利文献1)。利用这种技术，防止用户因虚拟对象的显示的失真而感到困惑。
同时，除了虚拟对象的失真显示之外，在虚拟对象的显示中可能存在延迟。此外，除了显示中的延迟之外，存在关于用户在多大程度上能够识别出虚拟对象的显示中的延迟的概念。在下文中，这种由用户对显示中的延迟的可识别性将被称为“显示延迟感”。
引用列表
专利文献
专利文献1：jp-a-2012-221250
技术实现要素：
技术问题
现在可以预期，虚拟对象的显示延迟感越强，关于虚拟对象的显示中的延迟的错误感就越强。同时，还可以预期，虚拟对象的显示被修改得越多，虚拟对象的可识别性将劣化得越多。因此，一直在等待能够在抑制虚拟对象的可识别性劣化的同时降低虚拟对象的显示中的错误感的技术。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，其包括：位置获取部，其获取已经基于与由成像设备捕获的图像对应的真实空间的识别结果而确定的虚拟对象在真实空间中的位置；和显示控制部，其基于虚拟对象的位置和驻留在真实空间中并且远离虚拟对象的位置的真实对象的特征来控制至少虚拟对象的边界的显示。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，该虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和基于虚拟对象的位置和驻留在真实空间中的真实对象的特征来控制至少虚拟对象的边界的显示。
根据本公开内容，提供了一种程序，该程序将计算机用作信息处理设备，该信息处理设备包括：位置获取部，其获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，该虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和显示控制部，其基于虚拟对象的位置和驻留在真实空间中的真实对象的特征来控制至少虚拟对象的边界的显示。
本发明的有利效果
如上所述，本公开内容可以提供一种能够在抑制虚拟对象的可识别性劣化的同时降低虚拟对象的显示中的错误感的技术。注意，上面提及的效果并不总是限制性的，而是允许展示与上面提及的效果一起或替代上面提及的效果的、本说明书中示出的任何效果或者可以从本说明书中理解的一些其他效果。
附图说明
图1是示出本公开内容的实施方式的概述的图。
图2是示出本公开内容的实施方式的概述的图。
图3是示出本公开内容的实施方式的概述的图。
图4是示出根据本公开内容的实施方式的信息处理设备的示例性功能配置的图。
图5是示出控制部的示例性详细配置的图。
图6是总结示例性虚拟对象以及与虚拟对象相关的显示延迟感的预测强度的图表。
图7是总结示例性虚拟对象以及与虚拟对象相关的显示延迟感的预测强度的图表。
图8是总结示例性虚拟对象以及与虚拟对象相关的显示延迟感的预测强度的图表。
图9是示出虚拟对象的颜色的示例性修改的图。
图10是示出虚拟对象的亮度的示例性修改的图。
图11是总结真实对象的亮度、虚拟对象的亮度以及显示延迟感的预测强度之间的示例性关系的图表。
图12是示出移动眼睛以凝视用户的示例性虚拟对象的图。
图13是示出虚拟对象的亮度的示例性修改的图。
图14是示出基于构成真实对象的线的位置的显示延迟感的预测强度的示例性计算的图。
图15是示出本实施方式的信息处理设备的示例性操作的流程图。
图16是示出信息处理设备的示例性硬件配置的框图。
具体实施方式
下面将参照附图详细说明本公开内容的优选实施方式。注意，在本说明书和附图通篇中，具有基本相同的功能配置的所有组成部分将被赋予相同的附图标记，以避免重复说明。
还要注意，在本说明书和附图通篇中，具有基本相同或类似功能配置的多个组成部分有时会被赋予相同的附图标记，后接不同的数字以进行区分。然而，注意，如果在它们之间没有进行区分的特别需求，则具有基本相同或类似功能配置的组成部分将仅被赋予相同的附图标记。类似但是在不同的实施方式中的所有组成部分有时会被赋予相同的附图标记，后接不同的字母。然而，注意，如果在它们之间没有进行区分的特别需求，则类似的组成部分将仅被赋予相同的附图标记。
将按以下顺序给出描述。
0.概述
1.具体实施方式
1.1.信息处理设备的示例性功能配置
1.2.信息处理设备的详细功能
1.3.信息处理设备的示例性操作
2.示例性硬件配置
3.结论
<0.概述>
首先，将参照图1概括本公开内容的实施方式。最近已经公开了用于向用户呈现虚拟对象的技术。例如，已经公开了关于图像处理设备的技术，该图像处理设备包括：识别部，其识别图像(真实对象)中所看到的对象的位置或姿势；以及显示控制部，其根据通过识别部的识别的稳定程度来修改与对象相关的虚拟对象的显示。利用这种技术，防止用户由虚拟对象的显示的失真而感到困惑。
同时，除了虚拟对象的失真显示之外，在虚拟对象的显示中可能存在延迟。这将参照图1详细说明。图1是示出本公开内容的实施方式的概述的图。如图1中所见，用户u驻留在真实空间中。在时间t1处，虚拟对象30-1被布置在用户u的视场70-1中。
当将虚拟对象30-1呈现给用户u时，基于由用于视场分析的成像部111(图5)(例如，立体摄像装置等)获得的感测数据来识别用于视场分析的成像部111(图5)的位置和姿势(虚拟摄像装置的位置)。然后，基于虚拟摄像装置的位置确定虚拟对象30-1在视场70-1中的位置，并且基于这样确定的虚拟对象30-1的位置将虚拟对象30-1显现在显示器上。
由于在该过程中虚拟摄像装置的位置被连续地更新，因此使得在确定虚拟对象的位置的时间点与虚拟显示显现在显示器上的时间点之间发生虚拟对象的位置的偏移。也就是说，如在视场70-2中所见，实际显现在显示器上的虚拟对象30-2的位置导致从虚拟对象的位置32-2的偏移，该虚拟对象的位置32-2期望来自当前(时间t2)虚拟摄像装置的位置。这种事件被称为显示中的延迟。
此外，除了显示中的延迟之外，存在关于用户u在多大程度上可以识别出虚拟对象的显示中的延迟的概念。在下文中，这种由用户u对显示中的延迟的可识别性有时将被称为“显示延迟感”。在虚拟对象周围不存在真实对象的示例性情况下，由于在这种虚拟对象周围缺乏强调虚拟对象的显示中的延迟的真实对象，因此虚拟对象的显示延迟感应是小的。
图2是示出本公开内容的实施方式的概述的图。如图2中所见，虚拟对象30-14在时间t14处被布置在用户u的视场70-14中。用户u在从时间t14至时间t15的持续时间内向右摆动脖子。因此，视场70-14偏移至视场70-15。现在，如在视场70-15中所见，实际显现在显示器上的虚拟对象30-15的位置导致从虚拟对象的位置32-15的偏移，该虚拟对象的位置32-15期望来自当前(时间t15)虚拟摄像装置的位置。由于真实对象40-2驻留得接近于虚拟对象30-15，因此显示延迟感应是大的。
同时，在存在真实对象的亮度与接近这种虚拟对象的虚拟对象的亮度不相似的情况下，由于真实对象强调了虚拟对象的显示中的延迟，因此显示延迟感应是大的。虚拟对象的显示中的延迟在虚拟对象处于运动的情况下相比于虚拟对象静止的情况应再次是小的，这是因为虚拟对象的显示中的延迟不大可能被强调。
图3是示出本公开内容的实施方式的概述的图。如图3中所见，虚拟对象30-16在时间t16处被布置在用户u的视场70-16中。用户u在从时间t16至时间t17的持续时间内向右摆动脖子。因此，视场70-16偏移至视场70-17。现在，如在视场70-17中所见，实际显现在显示器上的虚拟对象30-17的位置导致从虚拟对象的位置32-13的偏移，该虚拟对象的位置32-13预期来自当前(时间t17)虚拟摄像装置的位置。尽管真实对象40-2驻留得接近于虚拟对象30-15，但是由于降低了虚拟对象30-17的清晰度，因此显示延迟感应是小的。
可以预期，虚拟对象的显示延迟感越强，关于虚拟对象的显示中的延迟的错误感就越强。同时，还可以预期，虚拟对象的显示被修改得越多，虚拟对象的可识别性会劣化得越多。因此，本说明书将主要提出能够在抑制虚拟对象的可识别性劣化的同时降低虚拟对象的显示中的错误感的技术。
当真实对象驻留在用户u的视场中时，信息处理设备10检测用户u与真实对象之间的距离，作为真实对象的示例性信息。本公开内容的实施方式主要假定信息处理设备10具有立体摄像装置，以基于由立体摄像装置捕获的左图像和右图像来创建深度图，并且参照深度图来检测用户u与真实对象之间的距离。然而，可以通过任何方法来检测用户u与真实对象之间的距离。例如，如果配备至信息处理设备10，则可以使用测距传感器来检测用户u与真实对象之间的距离。测距传感器通常可以是飞行时间(tof)传感器等。
真实对象的类型(例如，真实对象的形状、大小、颜色、亮度、运动等)不受特别限制。同样，虚拟对象30尽管在图1中例示为如圆柱形对象，但是虚拟对象30可以具有任何类型(例如，虚拟对象30的形状、大小、颜色、亮度、运动等)而没有特别限制。
现在参照图1，图1所例示的是具有佩戴在用户u的头部上的护目镜型头戴式显示器(hmd)的结构的信息处理设备10。然而，hmd的形状不限于护目镜型，而是允许眼镜型等。信息处理设备10甚至不限于hmd。例如，信息处理设备10可以是智能电话、平板终端、移动电话或其他移动设备。
本公开内容的实施方式还主要假定信息处理设备10具有透射显示器。在这种情况下，用户u不仅可以在视觉上识别显现在显示器上的虚拟对象30，而且可以在视觉上识别在显示器后面的真实对象。然而，信息处理设备10可以具有非透射显示器。在这种情况下，用户u可以借助于显现在显示器上的虚拟对象30以及由信息处理设备10所拥有的摄像装置捕获并且显现在显示器上的图像来在视觉上识别真实对象。
上面已经概述了本公开内容的实施方式。
<1.具体实施方式>
接下来，将详细说明本公开内容的实施方式。
<1.1.信息处理设备的示例性功能配置>
接下来，将说明根据本公开内容的实施方式的信息处理设备10的示例性功能配置。图4是示出根据本公开内容的实施方式的信息处理设备10的示例性功能配置的图。如图4所示，信息处理设备10具有用于视场分析的成像部111、传感器部112、控制部120、存储部130和显示部150。
用于视场分析的成像部111用于通过拍摄用户u的视场的照片来获取图像(用于视场分析的图像)。例如，用于视场分析的成像部111具有立体摄像装置并且获取由立体摄像装置捕获的左图像和右图像。由立体摄像装置捕获的左图像和右图像用于通过测距部124(图5)进行的距离检测。注意，如上所述，可以可替选地采用各种测距传感器替代立体摄像装置和测距部124。用于视场分析的成像部111可以与信息处理设备10集成在一起，或者可以是独立于信息处理设备10的单独主体。
传感器部112被配置成具有传感器，并且用于检测用户u的视场的运动。例如，传感器部112可以被配置成具有加速度传感器，并且可以用于基于由加速度传感器检测到的加速度来检测用户u的视场的运动。可替选地，传感器部112可以被配置成具有陀螺仪传感器，并且可以用于基于由陀螺仪传感器检测到的角速度来检测用户u的视场的运动。注意，如果基于由用于视场分析的成像部111捕获的用于视场分析的图像可检测到用户u的视场的运动，则可省略传感器部112。
存储部130被配置成具有存储器，该存储器是存储要在控制部120上执行的程序或用于执行程序所需的数据的存储介质。存储部130临时存储用于稍后由控制部120计算的数据。存储部130由磁存储设备、半导体存储设备、光存储设备、光磁存储设备等组成。
显示部150用于显示各种屏幕。显示部150可以是任何类型。例如，显示部150可以充分是能够呈现由用户在视觉上可识别的屏幕的显示器(显示设备)。显示部150可以更具体地是液晶显示器或有机电致发光(el)显示器。
控制部120控制信息处理设备10的各个部。图5是示出控制部120的示例性详细配置的图。如图5所示，控制部120具有真实空间信息获取部121、真实对象检测部122、测距部124、自身位置估计部125、应用执行部126、位置获取部127和显示控制部128。稍后将详细说明这些功能块。控制部120可以由一个或两个或更多个中央处理单元(cpu)等组成。当由诸如cpu的处理单元组成时，控制部120可以使用电子电路来构造。
已经说明了根据本实施方式的信息处理设备10的示例性功能配置。
[1.2.信息处理设备的详细功能]
接下来，将详细说明根据本实施方式的信息处理设备10的功能。在根据本公开内容的实施方式的信息处理设备10中，真实空间信息获取部121获取布置在真实空间中的真实对象(在下文中也被称为“对象”)的信息。更具体地，真实空间信息获取部121通过从用于视场分析的成像部111获取真实对象的左图像和右图像来获取真实对象的信息。
测距部124基于由用于视场分析的成像部111捕获的左图像和右图像来创建深度图，并且将所创建的深度图输出至显示控制部128。
真实对象检测部122基于由用于视场分析的成像部111捕获的左图像和右图像来确定预定的真实对象(例如，平面等)是否驻留在视场中。在预定的真实对象驻留在视场中的情况下，真实对象检测部122检测预定的真实对象的特征(例如，平面在真实空间中的位置等)，并且将其输出至应用执行部126和显示控制部128。可替选地，真实对象检测部122可以基于由测距部124创建的深度图来检测预定的真实对象的特征。
自身位置估计部125基于真实空间的识别结果将真实空间中的用于视场分析的成像部111的位置和姿势(虚拟摄像装置的位置)估计为自身位置。自身位置估计部125基于由用于视场分析的成像部111在一段时间内连续捕获的多个图像来识别真实空间。现在，为了改善识别的准确性，自身位置估计部125可以另外使用由传感器部112获得的感测数据(例如，由加速度传感器检测到的加速度、由陀螺仪传感器检测到的角速度等)来识别真实空间。
应用执行部126确定要布置在虚拟空间中的虚拟对象，并且确定虚拟对象在虚拟空间中的位置。现在，可替选地，应用执行部126可以基于由真实对象检测部122检测到的真实对象的特征来确定虚拟对象的位置。例如，在由真实对象检测部122检测到平面的位置的情况下，应用执行部126可以将由真实对象检测部122检测到的平面的位置确定为要布置虚拟对象的位置。
应用执行部126基于虚拟对象在虚拟空间中的位置以及用于视场分析的成像部111在真实空间中的位置和姿势(虚拟摄像装置的位置)来确定虚拟对象在视场中的位置以及用于视场分析的成像部111与虚拟对象之间的距离。应用可以是任何类型。例如，应用可以是游戏应用。
位置获取部127获取由应用执行部123获取的虚拟对象的位置。位置获取部127获取由应用执行部123获取的虚拟对象在虚拟空间中的位置。位置获取部127还获取由应用执行部123获得的虚拟对象在视场中的位置。
显示控制部128获取由真实对象检测部122检测到的真实对象的特征。显示控制部128还获取由测距部124创建的深度图。显示控制部128还获取由位置获取部127获取的虚拟对象的位置。
现在，显示控制部128基于由位置获取部127获取的虚拟对象的位置和由真实对象检测部122检测到的驻留在真实空间中并且远离虚拟对象定位的真实对象的特征来控制至少虚拟对象的边界的显示。利用这种结构，现在可以在抑制虚拟对象的可识别性劣化的同时降低虚拟对象的显示中的错误感。例如，在虚拟对象和真实对象处于第一位置关系的情况下，较之虚拟对象和真实对象处于与第一位置关系不同的第二位置关系的情况，显示控制部128不同地显示至少虚拟对象的边界。在响应于用向其呈现虚拟对象的用户的视场的运动，虚拟对象与真实对象之间的位置关系从第一位置关系改变成第二位置关系的情况下，现在显示控制部128可以修改至少虚拟对象的边界的显示。
更具体地，显示控制部128基于真实对象的特征来计算虚拟对象的显示延迟感的预测强度。然后，显示控制部128基于虚拟对象的位置和显示延迟感的预测强度来控制至少虚拟对象的边界的显示。更具体地，显示控制部128可以控制虚拟对象的位置、形状、运动、颜色、亮度和边界的清晰度中的至少之一。
真实对象的特征可以是任何类型。例如，真实对象的特征可以包含真实对象的形状和运动中的至少之一。例如，真实对象的边缘中的直线部分的百分比越大，虚拟对象的显示延迟感就越大。然后，当真实对象的边缘中的直线部分的百分比增加时，显示控制部128优选地增加显示延迟感的预测强度。
同时，真实对象的运动越大，虚拟对象的显示延迟感就越小。然后，当真实对象的运动增加时，显示控制部128优选地增加显示延迟感的预测强度。
显示控制部128可以基于真实对象的特征来计算显示延迟感的预测强度，可以基于虚拟对象的特征来计算显示延迟感的预测强度，或者可以基于真实对象的特征和虚拟对象的特征两者来计算显示延迟感的预测强度。
虚拟对象的特征可以是任何类型。例如，虚拟对象的特征可以包含虚拟对象的形状和运动中的至少之一。例如，在虚拟对象的边缘中的直线部分的百分比越大，虚拟对象的显示延迟感就越大。然后，当虚拟对象的边缘中的直线部分的百分比增加时，显示控制部128优选地增加显示延迟感的预测强度。
同时，虚拟对象的运动越大，虚拟对象的显示延迟感就越小。然后，当虚拟对象的运动增加时，显示控制部128优选地增加显示延迟感的预测强度。
现在可以针对每个虚拟对象确定显示延迟感的预测强度。可替选地，可以针对虚拟对象的每个特征初步确定显示延迟感的预测强度。下面的段落将具体说明以下情况：针对每个虚拟对象并且针对虚拟对象的每个特征初步确定虚拟对象的显示延迟感的预测强度。图6至图8是总结了示例性虚拟对象以及与虚拟对象相关的显示延迟感的预测强度的图表。
现在参照图6，与具有边缘中的直线部分的大百分比的虚拟对象30-31对应的显示延迟感的预测强度被给出为“1.0”；与具有边缘中的直线部分的中等百分比的虚拟对象30-32对应的显示延迟感的预测强度被给出为“0.9”；并且与具有边缘中的直线部分的小百分比的虚拟对象30-33对应的显示延迟感的预测强度被给出为“0.7”。
现在参照图7，与静止的虚拟对象30-34对应的显示延迟感的预测强度被给出为“0.4”；与移动眼睛以凝视用户的虚拟对象30-35对应的显示延迟感的预测强度被给出为“0.35”；并且，与充满活力的虚拟对象30-36对应的显示延迟感的预测强度被给出为“0.25”。稍后将参照图12描述移动眼睛以凝视用户的虚拟对象30-35。
现在参照图8，与具有尾部的小竖直摇摆运动的虚拟对象30-37对应的显示延迟感的预测强度被给出为“0.15”；并且与具有头部的大横向摆动运动的虚拟对象30-38对应的显示延迟感的预测强度被给出为“0.1”。
可以如上所述确定显示延迟感的预测强度。在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地修改至少虚拟对象的边界的显示。更具体地，在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地修改虚拟对象的位置、形状、运动、颜色、亮度和边界的清晰度中的至少之一。
注意，可以在应用中针对每个虚拟对象并且针对虚拟对象的每个特征初步确定虚拟对象的显示延迟感的预测强度。另外，当显示延迟感的预测强度超过阈值时，可以在应用中将经修改的虚拟对象初步确定为避免模式。可以唯一地确定经修改的虚拟对象，或者可以修改虚拟对象使得当显示延迟感的预测强度增加时，显示延迟感的预测强度将更多地降低。下面的段落将说明虚拟对象的显示的示例性修改。
图9是示出虚拟对象的颜色的示例性修改的图。如图9中所见，虚拟对象30-3在时间t3处被布置在用户u的视场70-3中。由于用户u在从时间t3至时间t4的持续时间内向右摆动脖子，因此使得用户u的视场70-3在时间t4处已经偏移至视场70-4。
在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地使虚拟对象30-3变亮。这应当最终降低虚拟对象30-4的显示延迟感。例如，在显示延迟感的预测强度超过阈值的情况下，显示控制部128优选地将虚拟对象30-3的颜色修改为更接近于真实对象40-1的颜色，真实对象40-1距虚拟对象30-3的距离小于预定距离(从而产生虚拟对象30-4)。这应当最终降低虚拟对象30-4的显示延迟感。
在图9所示的示例中，可以通过任何方法来计算显示延迟感的预测强度。例如，在真实对象40-1的特征包含真实对象40-1的颜色并且虚拟对象30-3的特征包含虚拟对象30-3的颜色的情况下，随着真实对象40-1的颜色和虚拟对象30-3的颜色变得更少地相似时，显示控制部128可以更大地计算显示延迟感的预测强度。
图10是示出虚拟对象的亮度的示例性修改的图。如在图10中所见，虚拟对象30-5在时间t5处被布置在用户u的视场70-5中。由于用户u在从时间t5至时间t6的持续时间内向右摆动脖子，因此用户u的视场70-5在时间t6处已经偏移至视场70-6。
在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地降低虚拟对象30-5的亮度。这应当最终降低虚拟对象30-6的显示延迟感。例如，在显示延迟感的预测强度超过阈值的情况下，显示控制部128优选地将虚拟对象30-5的亮度修改为更接近于真实对象40-1的亮度，真实对象40-1距虚拟对象30-5的距离小于预定距离(从而产生虚拟对象30-6)。
在图10所示的示例中，可以通过任何方法来计算显示延迟感的预测强度。例如，在真实对象40-1的特征包含真实对象40-1的亮度并且虚拟对象30-5的特征包含虚拟对象30-5的亮度的情况下，随着真实对象40-1的亮度与虚拟对象30-5的亮度之间的差变得更大，显示控制部128可以更大地计算显示延迟感的预测强度。
图11是总结了真实对象的亮度、虚拟对象的亮度以及显示延迟感的预测强度之间的示例性关系的图表。如在图11中所见，总结了分别与真实对象40-3的亮度和虚拟对象30-39至30-42的亮度对应的显示延迟感的预测强度。如在图11中所见，当真实对象的亮度与虚拟对象的亮度之间的差变得更大时，虚拟对象的显示延迟感的预测强度可以设置得更大。
在显示延迟感的预测强度超过阈值的情况下，显示控制部128可以赋予虚拟对象运动或者增强虚拟对象的运动。例如，在显示延迟感的预测强度超过阈值的情况下，显示控制部128可以将虚拟对象的运动从静止状态修改成移动眼睛以凝视用户的状态。这应当最终降低虚拟对象的显示延迟感。
图12是示出移动眼睛以凝视用户的示例性虚拟对象的图。如在图12中所见，由于用户u在从时间t7至时间t9的持续时间内向右摆动脖子，因此使得视场70-7已经偏移至视场70-9。虚拟对象30-7在这种状态下可能移动眼睛以凝视用户(虚拟对象30-8、30-9)。
图13是示出虚拟对象的亮度的示例性修改的图。如在图13中所见，虚拟对象30-10在时间t10处被布置在用户u的视场70-10中。由于用户u在从时间t10至时间t11的持续时间内向右摆动脖子，因此使得用户u的视场70-10在时间t11处已经偏移至视场70-11。
在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地降低虚拟对象30-10的边界的可识别性(例如，清晰度)(优选地使虚拟对象30-10模糊)(从而产生虚拟对象30-11)。这应当最终降低虚拟对象30-10的显示延迟感。
可替选地，在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地使虚拟对象的位置远离真实对象。这应当最终降低虚拟对象的显示延迟感。例如，在显示延迟感的预测强度超过阈值的情况下，显示控制部128优选地使虚拟对象的位置远离真实对象，真实对象距虚拟对象的距离小于预定距离。
可替选地，在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地修改虚拟对象的形状。这应当最终降低虚拟对象的显示延迟感。例如，在显示延迟感的预测强度超过阈值的情况下，显示控制部128然后优选地修改虚拟对象的形状以降低在边缘中的直线部分的百分比。
可以考虑到构成真实对象的直线的位置来计算显示延迟感的预测强度。也就是说，在真实对象的特征包含构成真实对象的直线的位置并且虚拟对象的特征包含虚拟对象的位置的情况下，随着虚拟对象的位置和构成真实对象的直线的位置变得接近，显示控制部128可以更大地计算显示延迟感的预测强度。将参照图14来详细说明这种示例。
图14是示出基于构成真实对象的直线的位置的显示延迟感的预测强度的示例性计算的图。如图14中所见，呈现了用户u的视场70-21。在用户u的视场70-21中，布置了虚拟对象30-21和虚拟对象30-22。
在距虚拟对象30-21预定范围内，布置有构成真实对象40-4的一条直线、构成真实对象40-5的两条直线和构成真实对象40-6的一条直线。还从虚拟对象30-21起绘制与相应的直线垂直的垂线e11至e14。
现在，假设如下情况：随着虚拟对象的位置和构成真实对象的直线的位置变得接近，显示控制部128更大地计算显示延迟感的预测强度。在这种情况下，显示控制部128可以分别针对垂线e11至e14将显示延迟感的预测强度计算为“0.2”、“0.18”、“0.15”和“0.05”。
假定虚拟对象30-21的显示延迟感的标准预测强度为“1.0”，显示控制部128可以将分别与垂线e11至e14对应的“0.2”、“0.18”、“0.15”和“0.05”的显示延迟感的预测强度与作为虚拟对象30-21的显示延迟感的标准预测强度“1.0”相加，从而估计虚拟对象30-21的显示延迟感的预测强度为“1.58”。
在距虚拟对象30-22的预定范围内，也存在构成真实对象40-7的三条直线。从虚拟对象30-22起，绘制与相应的直线垂直的垂线e21至e23。显示控制部128可以分别针对垂线e21至e23将显示延迟感的预测强度类似地计算为“0.03”、“0.018”和“0.01”。
假定虚拟对象30-21的显示延迟感的标准预测强度为“1.0”，显示控制部128可以将分别与垂线e21至e23对应的“0.03”、“0.018”和“0.01”的显示延迟感的预测强度与作为虚拟对象30-21的显示延迟感的标准预测强度“1.0”相加，从而估计虚拟对象30-22的显示延迟感的预测强度为“1.058”。
参照图14，基于构成真实对象的直线的位置，对显示延迟感的预测强度的示例性计算进行了说明。注意，可以基于构成真实对象的直线的方向而不是构成真实对象的直线的位置来计算显示延迟感的预测强度。在这种情况下，随着构成真实对象的直线和构成虚拟对象的直线更接近地平行对齐，可以更大地计算显示延迟感的预测强度。
更具体地，在真实对象的特征包含构成真实对象的直线的方向并且虚拟对象的特征包含构成虚拟对象的直线的方向的情况下，随着构成虚拟对象的直线的方向与构成真实对象的直线的方向之间的角度变得更小，显示控制部128可以更大地计算显示延迟感的预测强度。类似于图14所示的情况，在这种情况下，对于虚拟对象与构成真实对象的直线之间的距离小于预定距离的情况，仅将显示延迟感的预测强度与虚拟对象的显示延迟感的标准预测强度相加是可接受的。
注意，可以使用构成虚拟对象的直线的方向矢量和构成真实对象的直线的方向矢量的内积来计算构成虚拟对象的直线的方向与构成真实对象的直线的方向之间的角度。
上面的段落已经说明了基于真实对象和虚拟对象中的至少之一的特征，由显示控制部128进行的虚拟对象的显示的示例性控制。然而，显示延迟感可以根据虚拟摄像装置的运动而改变。然后，替代使用真实对象和虚拟对象中的至少之一的特征或者除了使用真实对象和虚拟对象中的至少之一的特征之外，显示控制部128可以根据虚拟摄像装置的运动来控制至少虚拟对象的边界的显示。
在虚拟摄像装置的运动超过预定运动的情况下，显示控制部128可以修改至少虚拟对象的边界的显示。例如，在虚拟摄像装置的运动超过预定运动的情况下，显示控制部128可以增加虚拟对象的显示延迟感的预测强度。例如，随着虚拟摄像装置的运动变得更大时，显示控制部128可以更大地计算虚拟对象的显示延迟感的预测强度。可以以与上面所述的相同的方式来控制基于显示延迟感的预测强度的虚拟对象的显示。
已经说明了根据本实施方式的信息处理设备10的功能。
[1.3.信息处理设备的示例性操作]
接下来，将说明根据本实施方式的信息处理设备10的示例性操作。
图15是示出根据本实施方式的信息处理设备10的示例性操作的流程图。注意，图15所示的示例性操作仅表示根据本实施方式的信息处理设备10的一个典型的操作流程。因此，根据本实施方式的信息处理设备10的操作不限于图15所示的示例性操作。
如在图15中所见，自身位置估计部125基于由用于视场分析的成像部111在一段时间内连续捕获的多个图像来识别真实空间(s11)。自身位置估计部125基于真实空间的识别结果将用于视场分析的成像部111在真实空间中的位置和姿势(虚拟摄像装置的位置)估计为自身位置。
应用执行部126确定要布置在虚拟空间中的虚拟对象(s12)，并且将虚拟对象的显示延迟感的预测强度、避免模式和阈值的组合通知给显示控制部128(s13)。应用执行部126确定虚拟对象在虚拟空间中的位置(s14)。显示控制部128基于虚拟对象的特征和真实对象的特征中的至少之一来计算虚拟对象的显示延迟感的预测强度(s15)。
在显示延迟感的预测强度超过阈值的情况下(在s16中为“是”)，显示控制部128参照避免模式来修改虚拟对象的显示模式(s17)，并且使操作前进至s16。可以参照分别与虚拟对象的各个特征对应的避免模式以这种方式顺序地修改虚拟对象的显示模式，直到显示延迟感的预测强度不再超过阈值为止。
同时，例如，在显示延迟感的预测强度未超过阈值的情况下(在s16中为“否”)，显示控制部128可以绘制虚拟对象(s18)，并且如果通常由于虚拟对象的特征和真实对象的特征中的至少之一的修改而需要重新决定(在s19中为“是”)，则可以使操作前进至s15，同时，如果不需要重新决定(在s19中为“否”)，则可以使操作前进至s11。
上面的段落已经说明了根据本实施方式的信息处理设备10的示例性操作。
<2.示例性硬件配置>
接下来，将参照图16说明根据本公开内容的信息处理设备10的示例性功能配置。图16是示出根据本公开内容的实施方式的信息处理设备10的示例性硬件配置的框图。
如在图16中所见，信息处理设备10具有中央处理单元(cpu)901、只读存储器(rom)903和随机存取存储器(ram)905。信息处理设备10还可以具有主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。另外，信息处理设备10可以可选地具有成像设备933和传感器935。替代cpu901或者除了cpu901之外，信息处理设备10可以可替选地具有被称为数字信号处理器(dsp)或专用集成电路(asic)的处理电路。
cpu901用作算术处理单元和控制设备，并且根据记录在rom903、ram905、存储设备919或可移动记录介质927中的各种程序来控制信息处理设备10内的全部或部分操作。rom903存储由cpu901使用的程序、计算参数等。ram905临时存储由cpu901执行的程序、在执行期间适当改变的参数等。cpu901、rom903和ram905通过由诸如cpu总线的内部总线组成的主机总线907相互连接。主机总线907通过桥接器909连接至诸如外围部件互连/接口(pci)总线的外部总线911。
输入设备915是可由用户操作的设备，例如鼠标、键盘、触摸面板、按钮、开关和操纵杆。输入设备915可以包括感测用户的语音的麦克风。输入设备915通常可以是利用红外辐射或其他电波的远程控制设备，或者可以是与信息处理设备10上的操作兼容的外部连接装备929例如移动电话。输入设备915包括响应于由用户输入的信息而生成输入信号并且将该输入信号输出至cpu901的输入控制电路。用户操作输入设备915以将各种数据输入至信息处理设备10中，或者发出用于处理操作的指令。另外，稍后描述的成像设备933可以通过捕获用户的手的运动、用户的手指的图像等来用作输入设备。在这种情况下，可以基于手的运动或手指的方向来确定指向位置。
输出设备917由能够将所获得的信息以可视或可听的方式通知给用户的设备组成。输出设备917通常可以是以下任意一种：诸如液晶显示器(lcd)、等离子显示面板(pdp)以及有机电致发光(el)显示器的显示设备；诸如投影仪的显示设备；全息显示设备；诸如扬声器和耳机的声音输出设备以及打印机。输出设备917输出由信息处理设备10处理之后所获得的包括文本、图像等的照片的形式或者包括语音、音频数据等的声音的形式的结果。输出设备917还可以具有用于照亮外围等的光。
存储设备919是被构造为信息处理设备10的示例性存储部的存储数据的设备。存储设备919通常由诸如硬盘驱动器(hdd)的磁存储设备、半导体存储设备、光学存储设备、光磁存储设备等构成。存储设备919存储要由cpu901执行的程序、各种数据以及外部地获取的各种数据。
驱动器921是用于诸如磁盘、光盘、光磁盘和半导体存储器的可移动记录介质927的读取器/写入器，该可移动记录介质927被并入或外部地附接至信息处理设备10。驱动器921读取记录在附接的可移动记录介质927中的信息，并且将该信息输出至ram905。驱动器921还将记录写入附接的可移动记录介质927中。
连接端口923用于将装备直接连接至信息处理设备10。连接端口923通常可以是通用串行总线(usb)端口、ieee1394端口、小型计算机系统接口(scsi)端口等。可替选地，连接端口923可以是rs-232c端口、光学音频终端、高清晰度多媒体接口(hdmi)(注册商标)端口等。外部连接装备929与连接端口923的连接使得能够在信息处理设备10与外部连接装备929之间进行各种数据的交换。
通信设备925是例如通常由通信设备组成的通信接口，通过该通信设备建立与通信网络931的连接。通信设备925可以是例如用于有线或无线局域网(lan)的通信卡、蓝牙(注册商标)、无线usb(wusb)等。可替选地，通信设备925可以是光学通信路由器、非对称数字用户线(adsl)路由器、用于各种类型的通信的调制解调器等。通信设备925通常使用诸如tcp/ip的预定协议向因特网和其他通信设备发送信号以及从因特网和其他通信设备接收信号等。与通信设备925连接的通信网络931是以有线或无线方式连接的网络，并且通常是因特网、家庭lan、红外通信、无线电波通信、卫星通信等。
成像设备933是使用图像传感器例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)以及用于控制在图像传感器上的主题图像的成像的各种部件例如透镜来拍摄真实空间的照片并且生成拍摄成照片的图像的设备。成像设备933可以是用于拍摄不动的图像的设备或者用于拍摄视频的设备。
传感器935是各种传感器中的任意一种，通常包括测距传感器、加速度传感器、陀螺仪传感器、地磁传感器、光电传感器、声音传感器等。传感器935获取关于信息处理设备10本身的信息，例如信息处理设备10的外壳的姿势；以及关于信息处理设备10的外围环境的信息例如信息处理设备10周围的亮度或噪声。传感器935还可以具有接收全球定位系统(gps)信号以确定设备的经度和纬度的gps传感器。
<3.结论>
如上面已经描述的，根据本公开内容的实施方式，提供了信息处理设备10，其包括位置获取部127，该位置获取部127获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，所述虚拟摄像装置的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和显示控制部128，其基于虚拟对象的位置和驻留在真实空间中的真实对象的特征来控制至少虚拟对象的边界的显示。
利用这种结构，现在可以在抑制虚拟对象的可识别性劣化的同时降低虚拟对象的显示中的错误感。
尽管已经参照附图描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这些示例。显然，在不脱离权利要求中描述的技术精神的情况下，在本公开内容的技术领域中具有普通知识的技术人员可以得出各种改变的示例或修改的示例，而且这些示例当然被理解为属于本公开内容的技术范围。
还可以创建使得计算机中的内置硬件例如cpu、rom和ram能够表现出与由前面提及的控制部120所拥有的功能类似的功能的程序。还可以提供记录这种程序的计算机可读记录介质。
只要实施前面提及的信息处理设备10的操作，就不具体限制各个组成部分的位置。在信息处理设备10的各个部件中发生的处理的一部分可以由服务器(未示出)来承担。在具体示例中，由信息处理设备10的控制部120所拥有的各个块中的一部分或全部可以驻留在服务器(未示出)等中。例如，信息处理设备10中的真实对象检测部122、测距部124、自身位置估计部125和应用执行部126的功能中的一部分或全部可以驻留在服务器(未示出)等中。
本说明书中描述的效果仅仅是说明性或示例性的，而不是限制性的。也就是说，根据本说明书的描述，结合上面提及的效果或替代上面提及的效果，根据本公开内容的技术可以表现出对于本领域技术人员而言明显的其他效果。
以下结构也属于本公开内容的技术范围。
(1)一种信息处理设备，包括：
位置获取部，其获取已近基于与由成像设备捕获的图像对应的真实空间的识别结果而确定的虚拟对象在真实空间中的位置；和
显示控制部，其基于所述虚拟对象的位置和驻留在所述真实空间中并且远离所述虚拟对象的位置的真实对象的特征来控制至少所述虚拟对象的边界的显示。
(2)根据(1)所述的信息处理设备，
其中，在所述虚拟对象和所述真实对象处于第一位置关系的情况下，较之其中所述虚拟对象和所述真实对象处于与所述第一位置关系不同的第二位置关系的情况，所述显示控制部不同地显示至少所述虚拟对象的边界。
(3)根据(2)所述的信息处理设备，
其中，在响应于向其呈现所述虚拟对象的用户的视场的运动，所述虚拟对象与所述真实对象之间的位置关系从所述第一位置关系改变成所述第二位置关系的情况下，所述显示控制部修改至少所述虚拟对象的边界的显示。
(4)根据(1)所述的信息处理设备，
其中，所述显示控制部基于所述真实对象的特征来计算所述虚拟对象的显示延迟感的预测强度，并且基于所述虚拟对象的位置和所述显示延迟感的预测强度来控制至少所述虚拟对象的边界的显示。
(5)根据(4)所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部使所述虚拟对象的位置远离所述真实对象。
(6)根据(4)所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部修改所述虚拟对象的形状。
(7)根据(4)所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部赋予所述虚拟对象运动或者增强所述虚拟对象的运动。
(8)根据(4)所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部将所述虚拟对象的颜色和亮度中的至少之一修改为更接近于所述真实对象的颜色和亮度中的至少之一。
(9)根据(4)所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部降低所述虚拟对象的边界的可识别性。
(10)根据(1)所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的形状和运动中的至少一个。
(11)根据(4)所述的信息处理设备，
其中，所述显示控制部基于所述真实对象的特征和所述虚拟对象的特征来计算所述显示延迟感的预测强度。
(12)根据(11)所述的信息处理设备，
其中，所述真实对象的特征包含构成所述真实对象的直线的位置，
所述虚拟对象的特征包含所述虚拟对象的位置，并且
随着所述虚拟对象的位置和构成所述真实对象的直线的位置变得更接近，所述显示控制部更大地计算所述显示延迟感的预测强度。
(13)根据(11)所述的信息处理设备，
其中，所述真实对象的特征包含构成所述真实对象的直线的方向，
所述虚拟对象的特征包含构成所述虚拟对象的直线的方向，并且
随着构成所述虚拟对象的直线的方向与构成所述真实对象的直线的方向之间的角度变得更小，所述显示控制部更大地计算所述显示延迟感的预测强度。
(14)根据(11)所述的信息处理设备，
其中，所述虚拟对象的特征包含所述虚拟对象的形状和运动中的至少之一。
(15)根据权利要求(11)所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的颜色，
所述虚拟对象的特征包含所述虚拟对象的颜色，并且
随着所述真实对象的颜色和所述虚拟对象的颜色变得更少地相似，所述显示控制部更大地计算所述显示延迟感的预测强度。
(16)根据(11)所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的亮度，
所述虚拟对象的特征包含所述虚拟对象的亮度，并且
随着所述真实对象的亮度与所述虚拟对象的亮度之间的差变得更大，所述显示控制部更大地计算所述显示延迟感的预测强度。
(17)根据(1)所述的信息处理设备，
其中，所述显示控制部基于根据所述真实空间的识别结果计算出的虚拟摄像装置的运动来控制至少所述虚拟对象的边界的显示。
(18)根据(17)所述的信息处理设备，
其中，在所述虚拟摄像装置的运动超过预定运动的情况下，所述显示控制部修改至少所述虚拟对象的边界的显示。
(19)一种信息处理方法，包括：
获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，所述虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和
基于所述虚拟对象的位置和驻留在所述真实空间中的真实对象的特征来控制至少所述虚拟对象的边界的显示。
(20)一种程序，其将计算机用作信息处理设备，所述信息处理设备包括：
位置获取部，其获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，所述虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和
显示控制部，其基于所述虚拟对象的位置和驻留在所述真实空间中的真实对象的特征来控制至少所述虚拟对象的边界的显示。
附图标记列表
10信息处理设备
111用于视场分析的成像部
112传感器部
120控制部
121真实空间信息获取部
122真实对象检测部
123应用执行部
124测距部
125自身位置估计部
126应用执行部
127位置获取部
128显示控制部
130存储部
150显示部
1.一种信息处理设备，包括：
位置获取部，其获取已经基于与由成像设备捕获的图像对应的真实空间的识别结果而确定的虚拟对象在所述真实空间中的位置；和
显示控制部，其基于所述虚拟对象的位置和驻留在所述真实空间中并且远离所述虚拟对象的位置的真实对象的特征来控制至少所述虚拟对象的边界的显示。
2.根据权利要求1所述的信息处理设备，
其中，在所述虚拟对象和所述真实对象处于第一位置关系的情况下，较之其中所述虚拟对象和所述真实对象处于与所述第一位置关系不同的第二位置关系的情况，所述显示控制部不同地显示至少所述虚拟对象的边界。
3.根据权利要求2所述的信息处理设备，
其中，在响应于向其呈现所述虚拟对象的用户的视场的运动，所述虚拟对象与所述真实对象之间的位置关系从所述第一位置关系改变成所述第二位置关系的情况下，所述显示控制部修改至少所述虚拟对象的边界的显示。
4.根据权利要求1所述的信息处理设备，
其中，所述显示控制部基于所述真实对象的特征来计算所述虚拟对象的显示延迟感的预测强度，并且基于所述虚拟对象的位置和所述显示延迟感的预测强度来控制至少所述虚拟对象的边界的显示。
5.根据权利要求4所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部使所述虚拟对象的位置远离所述真实对象。
6.根据权利要求4所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部修改所述虚拟对象的形状。
7.根据权利要求4所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部赋予所述虚拟对象运动或者增强所述虚拟对象的运动。
8.根据权利要求4所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部将所述虚拟对象的颜色和亮度中的至少之一修改为更接近于所述真实对象的颜色和亮度中的至少之一。
9.根据权利要求4所述的信息处理设备，
其中，在所述显示延迟感的预测强度超过阈值的情况下，所述显示控制部降低所述虚拟对象的边界的可识别性。
10.根据权利要求1所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的形状和运动中的至少之一。
11.根据权利要求4所述的信息处理设备，
其中，所述显示控制部基于所述真实对象的特征和所述虚拟对象的特征来计算所述显示延迟感的预测强度。
12.根据权利要求11所述的信息处理设备，
其中，所述真实对象的特征包含构成所述真实对象的直线的位置，
所述虚拟对象的特征包含所述虚拟对象的位置，并且
随着所述虚拟对象的位置和构成所述真实对象的直线的位置变得更接近，所述显示控制部更大地计算所述显示延迟感的预测强度。
13.根据权利要求11所述的信息处理设备，
其中，所述真实对象的特征包含构成所述真实对象的直线的方向，
所述虚拟对象的特征包含构成所述虚拟对象的直线的方向，并且
随着构成所述虚拟对象的直线的方向与构成所述真实对象的直线的方向之间的角度变得更小，所述显示控制部更大地计算所述显示延迟感的预测强度。
14.根据权利要求11所述的信息处理设备，
其中，所述虚拟对象的特征包含所述虚拟对象的形状和运动中的至少之一。
15.根据权利要求11所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的颜色，
所述虚拟对象的特征包含所述虚拟对象的颜色，并且
随着所述真实对象的颜色和所述虚拟对象的颜色变得更少地相似，所述显示控制部更大地计算所述显示延迟感的预测强度。
16.根据权利要求11所述的信息处理设备，
其中，所述真实对象的特征包含所述真实对象的亮度，
所述虚拟对象的特征包含所述虚拟对象的亮度，并且
随着所述真实对象的亮度与所述虚拟对象的亮度之间的差变得更大，所述显示控制部更大地计算所述显示延迟感的预测强度。
17.根据权利要求1所述的信息处理设备，
其中，所述显示控制部基于根据所述真实空间的识别结果计算出的虚拟摄像装置的运动来控制至少所述虚拟对象的边界的显示。
18.根据权利要求17所述的信息处理设备，
其中，在所述虚拟摄像装置的运动超过预定运动的情况下，所述显示控制部修改至少所述虚拟对象的边界的显示。
19.一种信息处理方法，包括：
获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，所述虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和
基于所述虚拟对象的位置和驻留在所述真实空间中的真实对象的特征来控制至少所述虚拟对象的边界的显示。
20.一种程序，其将计算机用作信息处理设备，所述信息处理设备包括：
位置获取部，其获取已经基于虚拟摄像装置的位置而确定的虚拟对象的位置，所述虚拟对象的位置已经基于与由成像设备捕获的图像对应的真实空间的识别结果被计算出；和
显示控制部，其基于所述虚拟对象的位置和驻留在所述真实空间中的真实对象的特征来控制至少所述虚拟对象的边界的显示。
技术总结