基于5G通信的虚拟现实呈现方法、系统及装置与流程

专利2022-06-29  81


本发明涉及虚拟现实技术领域,具体地说,是涉及一种基于5g通信的虚拟现实呈现方法、系统及装置。



背景技术:

虚拟现实(virtualreality,简称vr)是利用电脑模拟产生一个三维空间的虚拟环境,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地观察三维空间内的事物。

典型的虚拟现实系统由虚拟现实显示装置(例如头戴式显示器或智能眼镜)和虚拟现实应用软件(例如虚拟现实游戏软件)组成。虚拟现实应用软件创建三维立体场景,并通过虚拟现实显示装置进行渲染显示。用户佩戴虚拟现实显示装置后,外部真实场景被屏蔽,只能看到虚拟现实应用软件创建的场景,进入虚拟环境。

部分虚拟现实应用软件设定,当用户在虚拟环境移动时,也需要在现实环境移动,这就需要与现实环境进行交互。由于用户看不到现实环境,容易与障碍物(桌椅、墙壁)碰撞,存在安全风险。

某些虚拟现实系统通过在虚拟现实显示装置或者周围环境中安装摄像机来解决安全问题。摄像机实时拍摄周围现实环境,虚拟现实系统识别出真实场景中的物体,并将可能会与用户交互的真实物体添加到所创建虚拟环境的对应位置中,通过虚拟现实显示装置进行渲染显示。这样用户就可以在虚拟环境中与现实物体进行交互。

上述系统在提升安全性的同时,也降低了虚拟环境拟真度。例如,一款主题是在史前时代狩猎恐龙的虚拟现实游戏软件,用户在史前森林虚拟环境探险时,看到属于现代的沙发、冰箱、水泥墙,严重影响用户在虚拟环境中的沉浸度。



技术实现要素:

为了解决上述技术问题,本发明的第一目的在于提供一种基于5g通信的虚拟现实呈现方法,该方法可避免虚拟环境中出现不符合其场景设定的物体,提高虚拟环境的拟真度。

本发明的第二目的在于提供一种基于5g通信的虚拟现实呈现系统,该系统用于实施上述虚拟现实呈现方法。

本发明的第三目的在于提供一种基于5g通信的虚拟现实呈现装置,该装置可用于实现上述虚拟现实呈现方法。

为了实现上述目的,本发明的一个方面,提供一种基于5g通信的虚拟现实呈现方法,该方法包括如下步骤:

预先根据定制主题创建包含现实环境对象与对应于该定制主题的虚拟环境对象之间的映射规则的映射规则库;

实时获取现实环境视频数据;

识别该现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

对所述虚拟环境视频数据进行实时显示。

作为优选,所述现实环境对象包括现实环境视觉对象,所述虚拟环境对象包括虚拟环境视觉对象,优选地,可以包括现实环境视觉对象的物理信息、虚拟环境视觉对象的物理信息等。

作为优选,对虚拟环境视频数据进行实时显示的具体方法为:

将对应于当前现实环境的虚拟环境视频数据划分为第一视场区域和第二视场区域,

其中,第一视场区域与人眼视场相对应,第二视场区域与所获取的现实环境视频数据的原始范围相对应,设定第二视场区域大于第一视场区域且将第一视场区域包含在内;

将所述第一视场区域映射于对应人眼的显示设备上,从而确保人眼视场边缘处的现实环境视觉对象均被替换为虚拟环境视觉对象。

需要说明,因为用户需要佩戴相应的显示设备(如vr智能眼镜等)才能获取虚拟环境视频数据,因此,这里的人眼视场所及区域与显示设备的显示区域一致。

作为优选,判断现实环境视觉对象是否符合虚拟环境设定的具体方法为:

获取现实环境视觉对象的物理信息;

根据现实环境视觉对象的物理信息判断其所属类型;

根据映射规则库判断该类型是否符合虚拟环境设定。

作为优选,根据映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于所述虚拟环境的虚拟环境视觉对象的具体方法为:

分析所述现实环境视觉对象的静态物理信息和动态物理信息;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境视觉对象,将该现实环境视觉对象替换为相同或相近规格的该虚拟环境视觉对象。

作为优选,所述静态物理信息包括现实环境视觉对象的类型、形状、尺寸及颜色信息;

所述动态物理信息包括现实环境视觉对象相对采集点的位置信息。

作为优选,该基于5g通信的虚拟现实呈现方法还包括:

获取现实环境音频数据;

提取该现实环境音频数据中的现实环境听觉对象,根据该现实环境听觉对象的声音属性判断其是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将该现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

对所述虚拟环境的音频数据进行实时输出。

这里需要说明,所述现实环境对象还可以包括现实环境听觉对象,所述虚拟环境对象还可以包括虚拟环境听觉对象,具体地,现实环境听觉对象的声音属性可以包括现实环境听觉对象的音轨信息、现实环境听觉对象的声音属性可以包括虚拟环境听觉对象的音轨信息等。

作为优选,提取现实环境音频数据中的现实环境听觉对象的具体方法为:提取现实环境音频数据中的不同音轨,将各音轨分别设定为独立的现实环境听觉对象。

作为优选,根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象的具体方法为:

根据所述现实环境听觉对象的声音属性判断其所属类型;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境听觉对象,将该现实环境听觉对象替换为相应的虚拟环境听觉对象。

作为优选,所述映射规则库具体包括可定制特征数据库及与所述可定制特征数据库内指定对象相关联的一个或多个可定制对象。

本发明的另一个方面,提供一种基于5g通信的虚拟现实呈现系统,该系统基于5g通信技术实施上述的虚拟现实呈现方法,具体地,该系统包括:

存储单元,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

视频数据采集单元,用于获取现实环境的视频数据;

虚拟环境处理单元,用于识别现实环境视频数据中的现实环境视觉对象,并根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

虚拟环境显示单元,对所述虚拟环境视频数据进行显示。

作为优选,该系统还包括:

音频数据采集单元,用于获取现实环境音频数据;所述虚拟环境处理单元识别现实环境音频数据中的现实环境听觉对象,并根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

音频播放单元,对所述虚拟环境音频数据进行播放。

本发明的再一个方面,提供一种基于5g通信的虚拟现实呈现装置,该装置用于实施如上所述的基于5g通信的虚拟现实呈现方法,该装置包括:

头戴式的显示设备;

音频播放设备,与显示器连接并适配于人耳;

多个传感器,设置于显示器上,多个传感器与所述显示器协作以检测所述装置的视场中的现实环境视频数据和现实环境音频数据;

存储模块,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

与所述显示设备、音频播放设备、存储模块及传感器进行通信的一个或多个处理设备,所述一个或多个处理设备自动地:

根据定制主题确定映射规则库;

实时获取现实环境视频数据和现实环境音频数据;

识别现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;识别现实环境音频数据中的现实环境听觉对象,判断该现实环境听觉对象是否符合虚拟环境光设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

将所述虚拟环境视频数据显示于显示设备上,将所述虚拟环境音频频数据播放于语言播放设备上。

作为优选,所述处理设备包括远程主机,该远程主机通过5g网络与所述显示设备、音频播放设备及传感器进行通信。

与现有技术相比,本发明的有益效果为:

该方法通过创建映射规则库,根据映射规则对不符合虚拟环境设定的现实环境对象替换为符合虚拟环境设定的虚拟环境对象,既可以避免用户在移动过程中与障碍物发生碰撞,又有效提高了虚拟环境的拟真度。

基于5g通信技术,确保通信及数据处理过程的时效性,优化用户体验。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的限定。

图1是本发明实施例中虚拟现实呈现方法的流程图;

图2是本发明实施例中虚拟现实呈现装置的结构示意图;

图3是本发明实施例中具有5g通信模块及远程主机的虚拟现实呈现装置的结构示意图;

图4(a)是场景1中用户所处现实环境示意图;

图4(b)是场景1中用户所处虚拟环境示意图;

图4(c)是场景1中虚拟现实呈现方法的流程示意图;

图5(a)是场景2中用户所处现实环境示意图;

图5(b)是场景2中用户所处虚拟环境示意图;

图5(c)是场景2中虚拟现实呈现方法的流程示意图。

其中,1a、第一显示器;1b、第二显示器;2、控制器;3、激光雷达;4a、第一景深摄像机;4b、第二景深摄像机;5a、第一镜腿;5b、第二镜腿;6a、第一耳机;6b、第二耳机;7、5g通信模块;8、远程主机。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

此外,在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上,除非另有明确的限定。

在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。

以下提供一种基于5g通信的虚拟现实呈现方法,如图1所示,该方法包括如下步骤:

预先根据定制主题创建包含现实环境对象与对应于该定制主题的虚拟环境对象之间的映射规则的映射规则库;

实时获取现实环境视频数据;

识别该现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

对所述虚拟环境视频数据进行实时显示。

作为一种优选的实施方案,所述现实环境对象包括现实环境视觉对象,所述虚拟环境对象包括虚拟环境视觉对象,优选地,可以包括环境视觉对象的物理信息、虚拟环境视觉对象的物理信息等。

作为一种优选的实施方案,对虚拟环境视频数据进行实时显示的具体方法为:

将对应于当前现实环境的虚拟环境视频数据划分为第一视场区域和第二视场区域,

其中,第一视场区域与人眼视场相对应,第二视场区域与所获取的现实环境视频数据的原始范围相对应,设定第二视场区域大于第一视场区域且将第一视场区域包含在内;

将所述第一视场区域映射于对应人眼的显示设备上,从而确保人眼视场边缘处的现实环境视觉对象均被替换为虚拟环境视觉对象。

需要说明,因为用户需要佩戴相应的显示设备(如vr智能眼镜等)才能获取虚拟环境视频数据,因此,这里的人眼视场所及区域与显示设备的显示区域一致。

作为一种优选的实施方案,判断现实环境视觉对象是否符合虚拟环境设定的具体方法为:

获取现实环境视觉对象的物理信息;

根据现实环境视觉对象的物理信息判断其所属类型;

根据映射规则库判断该类型是否符合虚拟环境设定。

作为一种优选的实施方案,根据映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于所述虚拟环境的虚拟环境视觉对象的具体方法为:

分析所述现实环境视觉对象的静态物理信息和动态物理信息;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境视觉对象,将该现实环境视觉对象替换为相同或相近规格的该虚拟环境视觉对象。

作为一种优选的实施方案,所述静态物理信息包括现实环境视觉对象的类型、形状、尺寸及颜色信息;

所述动态物理信息包括现实环境视觉对象相对采集点的位置信息。

作为一种优选的实施方案,该基于5g通信的虚拟现实呈现方法还包括:

获取现实环境音频数据;

提取该现实环境音频数据中的现实环境听觉对象,根据该现实环境听觉对象的声音属性判断其是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将该现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

对所述虚拟环境的音频数据进行实时输出。

这里需要说明,所述现实环境对象还可以包括现实环境听觉对象,所述虚拟环境对象还可以包括虚拟环境听觉对象,具体地,现实环境听觉对象的声音属性可以包括环境听觉对象的音轨信息、虚拟环境听觉对象的声音属性包括虚拟环境听觉对象的音轨信息等。

作为一种优选的实施方案,提取现实环境音频数据中的现实环境听觉对象的具体方法为:提取现实环境音频数据中的不同音轨,将各音轨分别设定为独立的现实环境听觉对象。

作为一种优选的实施方案,根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象的具体方法为:

根据所述现实环境听觉对象的声音属性判断其所属类型;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境听觉对象,将该现实环境听觉对象替换为相应的虚拟环境听觉对象。

作为一种优选的实施方案,所述映射规则库具体包括可定制特征数据库及与所述可定制特征数据库内指定对象相关联的一个或多个可定制对象。

本发明的另一个方面,提供一种基于5g通信的虚拟现实呈现系统,该系统基于5g通信技术实施上述的虚拟现实呈现方法,具体地,该系统包括:

存储单元,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

视频数据采集单元,用于获取现实环境的视频数据;

虚拟环境处理单元,用于识别现实环境视频数据中的现实环境视觉对象,并根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

虚拟环境显示单元,对所述虚拟环境视频数据进行显示。

作为一种优选的实施方案,该系统还包括:

音频数据采集单元,用于获取现实环境音频数据;所述虚拟环境处理单元识别现实环境音频数据中的现实环境听觉对象,并根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

音频播放单元,对所述虚拟环境音频数据进行播放。

本发明的再一个方面,提供一种基于5g通信的虚拟现实呈现装置,该装置用于实施如上所述的基于5g通信的虚拟现实呈现方法,该装置包括:

头戴式的显示设备;

音频播放设备,与显示器连接并适配于人耳;

多个传感器,设置于显示器上,多个传感器与所述显示器协作以检测所述装置的视场中的现实环境视频数据和现实环境音频数据;

存储模块,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

与所述显示设备、音频播放设备、存储模块及传感器进行通信的一个或多个处理设备,所述一个或多个处理设备自动地:

根据定制主题确定映射规则库;

实时获取现实环境视频数据和现实环境音频数据;

识别现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;识别现实环境音频数据中的现实环境听觉对象,判断该现实环境听觉对象是否符合虚拟环境光设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

将所述虚拟环境视频数据显示于显示设备上,将所述虚拟环境音频频数据播放于语言播放设备上。

作为一种优选的实施方案,所述处理设备包括远程主机,该远程主机通过5g网络与所述显示设备、音频播放设备及传感器进行通信。

优选地,上述基于5g通信的虚拟现实呈现装置可以为基于5g通信的vr智能眼镜,如图2所示,该vr智能眼镜包括第一显示器1a、第二显示器1b(相当于头戴式显示设备)、控制器(微型计算机)2(相当于处理设备)、激光雷达3(用于探测现实环境视觉对象相对于本装置的相对位置)、第一景深摄像机4a、第二景深摄像机4b、第一镜腿5a和第二镜腿5b;其中,虚拟世界游戏软件运行在控制器2上。控制器与显示器之间、控制器与激光雷达之间、控制器与景深摄像机之间均采用5g网络通信以增加数据处理过程的实时性,优化用户体验。优选地,上述装置还可以采用远程主机控作为处理设备,这种情况下,虚拟世界游戏软件可运行在远程主机上,远程主机通过5g无线网络与上述装置进行信号传输。

进一步优选地,如图3所示,上述基于5g通信的虚拟现实呈现装置还可以包括第一耳机6a、第二耳机6b(相当于音频播放设备)、远程主机8和5g通信模块7,其中,第一耳机6a和第二耳机6b均内置音频提取装置(如麦克风等),以便获取音频数据,该vr通信眼镜通过5g通信模块与远程主机8通信。

下面结合一种应用场景,详尽的描述本实施例的实施过程,如图4(a)-图4(c)所示,场景1在现实环境中为室内环境,虚拟环境主题设定为史前原始森林,从而确定其映射规则库包含现实环境对象与对应于远古森林世界的虚拟环境对象之间的映射规则的映射规则库。

具体体验过程如下:

用户甲在室内佩戴如图2或图3所示的vr智能眼镜(即虚拟现实呈现装置)进行史前原始森林体验,场景1的真实环境如图4(a)所示:房间内存在沙发、冰箱等现实环境视觉对象。

用户甲在房间内带上vr智能眼镜,用户甲的视野范围内呈现为史前原始森林,其具体的呈现方法为:

vr眼镜通过其所带的景深摄像机4a和4b(相当于视频采集传感器)拍摄房间内的景象作为现实环境视频数据,识别房间内各现实环境视觉对象(沙发1、沙发2和冰箱),同时,激光雷达3(相当于位置采集传感器)获取沙发1、沙发2和冰箱相对用户甲的所处位置,即获取各对象的动态物理信息。判断上述现实环境视觉对象与虚拟环境的时代设定(史前时代)不一致,需要生成对应的虚拟环境视觉对象配置:根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,具体地,上述各现实环境视觉对象的物理信息如下:

●现实环境视觉对象1:沙发1

■静态物理信息:类别:沙发;颜色:褐色;高度:0.5米;宽度:1米,厚度1米;

■动态物理信息:距离3米,方位左前方;

●实环境视觉对象2:沙发2

■静态物理信息:类别:沙发;颜色:黑色;高度:0.5米;宽度:1米,厚度1米;

■动态物理信息:距离3米,方位右前方;

●实环境视觉对象3:冰箱

■静态物理信息:银白色;高度:1.5米;宽度:0.5米,厚度:1米;

■动态物理信息距离6米,方位右前方;

分析上述各现实环境视觉对象的静态物理信息和动态物理信息,根据映射规则库的映射规则,将沙发1替换为木桩1,将沙发2替换为木桩2分别映射为木桩1和木桩2,将冰箱替换为石头;并渲染生成虚拟环境视频数据。

优选地,在该场景1中,将用户甲的视场范围设定为第一视觉区域,将景深摄像机所采集到的现实环境视频数据的视频区域设定为第二视觉区域,在处理过程中,将第二视场区域内的所有不符合虚拟环境设定的现实环境视觉对象全部替换为虚拟环境视觉对象,但只将第二视场区域中包含于第一视场区域的部分显示于vr智能眼镜的显示器上。需要说明,视觉区域边界可以根据景深划分,也可以根据视场边界划分,还可以同时根据视场边界和景深划分。本场景中采用同时根据视场边界和景深划分的方式,将以vr智能眼镜为中心,直径10米范围内设定为第一视觉区域,直径30米范围内设定为第二视场区域;则沙发1距离用户3米,沙发2距离用户3米,冰箱距离用户6米;由于vr智能眼镜的视野范围内仅包含第一视觉区域,因此用户甲的视野范围内,仅显示包含木桩1和木桩2的第一视觉区域;石头位于超出第一视觉区域的第二视觉区域内,不显示与vr智能眼镜中;当用户甲朝向冰箱方向行走,并逐渐将冰箱纳入视野范围内时(即随着用户甲的前行,冰箱距离用户甲小于30米大于10米时,处理设备已根据映射规则,将其替换为虚拟环境中的石头;这样,随着用户甲朝冰箱方向移动,当冰箱逐渐进入用户甲的视野范围的过程中),其在用户甲的视野中始终呈现为石头)。这样,可以避免用户甲视场边界处的显示环境视觉对象不能被完全识别、替换,直接显示于用户甲的视场范围内;保证用户甲视场范围内的所呈现的视觉数据全部符合史前时代的设定,从而有效提升用户甲在体验过程中的沉浸度。

需要说明,用木桩1换现实环境视频中沙发1的位置、用木桩2替换现实环境视频中沙发2的位置,并木桩1和木桩2叠加在虚拟环境视频数据中,最后对该虚拟环境视频数据进行渲染为实时视频流显示在vr智能眼镜的显示器上。

这样,用户在虚拟环境中,看到木桩1和木桩2,会有意避开,同时也不影响原始森林的沉浸度。

下面结合另一种应用场景,详尽的描述本实施例的实施过程,如图5(a)-图5(c)所示,场景2在现实环境中为室外环境,定制主题亦为史前原始森林,远程主机8首先创建或选择系统已有的包含现实环境对象与对应于远古森林世界的虚拟环境对象之间的映射规则的映射规则库。

具体体验过程如下:

用户乙在室外佩戴如图3所示的vr智能眼镜(即虚拟现实呈现装置)进行史前原始森林体验,视野中呈现出史前森林世界;场景2的真实环境如图5(a)所示:存在马路、斑马线和汽车等现实环境视觉对象。用户乙视野呈现过程如下:

通过vr智能眼镜所带的景深摄像机4a和4b拍摄室外视频数据,通过激光雷达3获取马路、斑马线和汽车相对用户乙的所处位置;

识别出马路、斑马线和汽车等现实环境视觉对象,并生成各现实环境视觉对象的物理信息如下:

现实环境视觉对象:马路

●静态物理信息:类别:马路;长度:20米(用户看到的长度);马路宽度:5米

●动态物理信息:距离:0.5米;方位:正前方;

现实环境视觉对象:斑马线

●静态物理信息:类别:斑马线;长度5米;宽度:0.6米

●动态物理信息:距离:0.5米;方位正前方

现实环境视觉对象:汽车

●静态物理信息:类别:汽车;长度:4米;颜色:褐色

●动态物理信息:距离:10米;方位:右前方;速度:8米每秒;方向:西

通过5g通信模块7将马路、斑马线和汽车这三个物理对象实时输出到远程主机8上。

具体地,远程主机8根据映射规则将马路替换/映射为河流,将斑马线替换/映射为木桥,将汽车替换/映射为帝鳄。其中,根据映射规则生成的虚拟环境视觉对象的结果如下:

●现实环境视觉对象:马路

■物理信息(马路)

■虚拟环境视觉对象配置

◆静态物理信息

●类型:河流

●长度:20米;宽度:5米

●现实环境视觉对象:斑马线

■物理信息(斑马线)

■虚拟环境视觉对象配置

◆静态物理信息

●类型:木桥

●长度:5米;宽度0.6米

●现实环境视觉对象:汽车

■物理信息(汽车)

■虚拟环境视觉对象配置

◆静态物理信息

●类型:帝鳄

●长度:4米;颜色:褐色

根据动态物理信息,远程主机将帝鳄设定为以每秒8米的速度向西前进,并最终渲染生成实时视频流。

虚拟世界显示单元接收虚拟世界生成单元输出的实时视频流,将视频流显示到vr智能眼镜的显示器1a和1b。

特别地,vr智能眼镜内的耳机实时采集现实环境音频数据,并根据该现实环境听觉对象的声音属性判断其是否符合虚拟环境设定,若不符合,则该现实环境音频数据会影响到用户在虚拟世界中的沉浸度,因此需要将其映射/替换为虚拟环境音频数据。具体地:

当图5(a)中的汽车按喇叭时,第一耳机6a和第二耳机6b采集到周围声源喇叭声,远程主机8根据映射规则判断不符合史前时代狩猎恐龙的世界设定,根据映射规则,将其映射为帝鳄的吼叫声,并渲染为音频流。具体地:

采用人工智能技术识别声音,将声音按照声源分成不同的音轨,将各音轨分别设定为独立的现实环境听觉对象;根据所述现实环境听觉对象的声音属性判断其所属类型;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境听觉对象,将该现实环境听觉对象替换为相应的虚拟环境听觉对象,再渲染生成虚拟环境音频数据。

这样,远程主机8将上述的虚拟环境音频数据通过6a和6b播放给用户,从而进一步增强用户在虚拟世界的沉浸度。

综上所述,本实施例所用方法通过预先创建映射规则库,根据映射规则对不符合虚拟环境设定的现实环境对象替换为符合虚拟环境设定的虚拟环境对象,既可以避免用户在移动过程中与障碍物发生碰撞,又有效提高了虚拟环境的拟真度。

基于5g通信技术,确保通信及数据处理过程的时效性,优化用户体验。

此外,需要说明的是:

尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。


技术特征:

1.一种基于5g通信的虚拟现实呈现方法,其特征在于,包括如下步骤:

预先根据定制主题创建包含现实环境对象与对应于该定制主题的虚拟环境对象之间的映射规则的映射规则库;

实时获取现实环境视频数据;

识别该现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

对所述虚拟环境视频数据进行实时显示。

2.根据权利要求1所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,对虚拟环境视频数据进行实时显示的具体方法为:

将对应于当前现实环境的虚拟环境视频数据划分为第一视场区域和第二视场区域;

其中,第一视场区域与人眼视场相对应,第二视场区域与所获取的现实环境视频数据的原始范围相对应,设定第二视场区域大于第一视场区域且将第一视场区域包含在内;

将所述第一视场区域映射于对应人眼的显示设备上,从而确保人眼视场边缘处的现实环境视觉对象均被替换为虚拟环境视觉对象。

3.根据权利要求2所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,判断现实环境视觉对象是否符合虚拟环境设定的具体方法为:

获取现实环境视觉对象的物理信息;

根据现实环境视觉对象的物理信息判断其所属类型;

根据映射规则库判断该类型是否符合虚拟环境设定。

4.根据权利要求3所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,根据映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于所述虚拟环境的虚拟环境视觉对象的具体方法为:

分析所述现实环境视觉对象的静态物理信息和动态物理信息;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境视觉对象,将该现实环境视觉对象替换为相同或相近规格的该虚拟环境视觉对象。

5.根据权利要求4所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,

所述静态物理信息包括现实环境视觉对象的类型、形状、尺寸及颜色信息;

所述动态物理信息包括现实环境视觉对象相对采集点的位置信息。

6.根据权利要求1所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,还包括:

获取现实环境音频数据;

提取该现实环境音频数据中的现实环境听觉对象,根据该现实环境听觉对象的声音属性判断其是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将该现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

对所述虚拟环境的音频数据进行实时输出。

7.根据权利要求6所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,提取现实环境音频数据中的现实环境听觉对象的具体方法为:提取现实环境音频数据中的不同音轨,将各音轨分别设定为独立的现实环境听觉对象。

8.根据权利要求6所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象的具体方法为:

根据所述现实环境听觉对象的声音属性判断其所属类型;

根据映射规则在映射规则库中选择与之对应的适应于定制主题的虚拟环境听觉对象,将该现实环境听觉对象替换为相应的虚拟环境听觉对象。

9.根据权利要求1所述的一种基于5g通信的虚拟现实呈现方法,其特征在于,

所述映射规则库具体包括可定制特征数据库及与所述可定制特征数据库内指定对象相关联的一个或多个可定制对象。

10.一种基于5g通信的虚拟现实呈现系统,其特征在于,基于5g通信技术实施如权利要求1-9任一项所述的方法,该系统包括:

存储单元,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

视频数据采集单元,用于获取现实环境的视频数据;

虚拟环境处理单元,用于识别现实环境视频数据中的现实环境视觉对象,并根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;

虚拟环境显示单元,对所述虚拟环境视频数据进行显示。

11.根据权利要求10所述的一种基于5g通信的虚拟现实呈现系统,其特征在于,还包括:

音频数据采集单元,用于获取现实环境音频数据;所述虚拟环境处理单元识别现实环境音频数据中的现实环境听觉对象,并根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

音频播放单元,对所述虚拟环境音频数据进行播放。

12.一种基于5g通信的虚拟现实呈现装置,其特征在于,用于实施如权利要求1-9任一项所述的方法,该装置包括:

头戴式的显示设备;

音频播放设备,与显示器连接并适配于人耳;

多个传感器,设置于显示器上,多个传感器与所述显示器协作以检测所述装置的视场中的现实环境视频数据和现实环境音频数据;

存储模块,存储有包含现实环境对象与不同定制主题的虚拟环境对象之间的映射规则的映射规则库;

与所述显示设备、音频播放设备、存储模块及传感器进行通信的一个或多个处理设备,所述一个或多个处理设备自动地:

根据定制主题确定映射规则库;

实时获取现实环境视频数据和现实环境音频数据;

识别现实环境视频数据中的现实环境视觉对象,判断该现实环境视觉对象是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,渲染生成虚拟环境视频数据;识别现实环境音频数据中的现实环境听觉对象,判断该现实环境听觉对象是否符合虚拟环境光设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境听觉对象替换为适应于所述虚拟环境的虚拟环境听觉对象,渲染生成虚拟环境音频数据;

将所述虚拟环境视频数据显示于显示设备上,将所述虚拟环境音频频数据播放于语言播放设备上。

13.根据权利要求12所述的一种基于5g通信的虚拟现实呈现装置,其特征在于,所述处理设备包括远程主机,该远程主机通过5g网络与所述显示设备、音频播放设备及传感器进行通信。

技术总结
本发明公开了一种基于5G通信的虚拟现实呈现方法、系统及装置,所述方法包括如下步骤:预先根据定制主题创建包含现实环境对象与对应于该定制主题的虚拟环境对象之间的映射规则的映射规则库;实时获取现实环境视频数据;识别该现实环境视频数据中的现实环境视觉对象,判断其是否符合虚拟环境设定;若不符合,则根据映射规则库内的映射规则,将所述现实环境视觉对象替换为相同或相近规格的适应于定制主题的虚拟环境的虚拟环境视觉对象,从而生成虚拟环境视频数据;对所述虚拟环境视频数据进行渲染并实时显示。该方法可避免虚拟环境中出现不符合其场景设定的物体,提高虚拟环境的拟真度。

技术研发人员:丁春风;俞震;周贵斌;黄林阳;葛凌峰;陶洪峰;胡伟;姚辉
受保护的技术使用者:浙江省邮电工程建设有限公司
技术研发日:2019.12.31
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-48554.html

最新回复(0)