本申请属于数据处理技术领域，具体涉及一种信息处理方法及系统。
背景技术：
现阶段电子导航工具只提供了实时路况、事故高发区域等信息的展示，并未给人们提供全域地图、所选路径或者周边车辆潜在风险展示，人们对车辆周围的实时环境一无所知。并且现有的增强行车体验的方法会改变乘客的现有习惯，例如观光车无需人类驾驶员而沿着乘客设定路线智能行驶，给乘客带来不便，用户体验较差。
近些年机器学习发展较快，基于视觉方面的深度学习应用相对成熟，如场景识别、人脸识别，这使得很多应用成为可能。虚拟现实技术也比较热门，这些新技术大多都在展厅里，但是并未广泛应用到汽车领域。
技术实现要素：
本申请针对现有技术中存在的上述不足，提供一种信息处理方法及系统。
本申请提供一种信息处理方法，包括：
获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；
获取车窗外的第一3d图像，确定所述车辆在所述第一3d图像中的位置；
确定所述乘客在所述车辆中的位置；
根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；
根据所述乘客的注视角度和所述3d图像，确定所述乘客注视的第二3d图像中的物体；
确定并显示所述物体对应的信息。
优选地，获取车窗外的第一3d图像，包括：
利用车辆外侧多个摄像头分别获取车窗外各物体的图像；
根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对所述相同物体的视差信息；
根据所述各个摄像头针对所述相同物体的视差信息，分别计算各个摄像头与所述相同物体的相对位置；
根据各个摄像头与所述相同物体的相对位置，生成车窗外各物体的第一3d图像。
优选地，所述确定所述车辆在所述景观图像中的位置，包括：
根据所述各个摄像头与所述相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
优选地，以所述车辆中任意一点为原点建立三维坐标系，所述根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体，包括：
根据所述乘客的注视角度确定所述乘客在所述三维坐标系中的注视视线；
确定所述注视视线和所述第二3d图像的交点；
确定所述交点在所述第二3d图像中落入的轮廓，并确定所述轮廓对应的物体，将所述轮廓对应的物体确定为所述乘客注视的第二3d图像中的物体。
优选地，所述显示所述物体对应的信息，包括：
获取乘客的表情和/或动作；
若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
本申请还提供一种信息处理系统，包括：
传感装置，用于获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；
获取模块，用于获取车窗外的第一3d图像；
第一确定模块，用于确定所述车辆在所述第一3d图像中的位置；
第二确定模块，用于确定所述乘客在所述车辆中的位置；
生成模块，用于根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；
第三确定模块，用于根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体；
第四确定模块，用于确定并显示所述物体对应的信息。
优选地，所述获取模块，具体用于：
利用车辆外侧多个摄像头分别获取车窗外各物体的图像；
根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对所述相同物体的视差信息；
根据所述各个摄像头针对所述相同物体的视差信息，分别计算各个摄像头与所述相同物体的相对位置；
根据各个摄像头与所述相同物体的相对位置，生成车窗外各物体的第一3d图像。
优选地，所述第一确定模块，具体用于：
根据所述各个摄像头与所述相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
优选地，以所述车辆中任意一点为原点建立三维坐标系，所述第三确定模块，具体用于：
根据所述乘客的注视角度确定所述乘客在所述三维坐标系中的注视视线；
确定所述注视视线和所述第二3d图像的交点；
确定所述交点在所述第二3d图像中落入的轮廓，并确定所述轮廓对应的物体，将所述轮廓对应的物体确定为所述乘客注视的第二3d图像中的物体。
优选地，所述第四确定模块，具体用于：
获取乘客的表情和/或动作；
若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
本申请实施例提供的信息处理方法，获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；获取车窗外的第一3d图像，确定所述车辆在所述第一3d图像中的位置；确定所述乘客在所述车辆中的位置；根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体；确定并显示所述物体对应的信息。生成车辆内部乘客注视车窗外某一物体的完整的第二3d图像，进而能确定乘客注视的物体，向乘客显示该物体的信息，能实时获取车辆周围的实时环境信息，不改变乘客现有的行为习惯，提供个性化信息服务，增强行车体验。
附图说明
图1为本申请第一实施例提供的一种信息处理方法的流程图；
图2为本申请第一实施例提供的一种信息处理方法的另一流程图；
图3为本申请第一实施例提供的一种信息处理方法的另一流程图；
图4为本申请第二实施例提供的一种信息处理系统的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
本申请提供一种信息处理方法及系统。以下分别结合本申请提供的实施例的附图逐一进行详细说明。
为了方便理解本申请的技术方案，先对本申请提供的信息处理系统进行简单介绍。本申请提供的信息处理系统包括传感装置和服务器。传感装置位于车辆内部，包括传感器和智能计算单元，传感器包括以下任意一种及其组合：摄像头(可以少量间隔安装在车辆的顶部或者在每个乘客的附近区域安装一个摄像头)，vr/ar眼镜，智能手环等。传感器装置采集乘客和车辆相关的数据，将其发送至智能计算单元进行计算，计算乘客的注视角度，并将乘客的注视角度发送至服务器。服务器接收传感装置发送的乘客的注视角度结合绘制出的与乘客的注视角度相对应的第二3d图像，确定乘客注视的物体，并将乘客注视的物体的信息反馈给用户。
在一种优选的实施方式中，所述信息处理系统还包括位于车辆外侧的摄像头。车辆的两侧都安装有固定数量的摄像头，用于拍摄车辆外部的物体的图像，并将各摄像头拍摄的图像上传到服务器，使服务器可以绘制与乘客的注视角度相对应的第二3d图像。
在一种优选的实施方式中，所述信息处理系统还包括信息反馈装置，信息反馈装置包括以下任意一种及其组合：位于乘客座椅前方的显示屏、移动终端、耳机、vr/ar眼镜等。信息反馈装置用于显示乘客注视的物体的信息。
本申请第一实施例提供的一种信息处理方法如下：
如图1所示，其示出了本申请实施例提供的一种信息处理方法，包括以下步骤。
步骤11，获取车辆中乘客的双眼瞳孔位置信息，根据双眼瞳孔位置信息确定乘客的注视角度。
本步骤由车辆内部的传感装置实施，传感装置采用视觉方面的深度学习方法定位空间中乘客的双眼瞳孔位置信息，具体的定位方法此处不作限定。传感装置根据定位出的双眼瞳孔位置信息和瞳孔角膜反射法确定乘客的注视角度。传感装置也可以获取其他信息来计算乘客的注视角度，例如乘客的头部位置、光源的位置、摄像头的位置、摄像头屏幕的位置等，此处不作限定。传感装置将计算出的乘客的注视角度发送至服务器。
需要说明的是，本申请实施例以车辆中的任意一点为原点建立三维坐标系，本文论述的所有位置均为所述三维坐标系中的位置。
步骤12，获取车窗外的第一3d图像。
需要说明的是，车辆的两侧都安装有多个摄像头，服务器获取与乘客的注视角度相对应的一侧的多个摄像头发送的图像，根据多个摄像头发送的图像集合生成与乘客的注视角度相对应的一侧的第一3d图像。所述第一3d图像中包括车辆一侧车窗外每个物体的轮廓，每种物体对应一个物体标识，例如，银杏树对应的物体标识为a。
步骤13，确定车辆在第一3d图像中的位置。
需要说明的是，本申请实施例不限定车辆是停止或行驶，所有的运算都是实时的，频率快，例如每秒计算60次。在车辆行驶时假设车辆相对生成的第一3d图像是静止的进行运算，确定车辆在第一3d图像中的位置。
步骤14，确定乘客在车辆中的位置。
传感装置还获取乘客在车辆中的位置，例如所述三维坐标中车辆中的乘客的头部位置，传感装置将获取的乘客在车辆中的位置发送至服务器。
步骤15，根据乘客的注视角度、车辆在第一3d图像中的位置和乘客在车辆中的位置，生成第二3d图像。
本步骤中，此时已知的数据有车辆与车辆一侧的车窗外的第一3d图像的相对位置关系、车辆中乘客与车辆的相对位置关系和乘客的注视角度，可以绘制出与乘客的注视角度对应的完整的3d图像。至此，可以输出完整的场景的第二3d图像。
此外，传感装置还可以获取车辆内部的陈设信息，将车辆内部的陈设信息发送至服务器，在第二3d图像中也可以绘制车辆内部的场景图像。
步骤16，根据乘客的注视角度和所述第二3d图像，确定乘客注视的第二3d图像中的物体。
在一些实施例中，如图3所示，所述根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体(即步骤16)，包括：
步骤161，根据乘客的注视角度确定乘客在三维坐标系中的注视视线。
步骤162，确定注视视线和第二3d图像的交点。
步骤163，确定交点在第二3d图像中落入的轮廓，并确定轮廓对应的物体，将轮廓对应的物体确定为乘客注视的第二3d图像中的物体。
具体的，在所述第二3d图像中结合三维坐标系绘制注视角度对应的注视视线的射线，确定该射线与第二3d图像的交点，进一步确定交点落入的轮廓，并确定该轮廓对应的物体标识，根据该物体标识确定交点对应的物体，即为乘客注视的第二3d图像中的物体。
步骤17，确定并显示物体对应的信息。
在本步骤中，根据乘客注视的物体的物体标识和预先存储的物体标识与物体的信息的映射关系，确定乘客注视的物体的信息。例如，银杏树的简介等。
在一些实施例中，所述步骤17中，显示所述物体对应的信息，包括：获取乘客的表情和/或动作；若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
具体的，传感装置还获取乘客的表情和/或动作，将乘客的表情和/或动作发送至服务器。服务器判断乘客的表情和/或动作是否满足预设条件，若满足，则向乘客座椅前方的显示屏、移动终端、耳机、vr/ar眼镜等信息反馈装置发送乘客注视的物体对应的信息，并显示给乘客，若不满足，则不发送。例如，当判断出乘客注视一个物体超过3秒时，确定满足预设条件，将乘客注视的物体对应的信息发送至乘客对应的耳机，并发出提示。当判断出乘客低头查看显示屏时，确定满足预设条件，将乘客注视的物体对应的信息发送至乘客对应的显示屏，并显示。也就是说，服务器针对每个乘客实时注视的物体都是实时确定的，每时每刻都能确定出车辆中乘客注视的物体，不限于注视车外的物体，注视车内的物体也可以实时确定出，但是不是每一个乘客注视的物体都会向乘客反馈，只有当乘客的表情和/或动作满足预设条件时，才会将注视的物体的信息反馈至乘客。即实时计算，触发反馈。
本申请实施例提供的一种信息处理方法，结合车辆内的传感装置和车辆外侧的摄像头，将视觉方面的深度学习方法应用到车辆领域，生成车辆内部乘客注视车窗外某一物体的完整的第二3d图像，进而能确定乘客注视的物体，向乘客显示该物体的信息，能实时获取车辆周围的实时环境信息，不改变乘客现有的行为习惯，提供个性化信息服务，增强行车体验。
在一些实施例中，如图2所示，获取车窗外的第一3d图像(即步骤12)，包括：
步骤121，利用车辆外侧多个摄像头分别获取车窗外各物体的图像。
步骤122，根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对相同物体的视差信息。
步骤123，根据各个摄像头针对相同物体的视差信息，分别计算各个摄像头与相同物体的相对位置。
步骤124，根据各个摄像头与相同物体的相对位置，生成车窗外各物体的第一3d图像。
具体的，车辆一侧多个摄像头将车窗外各物体的图像分别发送至服务器，服务器根据接收到的图像集合，可以确定各个摄像头获取的相同物体。由于不同摄像头针对相同物体具有视差，可以通过视差形成立体视觉。获取各个摄像头针对相同物体的视差信息，结合焦距和车辆外侧各个摄像头之间的距离，可以计算车辆外侧各个摄像头与相同物体的相对位置。具体的计算步骤此处不作限定，可以按照需要自行设置。依次类推，可以计算出各个摄像头与车窗外各个物体的相对位置。根据各个摄像头与车窗外各个物体的相对位置，生成车辆一侧车窗外各物体的第一3d图像。
在一些实施例中，所述确定所述车辆在所述景观图像中的位置(即步骤13)，包括：根据所述各个摄像头与相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
在本步骤中，各个摄像头与相同物体的相对位置确定，各个摄像头连接的直线与第一3d图像的相对位置就确定，结合车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，就能确定出车辆在第一3d图像中的位置，可以将其绘制在第一3d图像中。
需要说明的是，本申请实施例也可以针对车辆中的每一位乘客建立一个三维坐标系进行运算，传感装置获取每一个位置信息都是基于乘客对应的三维坐标系中的位置，不必再换算成车辆对应的三维坐标系中的位置，最后确定乘客的注视角度对应的物体也是放在与乘客对应的三维坐标系中确定乘客的注视视线与第二3d图像的交点，进而确定对应的物体。
本申请实施例提供的一种信息处理方法，获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；获取车窗外的第一3d图像，确定所述车辆在所述第一3d图像中的位置；确定所述乘客在所述车辆中的位置；根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体；确定并显示所述物体对应的信息。结合车辆内的传感装置和车辆外侧的摄像头，将视觉方面的深度学习方法应用到车辆领域，生成车辆内部乘客注视车窗外某一物体的完整的第二3d图像，进而能确定乘客注视的物体，向乘客显示该物体的信息，能实时获取车辆周围的实时环境信息，不改变乘客现有的行为习惯，提供个性化信息服务，增强行车体验。
本申请第二实施例提供的一种信息处理系统如下：
在上述的实施例中，提供了一种信息处理方法，与之相对应的，本申请还提供了一种信息处理系统，下面结合附图进行说明。
如图4所示，其示出了本申请实施例提供的一种信息处理系统，包括以下模块。
传感装置1，用于获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度。
获取模块2，用于获取车窗外的第一3d图像。
第一确定模块3，用于确定所述车辆在所述第一3d图像中的位置。
第二确定模块4，用于确定所述乘客在所述车辆中的位置。
生成模块5，用于根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像。
第三确定模块6，用于根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体。
第四确定模块7，用于确定并显示所述物体对应的信息。
在一些实施例中，所述获取模块2，具体用于：
利用车辆外侧多个摄像头分别获取车窗外各物体的图像。
根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对所述相同物体的视差信息。
根据所述各个摄像头针对所述相同物体的视差信息，分别计算各个摄像头与所述相同物体的相对位置。
根据各个摄像头与所述相同物体的相对位置，生成车窗外各物体的第一3d图像。
在一些实施例中，所述第一确定模块3，具体用于：
根据所述各个摄像头与所述相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
在一些实施例中，以所述车辆中任意一点为原点建立三维坐标系，所述第三确定模块6，具体用于：
根据所述乘客的注视角度确定所述乘客在所述三维坐标系中的注视视线。
确定所述注视视线和所述第二3d图像的交点。
确定所述交点在所述第二3d图像中落入的轮廓，并确定所述轮廓对应的物体，将所述轮廓对应的物体确定为所述乘客注视的第二3d图像中的物体。
在一些实施例中，所述第四确定模块7，具体用于：
获取乘客的表情和/或动作。
若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
1.一种信息处理方法，其特征在于，包括：
获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；
获取车窗外的第一3d图像，确定所述车辆在所述第一3d图像中的位置；
确定所述乘客在所述车辆中的位置；
根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；
根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体；
确定并显示所述物体对应的信息。
2.根据权利要求1所述的信息处理方法，其特征在于，获取车窗外的第一3d图像，包括：
利用车辆外侧多个摄像头分别获取车窗外各物体的图像；
根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对所述相同物体的视差信息；
根据所述各个摄像头针对所述相同物体的视差信息，分别计算各个摄像头与所述相同物体的相对位置；
根据各个摄像头与所述相同物体的相对位置，生成车窗外各物体的第一3d图像。
3.根据权利要求2所述的信息处理方法，其特征在于，所述确定所述车辆在所述景观图像中的位置，包括：
根据所述各个摄像头与所述相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
4.根据权利要求1所述的信息处理方法，其特征在于，以所述车辆中任意一点为原点建立三维坐标系，所述根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体，包括：
根据所述乘客的注视角度确定所述乘客在所述三维坐标系中的注视视线；
确定所述注视视线和所述第二3d图像的交点；
确定所述交点在所述第二3d图像中落入的轮廓，并确定所述轮廓对应的物体，将所述轮廓对应的物体确定为所述乘客注视的第二3d图像中的物体。
5.根据权利要求1所述的信息处理方法，其特征在于，所述显示所述物体对应的信息，包括：
获取乘客的表情和/或动作；
若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
6.一种信息处理系统，其特征在于，包括：
传感装置，用于获取车辆中乘客的双眼瞳孔位置信息，根据所述双眼瞳孔位置信息确定所述乘客的注视角度；
获取模块，用于获取车窗外的第一3d图像；
第一确定模块，用于确定所述车辆在所述第一3d图像中的位置；
第二确定模块，用于确定所述乘客在所述车辆中的位置；
生成模块，用于根据所述乘客的注视角度、所述车辆在所述第一3d图像中的位置和所述乘客在所述车辆中的位置，生成第二3d图像；
第三确定模块，用于根据所述乘客的注视角度和所述第二3d图像，确定所述乘客注视的第二3d图像中的物体；
第四确定模块，用于确定并显示所述物体对应的信息。
7.根据权利要求6所述的信息处理系统，其特征在于，所述获取模块，具体用于：
利用车辆外侧多个摄像头分别获取车窗外各物体的图像；
根据车辆外侧各个摄像头获取的各物体的图像，确定各个摄像头获取到的相同物体，确定各个摄像头针对所述相同物体的视差信息；
根据所述各个摄像头针对所述相同物体的视差信息，分别计算各个摄像头与所述相同物体的相对位置；
根据各个摄像头与所述相同物体的相对位置，生成车窗外各物体的第一3d图像。
8.根据权利要求7所述的信息处理系统，其特征在于，所述第一确定模块，具体用于：
根据所述各个摄像头与所述相同物体的相对位置、车辆外侧各个摄像头在车身的位置和车辆的尺寸信息，确定所述车辆在所述第一3d图像中的位置。
9.根据权利要求6所述的信息处理系统，其特征在于，以所述车辆中任意一点为原点建立三维坐标系，所述第三确定模块，具体用于：
根据所述乘客的注视角度确定所述乘客在所述三维坐标系中的注视视线；
确定所述注视视线和所述第二3d图像的交点；
确定所述交点在所述第二3d图像中落入的轮廓，并确定所述轮廓对应的物体，将所述轮廓对应的物体确定为所述乘客注视的第二3d图像中的物体。
10.根据权利要求6所述的信息处理系统，其特征在于，所述第四确定模块，具体用于：
获取乘客的表情和/或动作；
若所述乘客的表情和/或动作满足预设条件，则显示所述物体对应的信息。
技术总结