本发明涉及智能穿戴设备,特别是涉及一种基于时空数据的智能眼镜装置和系统。
背景技术:
1、对于近视眼镜佩戴人员,日常生活中绝大部分时间离不开眼镜的,但除了眼镜本身的看清世界的功能之外,眼镜可以赋予更多的功能和意义。
2、智能眼镜的出现将会导致人类生活方式的改变。现在智能设备在人们工作和生活中占据着越来越重要的地位,智能手机、智能平板随处可见。近几年可穿戴式的智能设备更是丰富了人们的生活,使得人们的工作和生活更为高效和方便。智能眼镜更为重要的是人们自我习惯的改变,现在智能手机导致大多数人在大多数时间里都成了“低头族”,智能眼镜极大限度的解放人们的双手,从而对人们的颈椎的保护也起到积极作用,促进人类的身体健康。
3、智能眼镜将改变人类的生活和工作方式,包括驾车、骑行、步行游玩、坐躺卧休闲娱乐等场景。特别是在汽车驾驶方面,无人驾驶是未来的趋势,在无人驾驶过程中,人的双手解放出来,驾驶员可以通过智能眼镜实时的监测驾驶环境,非驾驶员可以通过智能眼镜浏览音视频、图片进行娱乐活动,或者浏览、编辑文档的工作活动。手动驾驶过程中,可以关闭显示屏幕,通过语音和头部动作交互进行智能导航。此外,盲人可以通过智能眼镜实现类似“导盲犬”的功能。
4、目前,行业中有一些智能眼镜的研发,但是都还处于概念阶段和产品初步市场测试阶段,主要功能还是传统的vr(virtual reality,虚拟现实)、音频和视频播放浏览以及录像拍照等基础功能,还未涉及到智能眼镜更多方面的应用以及具体如何实现应用,从而为智能眼镜的佩戴人员提供更多便利。
技术实现思路
1、本发明实施例的目的在于提供一种基于时空数据的智能眼镜装置和系统,以通过智能眼镜实现人机交互以实现智能眼镜在更多方面的应用,为各式各样的眼镜佩戴人员提供更多便利。具体技术方案如下:
2、在本发明实施公开了一种基于时空数据的智能眼镜装置,其特征在于,所述智能眼镜由镜架及配套软件组成,所述镜架配置有输入输出模块、控制处理器、存储器和电源;
3、所述输入输出模块,用于所述智能眼镜的数据采集和对外交互的输入输出,包括多个互相独立的模块,其中:
4、所述输入输出模块,用于通过前置摄像头模块采集眼镜佩戴人员前视视场内的图像和视频数据;通过后置摄像头模块采集眼镜佩戴人员后视视场内的图像和视频数据;通过定位模块获取所述智能眼镜的位置信息,所述位置信息是x、y、z三维大地坐标或者经纬度、纬度、高程;通过姿态传感器模块采集所述眼镜佩戴人员佩戴所述智能眼镜时所述眼镜佩戴人员头部摆动时的姿态角度数据;通过仿生眼模块采集和处理所见环境中的时空多媒体信息;通过指纹识别模块采集所述眼镜佩戴人员的指纹信息;
5、所述输入输出模块,用于通过显示屏幕模块展示图像和视频信息;通过语音输出模块播放智能眼镜系统的语音信息;通过语音输入模块语音交互控制智能眼镜;通过脑机接口模块实现大脑与所述智能眼镜交互;通过通讯模块为所述智能眼镜提供数据传输通道;
6、所述控制处理器,用于处理所述智能眼镜相关的时空数据和逻辑控制;根据获取的地图数据、所述姿态角度数据、所述时空多媒体信息、所述位置信息、所述佩戴人员选定的目的地址生成导航路线后与所述姿态角度数据生成针对所述眼镜佩戴人员的导航提示信息,根据所述姿态角度数据和所述位置信息确定出地物,将所述地图数据中与所述地物对应的地理标志进行标记,根据所述位置信息和或所述时空数据确定地物,在获取的时空数据库中检索所述地物对应的多媒体信息;
7、所述存储器用于存储所述智能眼镜的数据;
8、所述电源用于为所述输入输出模块、所述控制处理器和所述存储器提供能源动力,所述存储器用于存储所述智能眼镜的数据。
9、可选地,对于无镜片需求的情况,所述智能眼镜不包含所述镜片只有所述镜架;
10、对于有镜片需求的情况,所述智能眼镜包括所述镜片和所述镜架,所述镜片包括传统的镜片,所述传统的镜片包括但不限于近视镜片、远视镜片、老花镜片、散光镜片、平光镜片、护目镜片、泳镜、夜视镜片、风镜片、墨镜片、玩具镜片和太阳镜片,且所述镜片是固定的或者可插拔更换的。
11、可选地,所述输入输出模块用于所述智能眼镜的数据采集和对外交互的输入输出,包括如下模块:
12、前置摄像头模块:
13、所述前置摄像头模块是所述智能眼镜的图像数据和视频数据的输入接口,采集所述眼镜佩戴人员前视视场内的图像数据和视频数据,所述前置摄像头模块为一个或者多个,所述前置摄像头模块安装在所述镜架上;
14、后置摄像头模块:
15、所述后置摄像头模块是所述智能眼镜的图像数据和视频数据的输入接口,采集所述眼镜佩戴人员后视视场内的图像数据和视频数据,所述后置摄像头模块为一个或者多个,所述后置摄像头模块安装在所述镜架上;
16、显示屏幕模块:
17、所述显示屏幕模块是所述智能眼镜的图像数据和视频数据的输出接口,展示图像数据和视频数据,所述显示屏幕模块为以左右两个镜片为介质的实体屏幕或者虚拟屏幕,其中,所述虚拟屏幕实现的技术包括但不限于微发光二极管显示器micro led技术和无介质空中成像技术,所述显示屏幕模块为通过人手进行空中人机交互,所述显示屏幕模块安装在镜架上;
18、语音输出模块:
19、所述语音输出模块是所述智能眼镜的语音输出接口,播放所述智能眼镜系统的语音信息,所述语音输出模块包括但不限于有线耳机、无线耳机、音频外放装置,所述无线耳机实现的技术包括但不限于骨传导耳机、蓝牙耳机,所述语音输出模块安装在所述镜架两侧镜腿上;
20、语音输入模块:
21、所述语音输入模块是所述智能眼镜的语音输入接口,人机语音交互控制智能眼镜,所述语音输入模块包括但不限于麦克风,所述语音输入模块安装在镜架上;
22、定位模块:
23、所述定位模块是所述智能眼镜的位置数据采集接口,实时提供所述智能眼镜的位置信息,所述定位模块实现的技术包括但不限于中国北斗导航系统(beidou navigationsatellite system,bds)、欧洲伽利略导航系统(galileo satellite navigationsystem)、俄罗斯格洛纳斯导航系统(glonass)和美国全球定位系统(gps),所述语音输入模块安装在所述镜架内,或者通过接口安装在相关设备内,所述相关设备包括但不限于手机、平板电脑、计算机和车载终端;
24、姿态传感器模块:
25、所述姿态传感器模块是所述眼镜佩戴人员头部摆动的实时姿态角度数据的采集接口,为地图导航、地物标识、时空信息检索提供所述姿态角度数据,所述眼镜佩戴人员头部摆动的实时姿态角度数据包括:
26、向上抬头、向前平视、向下低头的俯仰角;
27、向左转头、保持竖直、向右转头的横滚角;
28、向左摇头、向前直视、向右摇头的航向角;
29、所述姿态传感器模块安装在所述镜架内;
30、脑机接口模块:
31、所述脑机接口模块通过捕捉所述眼镜佩戴人员大脑信号,并处理模块完成信息的传输和控制,实现所述智能眼镜的人机交互,所述脑机接口模块安装在所述镜架上;
32、仿生眼模块:
33、所述采集和处理所述眼镜佩戴人员所见环境中的时空多媒体信息,所述仿生眼模块安装在所述镜架上,与所述镜片一体化;
34、指纹识别模块:
35、所述指纹识别模块是将所述眼镜佩戴人员的指纹与存储在所述智能眼镜内的指纹数据进行比对从而进行判别,保护所述眼镜佩戴人员的用户信息安全和个人隐私,所述指纹识别模块安装在镜架上;
36、通讯模块:
37、所述通讯模块是所述智能眼镜的数据传输通道,所述传输通道包括所述智能眼镜与互联网、物联网、局域网的数据传输通道和所述智能眼镜与数据处理终端设备之间的数据传输通道,所述数据处理终端设备包括手机、平板电脑、计算机和车载终端,所述通讯模块包括但不限于有线的以太网、串口、通用串行总线usb和无线的蓝牙、无线局域网wifi、3g\4g\5g\6g无线传输接口,所述通讯模块安装在镜架上;
38、可选地,所述控制处理器是所述智能眼镜控制逻辑和算法的模块单元,以微型计算机或微处理器为核心,实时处理所述智能眼镜相关的时空数据,所述控制处理器安装在镜架内;其中,所述时空数据包括所述输入输出模块的所述采集的数据。
39、可选地,所述存储器是所述智能眼镜的数据的存储模块单元,其中,所述数据包括时空数据、音视频、应用数据,所述存储器安装在镜架内,或者通过接口存储在相关设备内,所述相关设备包括但不限于手机、平板电脑、计算机和车载终端。
40、可选地,所述电源为所述智能眼镜提供能源动力,所述电源是可充电电池,或者是有线电源,所述可充电电池支持无线充电,所述电源安装在智能眼镜的所述镜架内,或者在外接装置内。
41、可选地,所述智能眼镜的所述输入输出模块的每个独立模块单独的开启和关闭,以节约电力、屏蔽干扰和保护隐私。
42、可选地,所述智能眼镜是独立的完整设备;或者所述智能眼镜只配置必须安装在所述智能眼镜的所述镜架上的输入输出模块并配套相应容量的所述电源,非必须安装在所述智能眼镜的所述镜架上的所述输入输出模块、所述控制处理器、所述存储器并配套相应容量的所述电源配置在终端设备上,所述终端设备包括专用数据处理模块、手机、平板电脑、计算机和车载终端,以保证所述智能眼镜的轻量化和小型化。
43、本发明实施例还公开了一种基于时空数据的智能眼镜系统,所述智能眼镜功能包括:
44、音视频播放:
45、通过所述智能眼镜的显示屏幕模块观看视频和浏览图片,通过所述智能眼镜的语音输出模块播放声音,实现音频、视频的在线观看;
46、语音交互:
47、通过所述智能眼镜的语音输入模块,实现人机语音交互的接打电话、查阅消息和对文档的打开、关闭、编辑和浏览操作;
48、多维地图智能导航:
49、所述智能眼镜的定位模块根据实时的位置信息进行地图导航,地图存储在所述智能眼镜的存储器中或相连接的终端设备中,基于实时的位置信息、姿态角度数据和地图数据,动态交互式或自动规划行走路线,并语音播放导航信息或者导航内容展示在前方的显示屏幕模块上;基于所述智能眼镜的姿态传感器模块的航向角数据,所述显示屏幕模块以第一人称视角模式显示导航地图,如果所述眼镜佩戴人员处于移动状态,所述显示屏幕模块同步显示运动的速度和轨迹信息;
50、疲劳预警:
51、在没有进行人机交互的确认反馈情况下,通过所述姿态传感器模块的俯仰角数据变化,判断所述眼镜佩戴人员是否有间隔n秒的频繁点头动作,如果有每间隔所述n秒的频繁点头动作,则所述眼镜佩戴人员正处于疲劳状态;n为正数;
52、同时,通过后置摄像头模块识别的所述眼镜佩戴人员眼睛张开度与闭合频率分析所述眼镜佩戴人员是否处于疲劳状态,如果所述眼镜佩戴人员眼睛闭合超过x秒未睁开,或者眼睛张开度达不到百分之y,或者每间隔p秒高频眨眼,则所述眼镜佩戴人员正处于疲劳状态;x、y和p为正数;
53、在发现所述眼镜佩戴人员正处于疲劳状态,则进行包括但不限于语音提示提醒和振动提醒,或者执行相关控制指令联动控制所述智能眼镜;
54、基于头部动作的交互确认:
55、在所述智能眼镜使用过程中,存在所述智能眼镜系统与所述眼镜佩戴人员的交互确认过程,通过所述姿态传感器模块检测的所述眼镜佩戴人员头部的向上抬头、向前平视、向下低头的俯仰角变化是否超过一定幅度来判断所述眼镜佩戴人员是否表示同意,如果俯仰角变化幅度超过r度,则表示同意;通过所述姿态传感器模块检测的所述眼镜佩戴人员头部的向左摇头、向前直视、向右摇头的航向角变化幅度来判断所述眼镜佩戴人员是否表示不同意,如果航向角变化幅度超过s度,则表示不同意;r、s为正数;
56、地物标记:
57、根据所述定位模块的位置信息和所述姿态传感器模块的航向角数据,所述控制处理器基于时空数据库和相关算法匹配,对所述智能眼镜的前置摄像头模块视野范围内的地物进行关键信息的语音标注或显示屏幕标注显示;其中,所述关键信息至少包括所述地物对应的名称;
58、热点检索:
59、根据所述定位模块的位置信息,所述控制处理器基于时空数据库和相关算法检索附近的热点,通过所述语音播放模块或所述显示屏幕模块展示检索到的所述热点的多媒体信息;所述热点包括景点、标志性建筑物和历史古迹;
60、地物识别检索:
61、根据所述前置摄像头模块的图像数据,所述控制处理器基于时空数据库和相关算法检索,自动识别地物,并通过所述语音播放模块或所述显示屏幕展示检索到的所述地物的多媒体信息;
62、视频录制及发布:
63、通过所述前置摄像头模块拍照或者录制视频,并自动记录位置信息、语音说明和时间信息,同步将拍照所得照片或录制视频以及记录的语音说明、时间信息和位置信息提交到网络上服务器的后台时空大数据中心,以丰富时空数据样本,共享所述后台时空大数据中心的数据;
64、双目测量:
65、输入输出模块的所述前置摄像头模块是双摄像头时,进行前方双摄像头的视频采集,实现双目立体视觉和基于双目摄像头的同时定位与地图构建slam测量;
66、同步投屏:
67、将终端设备屏幕的音频和图、视频数据同步投屏到所述显示屏幕模块上可视化展示浏览;所述终端设备包括专用数据处理模块、手机、平板电脑、计算机和车载终端;
68、指纹验证:
69、所述智能眼镜的镜腿配置指纹识别模块进行授权,以保证用户信息安全和个人隐私;
70、自动关机:
71、所述智能眼镜戴上后系统自动开机,摘下所述智能眼镜后系统马上系统进入待机模式,t分钟后自动关机;t为正数;
72、开放应用开发平台:
73、所述智能眼镜开放开发者工具包sdk接口,开发者在平台上做所述智能眼镜的应用开发。
74、在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的基于时空数据的智能眼镜的相关步骤。
75、在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的基于时空数据的智能眼镜的相关步骤。
76、与相关技术相比,本发明实施例至少具有以下优点:
77、本发明实施例提供了一种基于时空数据的智能眼镜装置和系统,由镜片和镜架及配套软硬件组成,镜架包括:输入输出模块、控制处理器、存储器和电源。输入输出模块用于数据采集和输入输出,主要包括:前后置摄像头、仿生眼、显示屏幕、语音采集、定位和姿态传感器、脑机接口、指纹识别、通讯等模块;控制处理器是控制逻辑和算法的模块单元;存储器是时空数据的存储模块单元;电源为智能眼镜提供能源动力。智能眼镜系统实现了语音交互和基于时空数据的多维地图智能导航、地物标记、热点和地物检索识别、视频录制、多媒体播放和安全状态检测等功能。智能眼镜不仅让人们从智能手机的“低头族”中走出来,极大限度解放双手,而且可以作为盲人的导航装置。
1.一种基于时空数据的智能眼镜装置,其特征在于,所述智能眼镜由镜架及配套软件组成,所述镜架配置有输入输出模块、控制处理器、存储器和电源;
2.根据权利要求1所述的智能眼镜装置,其特征在于,
3.根据权利要求1所述的智能眼镜装置,其特征在于,所述输入输出模块用于所述智能眼镜的数据采集和对外交互的输入输出,包括如下模块:
4.根据权利要求1所述的智能眼镜装置,其特征在于,所述控制处理器是所述智能眼镜控制逻辑和算法的模块单元,以微型计算机或微处理器为核心,实时处理所述智能眼镜相关的时空数据,所述控制处理器安装在镜架内;其中,所述时空数据包括所述输入输出模块的所述采集的数据。
5.根据权利要求1所述的智能眼镜装置,其特征在于,所述存储器是所述智能眼镜的数据的存储模块单元,其中,所述数据包括时空数据、音视频、应用数据,所述存储器安装在镜架内,或者通过接口存储在相关设备内,所述相关设备包括但不限于手机、平板电脑、计算机和车载终端。
6.根据权利要求1所述的智能眼镜装置,其特征在于,所述电源为所述智能眼镜提供能源动力,所述电源是可充电电池,或者是有线电源,所述可充电电池支持无线充电,所述电源安装在智能眼镜的所述镜架内,或者在外接装置内。
7.根据权利要求1所述的智能眼镜装置,其特征在于,
8.根据权利要求1所述的智能眼镜装置,其特征在于,
9.一种基于时空数据的智能眼镜系统,其特征在于,所述智能眼镜系统的功能包括:
