本发明涉及智能建筑技术领域，特别涉及一种三维成像感知的智能建筑广告幕墙系统。
背景技术：
广告是向社会广大公众告知某件事物，一般都会投放至较大型的建筑物上，主要有写字楼、商场、居民楼等人员流动频繁的地方。广告还会投放至电梯间、门厅、走廊乃至车库的墙壁，并经常用播放视音频广告的显示屏幕或者通过悬挂广告灯箱等方式在建筑物内部或者周边的商家投放广告，以拉动消费。而这些方式投放的广告载体都是单纯地进行静态或者动态的广告信息展示，缺乏与观看用户之间的直接交互。
目前比较常见的交互方式是通过广告信息提供二维码，用户用智能手机扫码进入交互网页或者关联到小程序、app，实现与商家后台的交互，这种交互必须借助智能手机和移动互联网，对于用户来说不够快捷便利，而且广告载体本身也不参与交互的过程和最终呈现。
技术实现要素：
(一)发明目的
为克服上述现有技术存在的至少一种缺陷，通过摄像机采集用户的人脸特征与交互选择项发送至后台的广告交互管理服务器中的方法，使用户操作便利快捷，本发明公开了以下技术方案。
(二)技术方案
作为本发明的第一方面，本发明公开了一种三维成像感知的智能建筑广告幕墙的系统，包括：
交互广告幕墙和后台服务器，其中交互广告幕墙包括交互响应主机、投影显示器和图像采集装置；
所述投影显示器与所述交互响应主机连接，用于投放视屏广告；
所述图像采集装置与所述交互响应主机连接，其包括人脸捕捉摄像机和场景三维成像摄像机组，所述人脸捕捉摄像机的拍摄视野朝向用户的人脸，用于拍摄所述用户的人脸图像信息，所述场景三维成像摄像机组的拍摄视野朝向广告幕墙前方空间范围内的场景，用于拍摄所述用户的手部动作图像信息，并将所述人脸图像信息与所述手部动作图像信息发送至所述交互响应主机；
所述交互响应主机用于存储视屏广告以及与所述视屏广告相关联的交互式内容，所述交互响应主机根据所述手部动作图像信息分析所述用户的交互选择项，并将所述人脸图像信息与所述交互选择项发送至所述后台服务器。
在一种可能的实施方式中，所述后台服务器包括广告交互管理服务器，所述广告交互管理服务器与所述交互响应主机连接，用于将所述人脸图像信息与所述交互选择项发送至所述视屏广告商家客户端。
在一种可能的实施方式中，所述交互响应主机包括下载服务器，所述下载服务器与所述交互响应主机通过通信单元连接，所述下载服务器用于下载广告以及与所述视屏广告相互关联的交互式内容。
在一种可能的实施方式中，所述场景三维成像摄像机组包括若干场景摄像机，所述场景摄像机设置于所述用户周围，用于拍摄所述用户的手部动作。
在一种可能的实施方式中，所述若干场景摄像机包括：
第一场景摄像机，设置在所述用户手部动作对应范围后方，用于捕捉所述用户手部动作的正面投影坐标位置；
第二场景摄像机，设置在所述用户手部动作对应范围一侧，用于捕捉所述用户手部动作的侧面投影坐标位置；
第三场景摄像机，设置在所述用户手部动作对应范围的下方，用于捕捉所述用户手部动作的水平投影坐标位置。
作为本发明的第二方面，本发明还公开了一种三维成像感知的智能建筑广告幕墙的控制方法，包括以下步骤：
投放视屏广告，其中，视屏广告包括与所述视屏广告相关联的交互式内容；
采集图像信息，其中采集用户人脸图像信息和手部动作图像信息；
根据所述图像信息发送至所述视屏广告相对应的商家客户端。
在一种可能的实施方式中，所述投放视屏广告前还包括：
下载视屏广告以及与所述视屏广告相关联的交互式内容。
在一种可能的实施方式中，所述采集图像信息，包括：
控制人脸捕捉摄像机的拍摄视野朝向用户的人脸，拍摄所述用户的人脸图像信息；
控制场景三维成像摄像机组的拍摄视野朝向广告幕墙前方，拍摄所述用户的手部动作图像信息。
在一种可能的实施方式中，所述采集图像信息后，包括：
将采集的用户人脸图像信息和手部动作图像信息发送至交互响应主机，交互响应主机根据手部动作图像信息确定所述用户的交互选择项，并将所述人脸图像信息与所述交互选择项发送至广告交互管理服务器。
在一种可能的实施方式中，根据所述图像信息发送至所述视屏广告相对应的客户端后，包括：
客户端商家通过接收到的所述用户人脸图像信息和交互选择项，为该用户建立账户。
(三)有益效果
本发明公开的一种三维成像感知的智能建筑广告幕墙及其系统，具有如下有益效果：
1、投影显示器将视屏广告以及与视屏广告相互关联的交互内容投影至广告幕墙，图像采集装置采集用户人脸图像信息和手部动作图像信息，交互响应主机根据用户手部动作确定用户的交互选择项，广告交互管理服务器将人脸图像信息和交互选择项发送至商家客户端，从而实现用户便利快捷的与商家进行交互，消除不必要的交互装置。
2、通过后台服务器下载视屏广告，并将该视屏广告通过通信单元传送至交互相应主机，便于更换不同商家的视屏广告。
3、通过人脸捕捉摄像机拍摄用户的人脸图像信息，从而得知用户的身份信息。
4、通过场景三维成像摄像机组对用户的手部工作进行拍摄，实现用户手部动作的三维定位，根据用户手部工作的三维定位可以判断出用户的交互选择项所选的功能。
5、根据用户人脸图像信息和交互选择项进行相关的功能，商家可以为该用户建立相关的账户等。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
图1是本发明公开的一种三维成像感知的智能建筑广告幕墙系统框图。
图2是本发明公开的一种三维成像感知的智能建筑广告幕墙控制方法的流程图。
图3是本发明公开的投放视屏广告前的流程图。
图4是本发明公开的采集图像信息后的流程图。
图5是本发明公开的根据图像信息发送至视屏广告相对应的客户端后的流程图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
下面参考图1详细描述本发明公开的一种三维成像感知的智能建筑广告幕墙的系统的第一实施例。本实施例主要应用于视频广告交互，通过摄像机采集用户的人脸特征与交互选择项发送至后台的广告交互管理服务器中的方法，使用户操作便利快捷。
如图1所示，本实施例主要包括有交互广告幕墙和后台服务器。
交互广告幕墙包括交互响应主机400、投影显示器100和图像采集装置，其中交互响应主机400用于存储视屏广告以及与视屏广告相关联的交互式内容。投影显示器100与交互响应主机400连接，交互响应主机400将广告以及相关的交互内容通过投影显示器100，将其播放。投影显示器100以投影的方式向建筑物的墙壁投射播放视屏广告，从而形成广告幕墙。其中建筑物可以是写字楼、商场和居民楼等人员流通频繁且由较大的空白地方的建筑物。其中，所述视屏广告可以是动态视频、静态图像、文字等；交互式内容是由图标和/或文字组成的分级菜单选项，交互式内容一般与视屏广告相关联。例如视屏广告是介绍某个餐厅的动态视频或者静态图像，则关联的交互式内容的首级菜单选项可以是餐厅免费会员卡、领取打折券、预定餐位和菜品；预定餐位和菜品的菜单选项之下又可以包括预定餐位、预定菜品两个二级菜单选项；预定餐位的菜单选项之下又可以包括预定2人位、预定4人位、预定6人位等三级菜单选项。
图像采集装置与交互响应主机400连接，该图像采集装置包括人脸捕捉摄像机200和场景三维成像摄像机组300，人脸捕捉摄像机200的拍摄视野朝向用户的人脸，用于拍摄用户的人脸图像信息，场景三维成像摄像机组300的拍摄视野朝向广告幕墙前方空间范围内的场景，用于拍摄用户的手部动作图像信息，图像采集装置将采集到的人脸图像信息与手部动作图像信息发送至交互响应主机中。
交互响应主机400根据图像采集装置发送的手部动作图像信息提取并根据手部动作的三维位置变化，控制交互式内容的呈现，从而分析用户的交互选择项，交互响应主机400将用户的人脸图像信息与交互选择项发送至后台服务器。
具体的说，交互响应主机400根据手部动作的三维位置变化，控制交互式内容的呈现。在播放完视屏广告后，即呈现交互式内容的菜单，例如以从上到下的顺序依次呈现包括领取餐厅免费会员卡、领取打折券、预定餐位和菜品等首级菜单选项。根据手部的三维位置变化，例如从手部动作图像信息提取到手部位置变化呈现从上到下的移动，则三个首级菜单选项依次呈现表明被选中的可视交互效果，例如从上到下的三个菜单选项依次改变图标和/或文字颜色；当根据手部的三维位置变化，例如从手部动作图像信息提取到手部位置变化呈现停止移动，则将该时刻正在呈现被选中的可视交互效果的菜单选项作为选中的菜单选项。假设选取了领取打折券，则人脸捕捉摄像机拍摄用户的人脸，并且交互响应主机400将用户的人脸图像信息中的人脸特征和交互选择项发送给后台服务器。假设选中了预定餐位和菜品的菜单选项，则交互式内容呈现为预定餐位、预定菜品两个上下排列的二级菜单选项，类似地，根据从手部动作图像信息提取到手部位置变化，确定被选中的菜单选项位预定餐位，则交互式内容呈现预定2人位、预定4人位、预定6人位的三级菜单选项，根据从手部动作图像信息提取到手部位置变化，确定被选中的菜单选项为预定2人位，则人脸捕捉摄像机拍摄用户的人脸，并且交互响应主机400将用户的人脸图像信息中的人脸特征和交互选择项发送给后台服务器。通过这种方式交互代替了传统的交互装置，使用户操作快捷便利，并且利用广告幕墙直接参与和实现交互，不必利用智能手机扫码等间接性交互方式。当然，所述菜单选项也可以按照其它的方向布局进行呈现，例如水平排列，进而对应于用户手部从左到右的水平位置变化而确定被选中的菜单选项。
由于交互广告幕墙设立在智能建筑的公共区域，难免发生多个用户处于幕墙前方的有效空间范围并均试图进行交互的情况。针对这一情况，交互广告幕墙可以按照在每个播放视屏广告的周期内人脸捕捉的先后顺序，依次与每个用户进行互动。具体来说，当播放视屏广告的过程中，人脸捕捉摄像机200拍摄幕墙前方有效空间范围内的场景，交互响应主机400并从中提取和暂存人脸图像信息，例如在播放过程中甲乙丙三个用户先后进入并处于幕墙前方有效空间范围，则交互响应主机400提取和暂存甲、乙、丙三个用户的人脸图像信息；当视屏广告播放完毕并呈现交互式内容的菜单选项后；交互响应主机400从场景三维成像摄像机组300拍摄的广告幕墙前方空间范围内的场景中，首先识别出甲用户的人脸图像信息，进而定位该甲用户所在的空间区域，该空间区域是场景中以甲用户的人脸为参照物的一定的空间范围；进而，交互响应主机400从该空间区域中提取手部的三维位置变化，实现甲用户的交互；在甲用户完成交互之后，或者等待预定的时长(例如10秒)甲用户的手部并没有做出有效的交互动作——例如没有由上到下的手部移动，则进而识别出乙用户的人脸图像信息，进而定位该乙用户所在的空间区域，交互响应主机400从该空间区域中提取手部的三维位置变化，实现乙用户的交互；丙用户的交互同理。当幕墙前方有效空间范围内的用户全部完成了交互过程，或者当等待预定的时长(例如10秒)没有捕捉到有用户进行新的手部交互动作，则启动下一周期的视屏广告播放。
在一种实施方式中，后台服务器包括广告交互管理服务器500，广告交互管理服务器500与交互响应主机400连接，用于将人脸图像信息与交互选择项发送至视屏广告商家客户端。
具体的说，广告交互管理服务器500从商家客户端获得视屏广告以及与广告相关联的交互式内容，通过交互广告幕墙播放广告，交互响应主机400将观看该视屏广告的用户的人脸特征和交互选择项发送给广告交互管理服务器500，广告交互管理服务器500将其发送给视屏广告商家的客户端，商家客户端可以根据人脸特征和交互选择项进行相关的功能联系，从而为用户服务，例如为该用户建立账户并分配打折券、保留餐位等，当用户前来店里消费，则可以通过刷脸的方式验证身份，并实际使用该打折券、在保留餐位入座等。
在一种实施方式中，交互响应主机400包括下载服务器600，下载服务器600与交互响应主机400通过通信单元700连接，下载服务器600用于从广告交互管理服务器500下载广告以及与视屏广告相互关联的交互式内容，例如视屏广告的内容是某餐厅的美食介绍，则相关联的交互式内容包括领取餐厅免费会员卡、领取打折券、预定餐位和菜品等；如果视频广告的内容是商品介绍，交互式内容可以是预定该商品或者领取代金券等。
多个交互响应主机400可以对应一个下载服务器600，例如，一栋智能建筑中很多块交互广告幕墙的交互响应主机400可以均对应一个下载服务器600，由该下载服务器600统一提供或者针对每个幕墙分别提供广告以及与视屏广告相互关联的交互式内容。下载服务器600可以利用智慧建筑内部网络向交互响应主机400提供所述广告以及与视屏广告相互关联的交互式内容。
视屏广告的交互式内容中包含了广告交互管理服务器500的网络地址，从而交互响应主机400可以与广告交互管理服务器500建立通信连接从而实现上述将人脸特征和交互选择项发送给广告交互管理服务器。从而，根据网络地址的不同，所述交互响应主机400可以对应于多个不同的广告交互管理服务器500，每个广告交互管理服务器500由各自的广告发布方进行运营，并且对应于不同商家的商家客户端。
进一步的，通信单元700可以采用4g或5g等通信。
在一种实施方式中，场景三维成像摄像机组300包括若干场景摄像机，场景摄像机设置于用户周围，用于拍摄用户的手部动作，通过多个场景摄像机对广告幕墙前场景范围内的用户的手部动作进行多角度拍摄，从而产生的一系列的场景画面，进而实现用户手部动作的三维定位，通过用户手部动作的三维定位控制交互式内容的呈现，以及确定用户的交互选择项。
在一种实施方式中，若干场景摄像机包括：第一场景摄像机，设置在用户手部动作对应范围后方，用于捕捉用户手部动作的正面投影坐标位置，确定用户的手部与广告幕墙之间的距离；第二场景摄像机，设置在用户手部动作对应范围一侧，用于捕捉用户手部动作的侧面投影坐标位置，确定用户手部与广告幕墙的宽度方向上侧边的距离；第三场景摄像机，设置在用户手部动作对应范围的下方，用于捕捉用户手部动作的水平投影坐标位置，确定用户手部位置与水平地面距离，例如，若用户手部动作为从上到下的移动，手部位置逐步向水平地面移动，其他两个方向的距离保护不变。
下面参考图图1-5详细描述本发明公开的一种三维成像感知的智能建筑广告幕墙的控制方法的第一实施例。本实施例主要应用于视频广告交互，通过摄像机采集用户的人脸特征与交互选择项发送至后台的广告交互管理服务器中的方法，使用户操作便利快捷。
如图1和图2所示，本实施例主要包括以下步骤：
s800、投放视屏广告，其中，视屏广告包括与视屏广告相关联的交互式内容。
s801、采集图像信息，其中采集用户人脸图像信息和手部动作图像信息。
s802、根据图像信息发送至视屏广告相对应的商家客户端。
如图3所示，在一种实施方式中，步骤s800中，投放视屏广告前还包括以下步骤：
s8001、下载视屏广告以及与视屏广告相关联的交互式内容。
通过下载服务器下载视屏广告以及与视屏广告相关联的交互式内容，并将其视屏通过通信单元发送至交互响应主机，交互响应主机与投影显示器连接。
在一种实施方式中，步骤s801采集图像信息，包括以下步骤：
控制人脸捕捉摄像机的拍摄视野朝向用户的人脸，拍摄用户的人脸图像信息；
控制场景三维成像摄像机组的拍摄视野朝向广告幕墙前方，拍摄用户的手部动作图像信息。
如图4所示，在一种实施方式中，步骤s801采集图像信息后，包括以下步骤：
s8011、将采集的用户人脸图像信息和手部动作图像信息发送至交互响应主机，交互响应主机根据手部动作图像信息确定用户的交互选择项，并将人脸图像信息与交互选择项发送至广告交互管理服务器。
如图5所示，在一种实施方式中，步骤s802根据图像信息发送至视屏广告相对应的客户端后，包括以下步骤：
s8021、客户端商家通过接收到的用户人脸图像信息和交互选择项，为该用户建立账户。
具体的，交互响应主机400通过通信单元700从下载服务器600下载视频广告以及与广告相关联的交互式内容，例如视频广告的内容是某餐厅的美食介绍，则相关联的交互式内容包括领取餐厅免费会员卡、领取打折券、预定餐位和菜品等；如果视频广告的内容是商品介绍，交互式内容可以是预定该商品或者领取代金券。交互响应主机把视频广告以及与广告相关联的交互式内容存储在自身的存储器里面。
投影显示器100与交互响应主机400连接，投影显示器100将视屏广告以及与视屏广告相关联的交互式内容播放，从而形成广告光幕，用户在观看视屏广告后通过手部动作操作视屏广告交互内容，人脸捕捉摄像机200用户人脸特征，场景三维成像摄像机组300拍摄用户手部动作。
交互响应主机400根据用户手部动作三维位置变化，控制交互式内容呈现，例如包括领取餐厅免费会员卡、领取打折券、预定餐位和菜品等，根据手部的三维位置变化，例如从上到下的移动，可以选中菜单中的一项，假设选取了领取打折券，则人脸捕捉摄像机拍摄用户的人脸，并且交互响应主机将用户的人脸特征和交互选择项发送给后台的广告交互管理服务器500。
广告交互管理服务器500从商家客户端获得视频广告以及与广告相关联的交互式内容，以及将用户的人脸特征和交互选择项发送给商家的客户端，商家客户端可以根据人脸特征和交互选择项进行相关的功能，例如为该用户建立账户并分配打折券；当用户前来消费，则可以用刷脸的方式验证身份并实际使用该打折券。
本实施例的交互响应主机400、投影显示器100和图像采集装置等部件的具体结构均可参照前述一种三维成像感知的智能建筑广告幕墙系统的第一实施例所描述的结构设置，不再一一赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
1.一种三维成像感知的智能建筑广告幕墙系统，其特征在于，包括：交互广告幕墙和后台服务器，其中交互广告幕墙包括交互响应主机、投影显示器和图像采集装置；
所述投影显示器与所述交互响应主机连接，用于投放视屏广告；
所述图像采集装置与所述交互响应主机连接，其包括人脸捕捉摄像机和场景三维成像摄像机组，所述人脸捕捉摄像机的拍摄视野朝向用户的人脸，用于拍摄所述用户的人脸图像信息，所述场景三维成像摄像机组的拍摄视野朝向广告幕墙前方空间范围内的场景，用于拍摄所述用户的手部动作图像信息，并将所述人脸图像信息与所述手部动作图像信息发送至所述交互响应主机；
所述交互响应主机用于存储视屏广告以及与所述视屏广告相关联的交互式内容，所述交互响应主机根据所述手部动作图像信息分析所述用户的交互选择项，并将所述人脸图像信息与所述交互选择项发送至所述后台服务器。
2.如权利要求1所述的系统，其特征在于，所述后台服务器包括广告交互管理服务器，所述广告交互管理服务器与所述交互响应主机连接，用于将所述人脸图像信息与所述交互选择项发送至所述视屏广告商家客户端。
3.如权利要求2所述的系统，其特征在于，所述交互响应主机包括下载服务器，所述下载服务器与所述交互响应主机通过通信单元连接，所述下载服务器用于下载广告以及与所述视屏广告相互关联的交互式内容。
4.如权利要求1所述的系统，其特征在于，所述场景三维成像摄像机组包括若干场景摄像机，所述场景摄像机设置于所述用户周围，用于拍摄所述用户的手部动作。
5.如权利要求4所述的系统，其特征在于，所述若干场景摄像机包括：
第一场景摄像机，设置在所述用户手部动作对应范围后方，用于捕捉所述用户手部动作的正面投影坐标位置；
第二场景摄像机，设置在所述用户手部动作对应范围一侧，用于捕捉所述用户手部动作的侧面投影坐标位置；
第三场景摄像机，设置在所述用户手部动作对应范围的下方，用于捕捉所述用户手部动作的水平投影坐标位置。
6.一种三维成像感知的智能建筑广告幕墙的控制方法，其特征在于，包括以下步骤：
投放视屏广告，其中，视屏广告包括与所述视屏广告相关联的交互式内容；
采集图像信息，其中采集用户人脸图像信息和手部动作图像信息；
根据所述图像信息发送至所述视屏广告相对应的商家客户端。
7.如权利要求6所述的控制方法，其特征在于，所述投放视屏广告前还包括：
下载视屏广告以及与所述视屏广告相关联的交互式内容。
8.如权利要求6所述的控制方法，其特征在于，所述采集图像信息，包括：
控制人脸捕捉摄像机的拍摄视野朝向用户的人脸，拍摄所述用户的人脸图像信息；
控制场景三维成像摄像机组的拍摄视野朝向广告幕墙前方，拍摄所述用户的手部动作图像信息。
9.如权利要求6所述的控制方法，其特征在于，所述采集图像信息后，包括：
将采集的用户人脸图像信息和手部动作图像信息发送至交互响应主机，交互响应主机根据手部动作图像信息确定所述用户的交互选择项，并将所述人脸图像信息与所述交互选择项发送至广告交互管理服务器。
10.如权利要求6所述的控制方法，其特征在于，根据所述图像信息发送至所述视屏广告相对应的客户端后，包括：
客户端商家通过接收到的所述用户人脸图像信息和交互选择项，为该用户建立账户。
技术总结