本发明属于餐饮服务技术领域，具体涉及一种智能点餐服务系统和方法。
背景技术：
目前实体餐饮店绝大多数都配有一个收银客服，用传统的收银机进行下单后，引导客户扫刷二维码或者通过现金，人脸支付。还有比较普遍的是制作了微信小程序，在扫描后在程序内自助下单。还有第三种不太普及的是通过平板或者别的系统屏幕中的程序点击菜单类界面的进行下单。目前主流传统的靠人做收银客服存在工作创造价值低，重复劳动简单枯燥，在当前新型冠状病毒的大环境下还存在人与人之间的传染隐患。后面两种扫码通过微信或者其他程序进行点单支付的模式，互动性很低，用户体验感比较差，对年纪大的顾客或者不熟悉智能手机的顾客的使用门槛较高。
技术实现要素：
本发明的目的是提供一种智能点餐服务系统和方法，利用虚拟人物模型动画技术、人工智能自然语言处理与理解技术、人脸识别技术和网络通信技术等来解决现有技术中存在的问题。
本发明提供的一种智能点餐服务系统，包括后端计算终端和前端点餐服务终端装置，后端计算终端用于部署收银系统、广告系统及人机交互中人工智能自然语音处理与理解模块的调用模型，负责数据存储和计算深度学习模型。后端计算终端和前端点餐服务终端装置进行通信，前端点餐服务终端装置接收点餐者人脸检测识别信息，激活虚拟人物形象进行相应动作和智能语音交互实现模拟真实环境的人机交互，完成点餐流程。点餐服务终端装置固定设置在餐饮门店内或门口，用于替代现有的餐厅点餐服务人员和收银人员及现有的收银系统，该点餐服务终端装置包括包括触摸显示屏模块、带3d图像处理能力的计算终端模块、高清摄像头模块、支付模块、小票打印模块、降噪拾音麦克风模块、扬声器模块以及网络通讯模块。
触摸显示屏模块，通过点击触摸进行辅助的人机交互；
带3d图像处理能力的计算终端模块，用于3d或2d图像处理，调用执行其他算法模块及3d或2d模型及场景驱动渲染；
高清摄像头模块，由人脸检测算法模块调用，负责侦测前方预设范围是否存在用户；
支付模块，包括二维码扫码支付模块和人脸支付模块，二维码扫码支付模块，负责扫描手机支付二维码完成付款流程；人脸支付模块，负责扫描人脸支付完成付款流程；
小票打印模块，负责打印点餐订单小票明细及等待人数及订单号码；
降噪拾音麦克风模块，负责获取用户在人机交互中产生语音音频数据信号；
扬声器模块，负责播放人工智能自然语音理解与处理算法模块产生人机交互语音信息；
网络通讯模块，负责与本地后端计算终端或者云计算终端传输数据。
一种智能点餐服务方法，该点餐服务方法应用于设置在餐饮店内或门口的点餐服务终端装置中，包括以下步骤：
对点餐者进行人脸检测扫描，通过调用高清摄像头硬件模块，获取实时帧图片，运用人脸检测算法对图片中预设范围内是否包含人脸进行判断；
人脸检测算法模块进行点餐系统激活，当检测到人脸信息，带3d图像处理能力的计算终端模块通过算法及服务调用模块，调用2d或3d虚拟人物模型开启点餐流程，调用人工智能自然语音理解与处理模块进行处理人机语音互动服务，包括主动语音及虚拟人物模型动画询问，通过调用降噪拾音麦克风硬件模块拾取点餐者产生的语音音频数据，运用算法或者调用第三方程序转换为文字数据，通过通讯模块将文字数据传输到后台预训练好的人工智能深度学习神经网络进行推理计算，生成特征向量数据并进行数据库分类匹配理解客户意图，通过多轮对话管理系统，通过深度学习神经网络推理计算提取关键ner(命名实体识别)信息，并通过调用扬声器进行反馈互动语音交互，完成菜品推荐、展示及点餐；
根据智能语音交互信息驱动虚拟人物动作的代码脚本模块驱动虚拟人物模型生成实时动画，根据不同的情景及不同的语句环境驱动模型进行各种匹配的动作运动；
完成点餐及付款引导，算法及服务调用模块负责管理在点餐流程的各个阶段调用不同的算法模块，按付款流程代码脚本调用各相关硬件完成点餐及付款程序。
根据点餐及付款信息后台收银数据库系统模块记录点餐者订单及同步厨房备菜下单。
进一步的，对点餐者进行人脸检测扫描包括判断点餐客户所在远近的位置信息，近距离目标范围内检测到人脸激活点餐流程，较远目标范围内检测到人脸激活主动揽客广告系统。
进一步的，还包括广告展示系统模块：通过预设广告展示海报，预设视频音频，预设虚拟人模型动画等信息进行店铺及餐品等的广告宣传。
本发明有益效果在于：通过预制作2d或者3d虚拟人物模型(或其他替代形象)及场景作为对外展示窗口，通过运用人工智能人脸检测技术，人工智能自然语言理解与处理技术，以及二维码扫描或人脸识别付款，及后台收银系统，广告揽客系统组成的一整套解决方案，解决在当前餐饮店点餐应用场景下，传统的收银机点餐系统无法做到无人化，现有无人化点餐付款系统的用户交互体验度低，使用门槛高的问题，完美模拟了正常的有收银人员的点餐交互流程，做到了智能化，低使用门槛的智能点餐及收银系统。同时还可以作为智能广告机器人招揽生意。增加互动性和增强点餐的体验感，让客户体验完美模拟真人收银员的下单点餐模式，减少不必要的人工和提高下单效率，对餐饮行业的发展产生积极影响。
附图说明
图1为本发明服务系统的组成示意图；
图2为本发明方法的步骤流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
本实施例提供了一种智能点餐服务系统，组成结构示意图如图1所示，点餐服务系统后端计算终端和前端点餐服务终端装置，点餐服务终端装置可以是多个，后端计算终端通过无线或有线网络与点餐服务终端进行通信，后端计算终端用于部署收银系统、广告系统及人机交互中人工智能自然语音处理与理解模块的调用模型，负责数据存储和深度学习模型推理计算。后端计算终端和点餐服务终端装置进行通信，前端点餐服务终端处理摄像头模块获取的点餐者人脸识别信息，启动虚拟人物形象进行人机交互，完成点餐流程。该点餐服务终端装置固定设置在餐饮门店内或门口，用于替代现有的餐厅点餐服务人员和收银人员，该点餐服务系统包括触摸显示屏模块、带3d图像处理能力的计算终端模块、高清摄像头模块、支付模块、小票打印模块、降噪拾音麦克风模块、扬声器模块以及网络通讯模块，后端计算模块。
其中，处理模块(硬件设备由前后端两部分组成，或者直接全部由前端的完成)包括人脸检测算法模块、人工智能自然语音理解与处理模块、驱动虚拟人物动作的代码脚本模块、算法及服务调用模块、后台收银数据库系统模块、广告展示系统模块。
人脸检测算法模块：通过调用高清摄像头硬件模块，获取实时帧图片，运用人脸检测算法对图片中预设范围内是否包含人脸(及点餐用户远近信息)进行判断。
人工智能自然语音理解与处理模块：通过调用降噪拾音麦克风硬件模块产生的点餐用户语音音频数据，运用算法或者调用第三方程序转换为文字数据，通过通讯模块将文字数据传输到后台预训练好的人工智能深度学习神经网络进行推理计算，生成特征向量数据进行数据库分类匹配理解客户意图，通过多轮对话管理系统，通过深度学习神经网络推理计算提取关键ner(命名实体识别)，并通过调用扬声器进行反馈语音交互。完成菜品推荐、展示及点餐。
驱动虚拟人物动作的代码脚本模块：主动tts语音及调用虚拟人物模型生成实时动画，及根据不同的情景及不同的语句环境驱动模型进行各种匹配的动作运动。
算法及服务调用模块：算法及服务调用模块负责管理在点餐流程的各个阶段调用不同的算法模块，按付款流程代码脚本调用各相关硬件完成点餐及付款程序。
后台收银数据库系统模块：管理餐厅账目，管理会员信息，食材库存及点餐排队等。
广告展示系统模块：通过预设广告展示海报，预设视频音频，预设虚拟人模型驱动脚本等进行店铺及餐品等的广告宣传。
以下给出上述系统的一个最佳实施方案，具体包括：系统的结构组成包括可触摸点击的显示屏及带3d图像处理能力的计算终端，高清摄像头，降噪拾音麦克风，扬声器，二维码扫码支付装置，小票打印装置，(人脸识别付款装置)以及无线网络模块组成的前端硬件方案，后端为x86计算机系统或者云服务器部署收银系统和广告系统的计算终端。
通过由成熟3d引擎框架预制作2d或者3d的虚拟人物(或其他替代形象)及场景在前端作为人机交互的展示载体，通过算法及服务调用模块调用人脸检测算法模块、人工智能自然语音理解与处理算法(后台建立知识库与智能交互系统)模块驱动虚拟人物动作的代码脚本模块，以及后台收银数据库系统及广告展示系统。形成的一整套方案。
实施例二
基于上述实施例一，相应地，本实施例提供一种智能点餐服务方法，步骤流程图参见图2所示，具体包括以下步骤：
步骤1，系统按预设的广告模式进行店铺及菜品宣传；
步骤2，人脸检测算法模块通过高清摄像头模块和带3d图像处理能力的计算终端，运用人工智能计算机视觉人脸检测算法实时扫描目标范围内的人脸信息；
步骤3，当目标范围出现人脸后，驱动虚拟人物动作的代码脚本模块，进行调用虚拟人物实行相应的预设动画及主动tts语音招揽客户。
步骤4，人脸检测算法模块检测到客户进入点餐范围后，激活算法及服务调用模块，调用人工智能自然语音理解与处理模块及驱动虚拟人物动作的代码脚本模块，与客户进行智能语音交互，当客户说“我想点一份辣椒炒肉”语音，降噪拾音麦克风硬件模块产生会产生音频数据，通过运用算法或者调用第三方程序转换为文字数据。通过通讯模块将文字数据传输到后端计算终端通过预训练好的人工智能深度学习神经网络模型进行推理计算，生成特征向量数据。经过匹配分类后，理解客户意图为点餐，通过深度学习神经网络推理计算提取关键ner(命名实体识别)理解提取餐品为“辣椒炒肉盖码饭”，驱动虚拟人物动作的代码脚本模块调用预设虚拟人物模型进行相应动作并调出预设“辣椒炒肉盖码饭饭”图片或视频，并调用主动tts通过扬声器模块与客户进行点餐交互。客户可通过继续语音交互或者点击屏幕完成订单确认。
步骤5，算法及服务调用模块调用二维码扫码支付模块或人脸支付模块,小票打印模块完成订单支付。
步骤6，通过后端计算终端，完成收银系统录入及厨房生产下单指令。
本发明方法通过2d或3d渲染的虚拟人物形象动画以及人工智能语音交互算法，按设计好的点餐流程，完成模拟真人服务员的点餐体验，为开拓餐饮行业智能服务产生积极影响。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
1.一种智能点餐服务系统，包括点餐服务终端装置，其特征在于，点餐服务终端装置接收点餐者人脸检测识别信息，激活虚拟人物形象进行相应动作和智能语音交互实现模拟真实环境的人机交互完成点餐流程；该点餐服务终端装置固定设置在餐饮门店内或门口，用于替代现有的餐厅点餐服务人员、收银人员及现有的收银系统，该点餐服务终端包括包括触摸显示屏模块、带图像处理能力的计算终端模块、高清摄像头模块、支付模块、小票打印模块、降噪拾音麦克风模块、扬声器模块以及网络通讯模块，其中：
触摸显示屏模块，通过点击触摸进行辅助的人机交互；
带图像处理能力的计算终端模块，用于3d或2d图像处理，调用执行算法及服务代码模块及3d或2d模型及场景驱动渲染；
高清摄像头模块，由人脸检测算法模块调用，负责侦测前方预设范围是否存在用户；
支付模块，包括二维码扫码支付模块和人脸支付模块，二维码扫码支付模块，负责扫描手机支付二维码完成付款流程；人脸支付模块，负责扫描人脸支付完成付款流程；
小票打印模块，负责打印点餐订单小票明细及等待人数及订单号码；
降噪拾音麦克风模块，负责获取用户在人机交互中产生的语音音频数据信号；
扬声器模块，负责播放人工智能自然语音理解与处理算法模块产生人机交互语音信息；
网络通讯模块，负责与本地后端计算终端或者云计算终端传输数据。
2.根据权利要求1所述的智能点餐服务系统，其特征在于，智能点餐服务系统还包括后端计算终端，后端计算终端和点餐服务终端装置进行通信，后端计算终端用于部署收银系统、人机交互中人工智能自然语音处理与理解模块的调用模型。
3.根据权利要求2所述的智能点餐服务系统，其特征在于，后端计算终端还包括广告系统，用于点餐服务终端装置进行广告投放。
4.根据权利要求3所述的智能点餐服务系统，其特征在于，后端计算终端还用于接收点餐服务终端装置判断出的点餐者的信息并存储管理该信息，根据点餐者的信息推送符合其喜好的菜品。
5.一种智能点餐服务方法，该点餐服务方法应用于设置在餐饮店内或门口的点餐服务终端装置中，其特征在于，包括以下步骤：
对点餐者进行人脸检测识别，通过调用高清摄像头硬件模块，获取实时帧图片，运用人脸检测算法对图片中预设范围内是否包含人脸进行判断；
人脸检测算法模块进行点餐系统激活，检测到人脸信息调用2d或3d虚拟人物模型开启点餐流程，人工智能自然语音理解与前端带3d图像处理能力的计算终端模块进行处理人机语音互动服务，包括主动语音及虚拟人物模型动画询问，通过互动服务进行菜品推荐、展示及点餐；
根据智能语音交互信息驱动虚拟人物动作的代码脚本模块驱动虚拟人物模型生成实时动画，根据不同的情景及不同的语句环境驱动模型进行各种匹配的动作运动；
完成点餐及付款引导，算法及服务调用模块负责管理在点餐流程的各个阶段调用不同的算法模块，按付款流程代码脚本调用各相关硬件完成点餐及付款程序；
根据点餐及付款信息后台收银数据库系统模块记录点餐者订单及同步厨房备菜下单。
6.根据权利要求5所述的智能点餐服务方法，其特征在于，还包括广告展示系统模块：通过预设广告展示海报，预设视频音频，预设虚拟人模型动画等信息进行店铺及餐品等的广告宣传。
7.根据权利要求6所述的智能点餐服务方法，其特征在于，对点餐者进行人脸识别包括判断点餐客户所在远近的位置信息，近距离目标范围内检测到人脸激活点餐流程，较远目标范围内检测到人脸激活广告系统。
技术总结