本发明涉及自助收银防损技术领域，具体涉及一种基于手部轨迹识别的自助收银ai防损系统及方法。
背景技术：
自助收银最早出现在欧美等发达国家的大型超市中，因其方便、快捷的自助形式受到了顾客的欢迎。现如今，自助收银走入我国并在不少城市的商场、超市、便利店中逐渐被使用，一方面，自助收银的形式更加方便、快捷，通过人机交互，顾客自己就能操作完成，节省了很多排队结账的时间，提高了效率，改善了顾客的购物体验；另一方面，安装了自助收银机设备为商户节省了人力成本，也带来了可观的利益。
自助收银虽然解决了零售业人工收银体验差、人力成本上升以及顾客购物排队的痛点，但没有很好的解决零售企业关注的防损问题，目前自助收银的防损解决方案大概有以下几种：
1、称重防损：顾客扫描商品后将商品放到防损电子秤上，通过比对商品重量达到防损的目的，此方案可以解决一部分普通商品的防损，但存在的缺点是：商场在经营过程中促销频繁，经常性的捆绑促销、生鲜类的加工等，商品重量发生很大变化且不固定，导致商品重量比对出错，需要人工协助，可能存在一笔交易中顾客需要频繁求助，使自助收银过程中干预过多、体验差；
2、防盗标签防损：目前超市常用的防盗标签是声磁、射频两类，具备防盗标签的商品经过消磁器时会被消磁，多件商品靠近时会同时被消磁，存在的缺点是：防盗标签与商品没有一一对应关系，导致在自助收银时达不到有效的防损目的；
3、射频识别防损：射频识别(rfid)技术是一种无线通信技术，在商品表面粘贴rfid标签，顾客自助交易中通过设备读取rfid标签中的id来识别商品，存在的缺点是：rfid电子标签成本高，普通rfid标签单价大概在0.2至0.5元左右，对于液体、外包装是金属的商品，rfid标签会失效，如果要避免此类商品rfid标签失效的问题，需要采用成本更高的rfid电子标签，且目前rfid标签不是商品出厂标配，企业需要后期投入大量人力去粘贴，增加了企业成本；
4、无防损：由于以上方案没能很好地解决自助收银的防损问题，部分企业直接取消了防损控制，导致企业商品防损压力倍增，要投入更多的人力在自助区域监控顾客交易，达不到企业减员增效、节约成本的目的。
因此，本发明针对上述问题，提出了一种基于手部轨迹识别的自助收银ai防损系统及方法。
技术实现要素：
针对现有技术中的缺陷，本发明提供一种基于手部轨迹识别的自助收银ai防损系统及方法，解决了现有自助收银系统的防损方案存在人工干预过多，防盗标签与商品无法一一对应识别，耗费人力和成本，难以更好地实现防损的问题。
本发明采用的技术方案如下：
一种基于手部轨迹识别的自助收银ai防损系统，包括自助收银终端、服务器和移动终端，所述自助收银终端包括条码扫描模块和视频采集模块，所述条码扫描模块、视频采集模块均与服务器连接，所述服务器与移动终端连接；
所述条码扫描模块用于采集商品条码，并将条码信息发送给服务器；
所述视频采集模块用于采集顾客交易过程中的动态图像数据并发送给服务器；
所述服务器对动态图像数据中手部的动作、形态和运动轨迹进行分析，判断手中是否拿有商品后，再判断是否存在异常行为，并反馈异常行为分析结果给自助收银终端和/或移动终端；
所述移动终端用于对异常行为分析结果进行提示或报警。
优选地，所述自助收银终端前设置有工作台，所述工作台上设置有商品暂存区、扫描区和装袋区，所述商品暂存区用于放置未扫描的商品，所述扫描区用于对商品进行条码扫描，所述装袋区用于放置已扫描的商品。
优选地，所述服务器为gpu服务器。
一种基于手部轨迹识别的自助收银ai防损方法，包括以下步骤：
步骤1：条码扫描模块采集商品条码，并将条码信息发送给服务器；
步骤2：视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；
步骤3：服务器对动态图像数据中手部的动作、形态和运动轨迹进行分析，判断手中是否拿有商品，若有商品，则分析是否存在异常行为，反馈分析结果给自助收银终端和/或移动终端；
步骤4：自助收银终端和/或移动终端根据分析结果进行提示或报警。
优选地，所述步骤3具体包括以下步骤：
步骤3.1：服务器跟踪动态图像数据中的手部动作、形态和运动轨迹；
步骤3.2：判断手中是否拿有商品，若有商品，则进行下一步，若没有商品，则返回步骤3.1；
步骤3.3：进行异常行为分析，判断是否存在不符合预设行动轨迹的行为；
步骤3.4：将分析结果发送给自助收银终端和/或移动终端。
优选地，所述步骤3.1具体包括以下步骤：
步骤3.1.1：自助收银终端以每秒20-30帧的速率从视频采集模块中获取图像数据并上传服务器；
步骤3.2.2：服务器获取图像数据后将手部动作、形态和运动轨迹进行记录。
优选地，所述步骤4具体包括以下步骤：
步骤4.1：若自助收银终端和/或移动终端接收到的分析结果为正常，则进行下一步，若分析结果为异常，则直接报警并冻结本次交易，需人工干预是否重新扫码或者结束交易；
步骤4.2：判断是否收到步骤1的条码信息，若有收到，则提示“扫码成功”，结束本次操作，若没有收到，则反馈给自助收银终端，提示“扫码失败”，并返回步骤1。
本发明的有益效果体现在：
一种基于手部轨迹识别的自助收银ai防损系统及方法，通过顾客手部轨迹对顾客的行为进行初次判断，避免商品未经扫描被顾客直接从工作台之外的区域进入装袋区；通过顾客手部轨迹分析结果和条码扫描模块的配合对顾客的行为进行二次判断，避免商品未经扫描从扫描区进入装袋区；通过两次行为判断完成顾客购物过程合法性的判断，起到防损的目的，同时解决了现有自助收银系统的防损方案存在人工干预过多，防盗标签与商品无法一一对应识别，耗费人力和成本，难以更好地实现防损的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为一种基于手部轨迹识别的自助收银ai防损方法的流程图；
图2为一种基于手部轨迹识别的自助收银ai防损系统的结构框图；
图3为本发明自助收银终端功能区域划分示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图2所示，一种基于手部轨迹识别的自助收银ai防损系统，包括自助收银终端、服务器和移动终端，所述自助收银终端包括条码扫描模块和视频采集模块，所述条码扫描模块、视频采集模块均与服务器连接，所述服务器与移动终端连接；
所述条码扫描模块用于采集商品条码，并将条码信息发送给服务器；
所述视频采集模块用于采集顾客交易过程中的动态图像数据并发送给服务器；
所述服务器对动态图像数据中手部的动作、形态和运动轨迹进行分析，判断手中是否拿有商品后，再判断是否存在异常行为，并反馈异常行为分析结果给自助收银终端和/或移动终端；
所述移动终端用于对异常行为分析结果进行提示或报警。
优选地，所述自助收银终端前设置有工作台，如图3所示，所述工作台上设置有商品暂存区、扫描区和装袋区，所述商品暂存区用于放置未扫描的商品，所述扫描区用于对商品进行条码扫描，所述装袋区用于放置已扫描的商品。
具体地，所述视频采集模块的采集范围包括商品暂存区、扫描区和装袋区，以及未知区，所述未知区为顾客交易过程中的活动区域。
优选地，所述服务器为gpu服务器。
具体地，所述条码信息包括商品的种类、名称和价格，所述商品信息数据包括商品的种类和名称。
本发明的一种基于手部轨迹识别的自助收银ai防损系统的工作流程和原理为：通过视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；服务器通过跟踪顾客手部轨迹并判断顾客手中是否有商品以及是否存在异常行为，例如以下几种情况：1.当顾客为空手状态时，判断为正常行为；2.当顾客手持商品进入扫描区后，进入装袋区时，若服务器接收到条码信息则判断为正常行为；若服务器未接收到条码信息则判断为异常行为；3.当顾客手持商品未进入扫描区而直接进入装袋区时，判定为异常行为。服务器将异常行为信息反馈至自动收银终端和/或移动终端，移动终端对异常行为分析结果进行报警。
本发明的一种基于手部轨迹识别的自助收银ai防损系统，通过顾客手部轨迹对顾客的行为进行初次判断，避免商品未经扫描被顾客直接从工作台之外的区域进入装袋区；通过顾客手部轨迹分析结果和条码扫描模块的配合对顾客的行为进行二次判断，避免商品未经扫描从扫描区进入装袋区；通过两次行为判断完成顾客购物过程合法性的判断，起到防损的目的，同时解决了现有自助收银系统的防损方案存在人工干预过多，防盗标签与商品无法一一对应识别，耗费人力和成本，难以更好地实现防损的问题。
实施例1
本实施例提供了一种基于上述系统的基于手部轨迹识别的自助收银ai防损方法，如图1所示，具体包括以下步骤：
步骤1：顾客拿起商品进入扫描区进行条码扫描，条码扫描模块采集商品条码，并将条码信息发送给服务器；
步骤2：扫描后，顾客再把商品放入到装袋区，视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；
步骤3.1：服务器跟踪动态图像数据中的手部动作、形态和运动轨迹；
步骤3.2：服务器判断手中是拿有商品的，进行下一步；
步骤3.3：进行异常行为分析，判断前述操作为合法轨迹，不存在异常行为；
步骤3.4：将分析结果发送给自助收银终端和移动终端。
步骤4.1：自助收银终端和移动终端接收到的分析结果为正常；
步骤4.2：判断是有收到步骤1的条码信息，提示“扫码成功”，结束本次操作。
本实施例是顾客手部动作合理，是先暂存商品，再扫码，后装袋的运动轨迹，且条码扫描模块扫码成功的情况，本实施例全程不需要工作人员介入，顾客自己便可以进行自助收银。
实施例2
本实施例提供了一种基于上述系统的基于手部轨迹识别的自助收银ai防损方法，具体包括以下步骤：
步骤1：顾客拿起商品进入扫描区进行条码扫描，条码扫描模块采集商品条码，并将条码信息发送给服务器；
步骤2：扫描后，顾客再把商品放入到装袋区，视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；
步骤3.1：服务器跟踪动态图像数据中的手部动作、形态和运动轨迹；
步骤3.2：服务器判断手中是拿有商品的，进行下一步；
步骤3.3：进行异常行为分析，判断前述操作为合法轨迹，不存在异常行为；
步骤3.4：将分析结果发送给自助收银终端和/或移动终端。
步骤4.1：自助收银终端和/或移动终端接收到的分析结果为正常；
步骤4.2：服务器没有收到步骤1的条码信息，反馈给自助收银终端，提示“扫码失败”，并返回步骤1。
本实施例是顾客手部动作合理，是先暂存商品，再扫码，后装袋的运动轨迹，但条码扫描模块扫码失败，但顾客未发现的情况，及时给予顾客提醒，防止商品扫码失败顾客误拿未扫码商品给商家带来的损失和顾客的尴尬经历。
实施例3
本实施例提供了一种基于上述系统的基于手部轨迹识别的自助收银ai防损方法，具体包括以下步骤：
步骤1：顾客从商品暂存区或未知区拿起商品直接放到装袋区，条码扫描模块未采集商品条码；
步骤2：视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；
步骤3.1：服务器跟踪动态图像数据中的手部动作、形态和运动轨迹；
步骤3.2：判断手中拿有商品，进行下一步；
步骤3.3：进行异常行为分析，判断该操作为不符合预设行动轨迹的行为，属于违规行为，分析结果为异常；
步骤3.4：将分析结果发送给自助收银终端和移动终端；
步骤4：自助收银终端和移动终端接收到的分析结果为异常，直接报警并冻结本次交易，需人工干预是否重新扫码或者结束交易。
本实施例是顾客将商品从工作台之外的区域直接拿入装袋区的情况，及时发现某些不法行为，且及时报警，阻止不法行为，为商家止损。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
1.一种基于手部轨迹识别的自助收银ai防损系统，其特征在于：包括自助收银终端、服务器和移动终端，所述自助收银终端包括条码扫描模块和视频采集模块，所述条码扫描模块、视频采集模块均与服务器连接，所述服务器与移动终端连接；
所述条码扫描模块用于采集商品条码，并将条码信息发送给服务器；
所述视频采集模块用于采集顾客交易过程中的动态图像数据并发送给服务器；
所述服务器对动态图像数据中手部的动作、形态和运动轨迹进行分析，判断手中是否拿有商品后，再判断是否存在异常行为，并反馈异常行为分析结果给自助收银终端和/或移动终端；
所述移动终端用于对异常行为分析结果进行提示或报警。
2.根据权利要求1所述的一种基于手部轨迹识别的自助收银ai防损系统，其特征在于：所述自助收银终端前设置有工作台，所述工作台上设置有商品暂存区、扫描区和装袋区，所述商品暂存区用于放置未扫描的商品，所述扫描区用于对商品进行条码扫描，所述装袋区用于放置已扫描的商品。
3.根据权利要求1所述的一种基于手部轨迹识别的自助收银ai防损系统，其特征在于：所述服务器为gpu服务器。
4.一种基于权利要求1的基于手部轨迹识别的自助收银ai防损系统的基于手部轨迹识别的基于手部轨迹识别的自助收银ai防损方法，其特征在于，包括以下步骤：
步骤1：条码扫描模块采集商品条码，并将条码信息发送给服务器；
步骤2：视频采集模块采集顾客交易过程中的动态图像数据并发送给服务器；
步骤3：服务器对动态图像数据中手部的动作、形态和运动轨迹进行分析，判断手中是否拿有商品，若有商品，则分析是否存在异常行为，反馈分析结果给自助收银终端和/或移动终端；
步骤4：自助收银终端和/或移动终端根据分析结果进行提示或报警。
5.根据权利要求4所述的一种基于手部轨迹识别的自助收银ai防损方法，其特征在于：所述步骤3具体包括以下步骤：
步骤3.1：服务器跟踪动态图像数据中的手部动作、形态和运动轨迹；
步骤3.2：判断手中是否拿有商品，若有商品，则进行下一步，若没有商品，则返回步骤3.1；
步骤3.3：进行异常行为分析，判断是否存在不符合预设行动轨迹的行为；
步骤3.4：将分析结果发送给自助收银终端和/或移动终端。
6.根据权利要求5所述的一种基于手部轨迹识别的自助收银ai防损方法，其特征在于：所述步骤3.1具体包括以下步骤：
步骤3.1.1：自助收银终端以每秒20-30帧的速率从视频采集模块中获取图像数据并上传服务器；
步骤3.2.2：服务器获取图像数据后将手部动作、形态和运动轨迹进行记录。
7.根据权利要求4所述的一种基于手部轨迹识别的自助收银ai防损方法，其特征在于：所述步骤4具体包括以下步骤：
步骤4.1：若自助收银终端和/或移动终端接收到的分析结果为正常，则进行下一步，若分析结果为异常，则直接报警并冻结本次交易，需人工干预是否重新扫码或者结束交易；
步骤4.2：判断是否收到步骤1的条码信息，若有收到，则提示“扫码成功”，结束本次操作，若没有收到，则反馈给自助收银终端，提示“扫码失败”，并返回步骤1。
技术总结