本发明涉及基于计算机视觉人脸识别、行人重识别和目标识别技术领域，特别是一种适用于汽车展厅客流检测与分析的系统、方法及存储介质，通过人脸识别和行人重识别识别汽车展厅中的顾客，分析顾客人群画像，顾客停留时长、顾客行动轨迹等客流指标。
背景技术：
通过分析汽车展厅顾客的到店时间，停留时长，参观轨迹，到店次数等数据，洞察热点车型，潜在顾客画像，是汽车营销中获得客流信息的有效手段，在汽车销售营销决策中具有重要价值和意义。
基于监控视频或图像的行人检测、人脸识别、行人重识别是开展客流检测和分析最有效的手段。人脸识别和行人重识别是识别展厅顾客的关键技术。人脸识别作为一种基于人的脸部特征进行身份识别的生物识别技术，其具有唯一、长期有效性的优势，但人脸图像采集仍存在遮挡、光照、角度、以及分辨率的问题。在配合式人脸采集环境下，现有的人脸识别已能达到较高精度。行人重识别利用计算机视觉技术判断图像或视频中存在特定行人的技术，其利用人体全部信息实现身份识别，具有对图像采集硬件要求低，受遮挡、分辨率影响小的优势，但行人特征受服装影响大，行人服装变换会导致识别失败。
人脸识别，行人重识别都是目前基于计算机视觉技术实现汽车展厅客流检测与分析的可选方案。基于人脸识别实现汽车展厅客流检测和分析，需要在汽车展厅的入口、前台、汽车展位、洽谈室等顾客出现区域安装可抓拍人脸的摄像机，检测图像或视频中出现的人脸，通过和已知人脸库中的人脸比对，识别出顾客。不同于汽车站、火车站、机场等人脸识别应用场景，汽车展厅场景中，顾客人脸采集只能是非配合式采集方式，采集到的人脸在角度、光照、遮挡等方面都无法保障质量，导致人脸识别精度的不确定。不同于汽车站、火车站、飞机场等场景只需要在指定位置部署人脸采集摄像机就可以完成人脸识别的硬件部署，汽车展厅场景中要基于人脸识别技术实现客流检测和分析，达到通过识别顾客，检测到顾客进店时间、离开时间、顾客感兴趣车型、以及顾客参观轨迹，需要在顾客可能出现地点/位置部署人脸摄像头。目前人脸摄像头成本较高，实施方案存在成本高的问题。
行人重识别技术利用人体特征识别行人，和人脸识别技术相比，行人图像采集对设备要求不高，普通监控摄像机即可以满足图像采集要求。目前大部分的汽车展厅都安装有用于安防监控目的摄像机或摄像头，实现基于行人重识别的顾客客流检测与分析则可以利用现有监控设备，可大量节省系统硬件成本。但受制于行人重识别技术无法满足服装转换下的行人身份识别问题，单纯利用行人重识别无法进行顾客二次到店的统计。
为此，本专利针对汽车展厅客流检测与分析需要，提出一种基于人脸识别和行人重识别的客流检测与分析方法、系统。
技术实现要素：
本发明上述问题，提供一种汽车展厅客流检测与分析系统。本发明的技术方案为：
一种汽车展厅客流检测与分析系统，包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
作为本发明进一步地说明，所述拍摄设备包括人脸卡口设备和监控设备。
更进一步地，所述人脸卡口设备的数量少于所述监控设备的数量，所述监控设备为汽车展厅的现有设备。
更进一步地，所述人脸人体分析服务器包括大数据分析挖掘服务器，以获得识别顾客的相应信息。
更进一步地，还包括用以获得分析模块的分析结果的业务端设备，业务端设备主要包含业务服务器、pc工作台和智能手机app等
本发明的另一方面，提供一种利用上述系统实现的汽车展厅客流检测与分析方法，包括如下步骤：
s001，搭建系统的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备；
s002，搭建系统的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型；
s003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库；
s004，所述拍摄设备上传图片及视频数据；
s005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
s006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别；
s007，更新顾客信息库；
s008，循环执行步骤s005-s007，选择执行步骤s009；
s009，客流分析。
作为本发明进一步地说明，所述步骤s002中，利用caltechpedestriandetection数据集训练ssd目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练ssd预训练模型，构建行人检测深度网络。
更进一步地，所述步骤s002中，训练基于全局特征和局部特征融合的行人重识别神经网络。通过resnet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtripletloss、softmaxloss和rangloss三种损失函数共同训练行人重识别网络；利用imagenet预训练resnet50模型，汇总market1501数据集、dukemtmc-reid数据集和cuhk03数据集和自有的汽车展厅数据集，训练行人重识别网络。
更进一步地，所述resnet50模型为改进的resnet50模型，改进方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和bn层。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被计算机或者网络服务器运行结合本发明的硬件系统以实现汽车展厅客流检测与分析方法。
本发明的有益效果：
1)本方案利用汽车展厅现有图像采集设备，采用少量人脸卡口和大量普通监控摄像机相结合的图像采集硬件部署方案，在满足汽车展厅客流检测与分析应用下，节省了硬件投资成本；
2)本发明结合人脸识别和行人重识别各自优势，人脸识别弥补行人重识别易受着装影响的不足，行人重识别弥补了人脸识别易受遮挡、光照、人脸姿态影响的不足，为客流分析提供了数据基础；
3)本方案提供了多维度的客流分析方法，从顾客画像、参观轨迹、感兴趣车型、到店次数各个维度为营销决策提供依据。
附图说明
图1为本发明系统的硬件结构示意图；
图2为本发明方法的流程图；
图3为本发明行人重识别网络结构图。
具体实施方式
下面结合附图对本发明实施例详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“第一”、“第二”等指示的方位或位置或顺序关系为基于附图所示的方位或位置或顺序关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的汽车展厅客流检测与分析系统，包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
为达到更好地识别效果，结合人脸识别和行人重识别各自的特点及优势，本发明的汽车展厅客流检测与分析系统中所述拍摄设备分为两种，一种是人脸卡口设备，另一种为监控设备，由上述两种拍摄设备的不同分配和设置来共同完成汽车展厅中的图片及视频数据的采集获取。在实际应用中，由于大部分的汽车展厅都会安装现有的监控设备，因此本发明在硬件部署方面，尽可能利用汽车展厅现有的监控设备等硬件资源可以减少投资，改造成本地，仅需在现有汽车展厅中适当位置加设少量人脸卡口设备和搭建后台的人脸人体分析服务器即可，如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备。
在本发明后台的人脸人体分析服务器搭建中，所述行人检测模块包含行人检测深度网络模型，在其正式运行前，利用caltechpedestriandetection数据集训练ssd目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练ssd预训练模型，构建行人检测深度网络。在本发明实施例的具体应用中，下载caltechpedestriandetection数据集训练ssd网络作为行人检测的预训练模型，利用标注的汽车展厅数据集对ssd模型进行进一步的学习，主要超参设置和模型选择为：基础网络选择mobilenet，加入fpn模式以更好的学习特征，学习率初始值为0.0079，选择指数下降模式不断降低学习率，激活函数选relu,损失函数选择focalloss,损失函数主要由分类损失和定位损失组成。
在本发明后台的人脸人体分析服务器搭建中，所述行人重识别模块包含人重识别网络模型，在其正式运行前，训练基于全局特征和局部特征融合的行人重识别神经网络。通过改进的resnet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtripletloss、softmaxloss和rangloss三种损失函数共同训练行人重识别网络；利用imagenet预训练resnet50模型，汇总market1501数据集、dukemtmc-reid数据集和cuhk03数据集和自有的汽车展厅数据集，训练行人重识别网络。该过程中，改进resnet50模型的具体方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和bn层。
在本发明实施例的具体应用中，利用imagenet数据集作为训练数据集，训练1000类别的resnet50网络，使resnet50有理想的初始值，理想的初始值使行人重识别网络更容易收敛且不易过拟合；
改进基于resnet50的特征融合网络；去除全连接层并将res5a的stride由2降为1，以此增加特征图的分辨率，并在之后添加conv3x3、bn和relu层，增强提取特征的鲁棒性，之后将特征图水平分割成6部分，分别进行conv3x3、bn、relu和水平全局池化，得到局部特征向量，将局部特征向量进行拼接得到1536维的局部特征向量。记为mid-levelfeature；同时，将resnet50中的res5c也做全局平均池化，池化后展开得到长度为2048的特征向量，记为high-levelfeature；将mid-levelfeature和high-levelfeature拼接得到长度为3584的特征向量，记为finalfeature；添加hardtriplet损失函数；一种基于训练批量(batch)的在线困难样本采样方法，对于每一个训练批次，随机挑选p个id的行人，每个行人随机挑选k张不同的图片，即一个batch含有p×k张图片；对于batch中的每一张图片a，挑选一个最难的正样本和一个最难的负样本和a组成一个三元组；定义和a为相同id的图片集为a，剩下不同id的图片图片集为b，则hardtriplet损失表示为：
m设定为0.3；hardtriplet损失会计算a和batch中的每一张图片在特征空间finalfeature的欧式距离，然后选出与a距离最远即最不像的正样本p和距离最近即最像的负样本n来计算三元组损失，hardtriplet损失效果比传统的三元组损失要好；
添加softmax损失函数；softmax在分类问题上有非常好的表现，将每一个行人作为一个类别进行训练，market1501训练集中共751个人，因此在finalfeature之后加一层全连接层，得到长度为751的fc-class；softmaxloss作用于fc-class上；添加ring损失函数；一种原用于人脸识别的辅助损失函数，ringloss将特征finalfeature限制到缩放后的单位圆上，同时能保持凸性，来得到更稳健的特征；其定义如下
预处理market1501数据集；每一个训练批次，随机挑选p＝16个id的行人，每个行人随机挑选k＝4张不同的图片，即一个batch含有p*k＝64张图片；图片随机裁剪成128*256大小，每张图片有概率地进行水平翻转和有概率的随机遮挡，并归一化图片像素值；
加载预训练模型参数到本发明中修改过的resnet50中，使用预处理过的数据集，三重损失值相加为最终损失值，利用adam算法优化模型，迭代更新神经网络权重，直至模型收敛；最终，该模型在market1501上取得rank1为92.2％的精度。
本发明的存储模块构建了多个数据库，用于人脸人体分析服务器的数据处理比对和结果数据的存储。具体在本发明实施例的方案中搭建了顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库。所述人脸人体分析服务器提取的顾客人体特征和顾客人脸特征分别存储在所述顾客人体库和顾客人脸库中，并相应分配顾客id；所述顾客信息库中记录的顾客信息对应与所述顾客人体库和顾客人脸库，包括对应顾客人体库的id，顾客人脸库的id，年龄，性别，出现时间，位置等；所述销售人员人脸库通过拍摄销售人员的人体图，送入人脸识别网络提取人脸特征，以展厅id 序号的形式命名存储；所述销售人员人体库通过拍摄销售人员的人体图，送入行人重识别网络提取人体特征，以展厅id 序号的形式命名存储。
参见附图1，本发明的实施例中，所述人脸人体分析服务器应用到了大数据分析挖掘服务器，以获得识别顾客的相应信息。另外，在该实施例中，包含了业务端设备，用以获得分析模块的分析结果，以进行业务分析和拓展，实施例中的业务端设备主要包含业务服务器、pc工作台和智能手机app等。
附图2为展现本发明应用上述系统进行汽车展厅客流检测与分析的方法流程，该方法包括以下步骤：
s001，搭建系统的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备。
s002，搭建系统的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型。
s003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库。
s004，所述拍摄设备上传图片及视频数据：拍摄设备按抽帧法上传待处理图像到云服务器，上传的图像携带图像采集设备的编号、采集时间，图像保存到云服务器图像数据库中，图像文件名字采用监控设备id 时间的命名方式。
s005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
s006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别。具体地：
人脸识别：裁剪的人体图送入人脸识别模块，如检测到人脸，则提取人脸特征，和销售人脸库比对，匹配到人脸则该人是销售，不做处理；如果匹配不成功，则和顾客人脸库比对，如匹配成功，则返回对应已有顾客人脸id；如匹配不成功，则人脸特征加入顾客人脸库，新增顾客人脸id，顾客人体库中加入裁剪人体的特征(行人重识别网络提取特征)；如无法检测到人脸，则转到行人重识别步骤；
行人重识别：裁剪的人体图送入行人重识别网络，提取人体特征，和销售人体库计算欧式距离，取欧式距离最小且满足阈值tb的id为销售人员id，放弃该人体；如无法在销售人体库中匹配到，则和顾客人体库匹配，匹配成功则返回对应已有顾客人体id；匹配不成功则加入顾客人体库，新增顾客人体id。
s007，更新顾客信息库：组合人脸识别步骤的人脸id，行人重识别步骤的人体id，人体属性识别步骤的年龄、性别，行人检测步骤的位置坐标，待识别图像的时间信息、和监控设备编号(地点)信息为一条记录，加入顾客信息库。
s008，循环执行步骤s005-s007，选择执行步骤s009。
s009，客流分析：统计顾客信息库中记录的某个顾客出现的监控设备编号、时间信息，生成该顾客的参观路线，参观时长；统计顾客信息库中多个顾客的性别、年龄信息，生成顾客年龄、性别分布，顾客画像。
上述流程可以看出，本发明还应当包含一种计算机可读介质，其上存储有计算机程序，该程序可以被计算机或者网络服务器运行，结合本发明的硬件系统以实现汽车展厅客流检测与分析方法。
以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化，总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。
1.一种汽车展厅客流检测与分析系统，其特征在于：包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
2.根据权利要求1所述的汽车展厅客流检测与分析系统，其特征在于：所述拍摄设备包括人脸卡口设备和监控设备。
3.根据权利要求2所述的汽车展厅客流检测与分析系统，其特征在于：所述人脸卡口设备的数量少于所述监控设备的数量，所述监控设备为汽车展厅的现有设备。
4.根据权利要求2所述的汽车展厅客流检测与分析系统，其特征在于：所述人脸人体分析服务器包括大数据分析挖掘服务器，以获得识别顾客的相应信息。
5.根据权利要求2所述的汽车展厅客流检测与分析系统，其特征在于：还包括用以获得分析模块的分析结果的业务端设备，业务端设备主要包含业务服务器、pc工作台和智能手机app等。
6.一种利用权利要求1-5任一所述系统的汽车展厅客流检测与分析方法，其特征在于：包括如下步骤：
s001，搭建系统的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备；
s002，搭建系统的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型；
s003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库；
s004，所述拍摄设备上传图片及视频数据；
s005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
s006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别；
s007，更新顾客信息库；
s008，循环执行步骤s005-s007，选择执行步骤s009；
s009，客流分析。
7.根据权利要求6所述的汽车展厅客流检测与分析方法，其特征在于：所述步骤s002中，利用caltechpedestriandetection数据集训练ssd目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练ssd预训练模型，构建行人检测深度网络。
8.根据权利要求6所述的汽车展厅客流检测与分析方法，其特征在于：所述步骤s002中，训练基于全局特征和局部特征融合的行人重识别神经网络。通过resnet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtripletloss、softmaxloss和rangloss三种损失函数共同训练行人重识别网络；利用imagenet预训练resnet50模型，汇总market1501数据集、dukemtmc-reid数据集和cuhk03数据集和自有的汽车展厅数据集，训练行人重识别网络。
9.根据权利要求8所述的汽车展厅客流检测与分析方法，其特征在于：所述resnet50模型为改进的resnet50模型，改进方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和bn层。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于：该程序被计算机或者网络服务器运行以实现如权利要求6-9任一所述的汽车展厅客流检测与分析方法。
技术总结