本发明涉及客流统计，尤其是一种一种适用于复杂光线客流统计方法及其统计装置。
背景技术：
实体店的客流量是商业数据中最重要的数据，可以依据客流量了解门店经营管理的效率，并以此为基础不断改变其经营手段，提高经营业绩。因此，门店客流量的统计已经作为一项重要的商业市场研究手段，为运营商的运营决策和综合管理提供准确及时的数据参考。应用场景：各大商场连锁店、超市、酒店、机场、地铁、景区等场景的门店。其中统计客流的摄像机部分安装在出人口，很多靠近大门附近，容易容光线的干扰。或者灯光地面的镜面反射，出现部分区域过亮过暗情况。摄像头的成像控制系统通常是按照全局的与的亮度情况，兼顾全局区域的曝光控制和增益调节。监控视频就会出现过店人头检测的目标区域正好处于过曝区域或者过暗区域，或者若光线运动模糊严重的现象。检测目标对象很难区分，从而出现漏检或者误检的现象。
客流检测方法通常采用基于背景建模的方式获取运动目标；容易受到光线变化影响，影响检测准确率；或者基于深度学习的模型参数非常大，比如vgg16作为基础的特征提取。模型的规模对算力和内存需求量成正比关系。大模型很难应用于前端嵌入式设备中。该专利提出的模型见过性能的通过，裁剪和优化模型架构，采用兼顾性能同时能够轻量级高效的模型，满足嵌入式设备中可用使用的目的。
目前，应用场景中，有很大部分摄像机安装街边店门口处附近，受到阳光变化的影响很大，另外一种情况是地面视野范围内光源的应用，部分区域过亮度。复杂的光线环境影响摄像机采集到的图像质量，进而影响客流的检测算法；进而影响检测算法和跟踪算法准确性。
通常摄像机设备，采用全局区域的亮度进行调节相机的曝光情况。检测目标如果到弱光区域可能很难看清楚具体目标，或者曝光度低，移动目标运动模糊非常严重。检测目标的区分度低，通过提升有效目标区域曝光亮度，提升目标检测的准确性。
技术实现要素：
本发明的目的是提出一种实用于复杂光线下客流统计方法，通过不同环境下光线下的人头检测，根据上一帧目标区域，计算下一帧目标的程序控制参数，达到提升人头检测准确率，适用于嵌入式设备的检测算法，及其改进的跟踪方法。提升客流系统的整体的准确性和实用性。
本发明的具体技术方案是：
一种适用于复杂光线客流统计方法，包括如下步骤：
1)在复杂光线下，客流的检测准确率降低，跟踪算法不能正确匹配关联到同一个目标；在此情况下根据检测区域，准对头肩检测的成像自动适用能够明显提升复杂光线下的检测对象的显著性；
2)兼顾性能和实时性的改进一阶模型，更加适合于嵌入式端的平台运行；
3)采用改进相关滤波方法，在实际使用存在对于跟丢之后，比较难找到目标。因此，在算法中增加目标跟踪失败后重定位方法。
本发明还提出了一种适用于复杂光线客流统计装置：包括人头检测模块，自适应检测目标区域成像控制模块，改进型的dcf跟踪模块，客流计数模块；
所述人头检测模块，采用一阶模型，不需要将检测图像转换成多尺度图像，数据一个固定尺度的图像即可；分别将不同尺度下图像输入已根据已标定人头位置的训练图像进行训练的卷积神经网络，通过所述卷积神经网络中包括：快速变换卷积模块，级联的特征提取模块，卷积降维度模块及其多目标损失函数；
上述多目标损失函数，将用于分类的所述卷积神经网络中的回归层替换为用于将转换后的卷积层输出的第二特征映射为人头位置及相应置信度的回归层；及采用已标定人头位置的训练图像，对包括所述前置层、转换后的卷积层及替换后的回归层的所述卷积神经网络进行训练；
上述将所述对应于每个所述子图像的人头位置按照相应的置信度过滤，获得所述待检测图像中检测到的人头位置包括：从对应于每个所述子图像的人头位置中筛选出所对应的置信度高于或等于置信度阈值的人头位置；从对应于每个所述子图像的人头位置中挑选在所述待检测图像中与筛选出的人头位置相交的人头位置；根据所述筛选出的人头位置及挑选出的所述人头位置确定所述待检测图像中检测到的人头位置；
所述自适应检测目标区域成像控制模块，通过人工标定检测区域，在没有出现检测目标的区域中根据区域进行程序控制；当出现检测目标，根据检测目标区域的亮度分布，调整摄像机的程序控制系统；如果出现目标根据目标区域的亮光分布情况调节相机下一帧图的快门和增益；
对于目前理解区域，检测区域的亮度分布，根据前面累计目标亮度分布值，加上当前检测区域的亮度分布值，进行比较，按照一定权重进行加权调整，检测区域可以更显著地分辨目标；亮度区域算法分布情况调出，局部过亮或者过暗影响检测区域整体图像调节；
所述改进型的dcf跟踪模块，是采用dcf跟踪算法，虽然跟踪性能和实时性相对较高，在实际使用存在对于跟丢之后，比较难找到目标。因此，在算法中增加目标跟踪失败后重定位算法；
本文通过psr值评估目标跟踪状态，当目标丢失后，调用目标重定位算法确定目标位置，以便能继续准确跟踪；
psr定义：定义psr值τ＝(gmax-μs1)/σs1，其中gmax是相关输出的最大值，μs1和σs1分别表示除去以相关输出最大值为中心的11×11的区域后剩余区域的均值和标准差。在本文中定义了两个门限τa和τb分别表示目标的跟踪状态为失败和成功。当τ≤τa时表示目标丢失，需要进行重定位目标；当τ≥τb时表示目标正确跟踪，继续跟踪下一帧图像。
时域由粗到精的目标重定位算法：是根据psrτ判断目标丢失后，提出的一种使用时域模型γprev和mosse滤波器h进行由粗到精的快速重定位算法；这里的γprev是先前帧根据跟踪结果psr满足τ≥τb时提取的时域模型；算法步骤为：首先使用方差滤波器粗检，滤除大部分目标不存在的区域；然后使用直方图相交法进一步对剩余的区域进行筛选；最后使用mosse滤波器对筛选出来的区域进行精检：
(1)方差滤波器粗检，根据γprev求取标准差，提取出标准差满足|σ-σ0|≤σmin的候选框，并结合了nms(非极大值抑制算法)处理得到候选集c1。其中σ和σ0分别表示当前候选框和γprev的标准差，σmin是标准差门限值。标准差计算公式如下：
其中n表示像素点的个数，x表示像素的灰度值，m是图像的均值。对于计算标准差σ可以利用积分图求解，加快粗检操作；
(2)采用直方图相交对候选框集c1进一步筛选出目标存在可能性大的候选框，得到候选框集c2，直方图相交公式如下：
d(h1，h2)＝∑min(h1(i)，h2(i))(5)
如果d≥d0则保留候选框，否则丢弃当前的候选框。其中d0是直方图相交门限值，d是直方图归一化后的相交值；
(3)使用mosse滤波器h进行精检，mosse滤波器定义及相关输出如下：
r＝f⊙h*(7)
其中，f表示训练图像f的傅里叶变换，g表示峰值在图像f中心点的二维高斯g的傅里叶变换，*表示共轭操作，r表示相关输出。根据相关理论可知，当两幅图像相关值越大，表明越相似，基于此本文采用如下公式获取精检目标：
其中，c′表示精检后的最佳候选框，
所述客流计数模块，是人头检测模块，先检测区域内出现的人头区域，根据检测到的目标区域，跟踪模块把相邻帧检的目标区域进行关联，得到区域中人走过的轨迹序列。通过中线的方式把区域分为两个区域，根据人的轨迹在坐标区域的出现情况，统计检测区域的进去方向。
技术效果：
本发明采用轻量级的模型，兼顾准确率和实时性，更佳使用前端嵌入式设备的产品部署，从而达到实用的目的。同时针对复杂光下，可能出现目标检测丢失，本专利提升跟踪算法更好改进。本发明专利可以提升复杂光线下客流统计方法和装置的准确性和实用性。在实际的应用场景中，例如存在货架的遮挡场景，顾客在低头取货品时候，弯腰低头时候，会出现不同程度的遮挡。其他传统算法很容易跟踪丢失。改进统计方法之后，跟踪失败之后，重定位，对于遮挡场景改进明显。
附图说明
图1：快速变换卷积模块示意图。
图2：inceptionv2模块示意图。
图3：inception加上残差层residual的模型示意图。
图4级联inception示意图。
图5头部检测模型流程图。
图6多目标损失函数lossbranch的示意图。
图7自适应检测目标区域成像控制流程图。
图8目标重定位流程图。
具体实施方式
实施例
一种适用于复杂光线客流统计方法，包括如下步骤：
1)在复杂光线下，客流的检测准确率降低，跟踪算法不能正确匹配关联到同一个目标；在此情况下根据检测区域，准对头肩检测的成像自动适用能够明显提升复杂光线下的检测对象的显著性；
2)兼顾性能和实时性的改进一阶(one_stages)模型，更加适合于嵌入式端的平台运行；
3)采用改进相关滤波方法，在实际使用存在对于跟丢之后，比较难找到目标。因此，在算法中增加目标跟踪失败后重定位方法。
本发明还提出了一种适用于复杂光线客流统计装置：包括人头检测模块，自适应检测目标区域成像控制模块，改进型的dcf跟踪模块，客流计数模块；
所述人头检测模块，采用一阶(one_stages)模型，不需要将检测图像转换成多尺度图像，数据一个固定尺度的图像即可；分别将不同尺度下图像输入已根据已标定人头位置的训练图像进行训练的卷积神经网络，通过所述卷积神经网络中包括：快速变换卷积模块(rapidlydigestedconvolutionalmodel)，级联的特征提取模块(cascadeinceptionmodel)，卷积降维度模块及其多目标损失函数(lossbranch)；
所述快速变换卷积模块：快速的缩小特征值(featuremap)的大小。包括：
(1)卷积层(conv1),池化层(pool1),卷积层(conv2)和池化层(pool2)的跨度(stride)通常较大，比如2,4。这样整个快速变换卷积模块的跨度(stride)也就较大，可以很快把featuremap的尺寸变小；
(2)卷积(或池化层)核太大速度就慢，太小覆盖信息又不足。权衡之后，将卷积层(conv1),池化层(pool1),卷积层(conv2)和池化层(pool2)的核也设置较大，不限制使用设7x7,5x5,3x3；
(3)使用参数激活函数(crelu)来保证输出维度不变的情况下，减少卷积核数量；
快速变换卷积模块(其中卷积层(convolution)，批量归一化(batchnorm)，负激活(negation),多尺度连接层(concatenation)，尺度调整(scale),激活层(relu))如图1所示。
所述级联的特征提取模块，不局限使用inceptionv1,v2,v3,v4其中一种模块或者多种模块的级联组合。
例如，下面是inceptionv2模块(其中包括：基础层(bace),不同尺寸卷积层(conv))的网络结构图如图2所示。
还可以借鉴使用resnet网络中的残差层(residual)模块。inception加上残差层(residual)的组合(其中包括激活层(relu),激活的多尺度层(activationscaling))如图3所示。
不同的开端网络层(inception)模块组合在一起，如图4所示三个开端网络层(inception)组合在一起。
通过级联的开端网络层(inception)及其卷积层(conv)可以进一个提取更深层的特征(feature)。首先受到的微小部分(tinypart)的人头目标区域；
进一步通过降维卷积，找到中等部分(mediumpart)和大尺寸部分(largepart)量尺度范围的目标特征(feature)。整个检测的模型流程图如图5所示。
所述多目标损失函数(lossbranch)，将用于分类的所述卷积神经网络中的回归层替换为用于将转换后的卷积层输出的第二特征映射为人头位置及相应置信度的回归层；及采用已标定人头位置的训练图像，对包括所述前置层、转换后的卷积层及替换后的回归层的所述卷积神经网络进行训练。
所述将所述对应于每个所述子图像的人头位置按照相应的置信度过滤，获得所述待检测图像中检测到的人头位置包括：
从对应于每个所述子图像的人头位置中筛选出所对应的置信度(classification)高于或等于置信度阈值的人头位置；从对应于每个所述子图像的人头位置中挑选在所述待检测图像中与筛选出的人头位置相交的人头位置(bboxregression)；根据所述筛选出的人头位置及挑选出的所述人头位置确定所述待检测图像中检测到的人头位置。如图6所示。
自适应检测目标区域成像控制模块，通过人工标定检测区域，在没有出现检测目标的区域中根据区域进行程序控制。当出现检测目标，根据检测目标区域的亮度分布，调整摄像机的程序控制系统；如果出现目标根据目标区域的亮光分布情况调节相机下一帧图的快门和增益。
对于目前理解区域，检测区域的亮度分布，根据前面累计目标亮度分布值，加上当前检测区域的亮度分布值，进行比较，按照一定权重进行加权调整，检测区域可以更显著地分辨目标。
亮度区域算法分布情况调出，局部过亮或者过暗影响检测区域整体图像调节；如图7自适应检测目标区域成像控制流程图。
改进型的dcf跟踪模块
dcf跟踪算法，虽然跟踪性能和实时性相对较高，在实际使用存在对于跟丢之后，比较难找到目标。因此，在算法中增加目标跟踪失败后重定位算法。
本文通过psr值评估目标跟踪状态，当目标丢失后，调用目标重定位算法确定目标位置，以便能继续准确跟踪。
psr定义
定义psr值τ＝(gmax-μs1)/σs1，其中gmax是相关输出的最大值，μs1和σs1分别表示除去以相关输出最大值为中心的11×11的区域后剩余区域的均值和标准差。在本文中定义了两个门限τa和τb分别表示目标的跟踪状态为失败和成功。当τ≤τa时表示目标丢失，需要进行重定位目标；当τ≥τb时表示目标正确跟踪，继续跟踪下一帧图像。
时域由粗到精的目标重定位算法
根据psrτ判断目标丢失后，本文提出了一种使用时域模型γprev和mosse滤波器h进行由粗到精的快速重定位算法。这里的γprev是先前帧根据跟踪结果psr满足τ≥τb时提取的时域模型。算法步骤为：首先使用方差滤波器粗检，滤除大部分目标不存在的区域；然后使用直方图相交法进一步对剩余的区域进行筛选；最后使用mosse滤波器对筛选出来的区域进行精检。目标重定位流程图如图8所示。
(1)方差滤波器粗检，根据γprev求取标准差，提取出标准差满足|σ-σ0|≤σmin的候选框，并结合了nms(非极大值抑制算法)处理得到候选集c1。其中σ和σ0分别表示当前候选框和γprev的标准差，σmin是标准差门限值。标准差计算公式如下：
其中n表示像素点的个数，x表示像素的灰度值，m是图像的均值。对于计算标准差σ可以利用积分图求解，加快粗检操作。
(2)采用直方图相交对候选框集c1进一步筛选出目标存在可能性大的候选框，得到候选框集c2，直方图相交公式如下：
d(h1，h2)＝∑min(h1(i)，h2(i))(5)
如果d≥d0则保留候选框，否则丢弃当前的候选框。其中d0是直方图相交门限值，d是直方图归一化后的相交值。
(3)使用mosse滤波器h进行精检，mosse滤波器定义及相关输出如下：
r＝f⊙h*(7)
其中，f表示训练图像f的傅里叶变换，g表示峰值在图像f中心点的二维高斯g的傅里叶变换，*表示共轭操作，r表示相关输出。根据相关理论可知，当两幅图像相关值越大，表明越相似，基于此本文采用如下公式获取精检目标：
其中，c′表示精检后的最佳候选框，
客流计数模块
人头检测模块，先检测区域内出现的人头区域，根据检测到的目标区域，跟踪模块把相邻帧检的目标区域进行关联，得到区域中人走过的轨迹序列。通过中线的方式把区域分为两个区域，根据人的轨迹在坐标区域的出现情况，统计检测区域的进去方向。
技术效果：
本发明采用轻量级的模型，兼顾准确率和实时性，更佳使用前端嵌入式设备的产品部署，从而达到实用的目的。同时针对复杂光下，可能出现目标检测丢失，本专利提升跟踪算法更好改进。本发明专利可以提升复杂光线下客流统计方法和装置的准确性和实用性。在实际的应用场景中，例如存在货架的遮挡场景，顾客在低头取货品时候，弯腰低头时候，会出现不同程度的遮挡。其他传统算法很容易跟踪丢失。改进算法之后，跟踪失败之后，重定位，对于遮挡场景改进明显。
1.一种适用于复杂光线客流统计方法，包括如下步骤：
1)在复杂光线下，客流的检测准确率降低，跟踪算法不能正确匹配关联到同一个目标；在此情况下根据检测区域，准对头肩检测的成像自动适用能够明显提升复杂光线下的检测对象的显著性；
2)兼顾性能和实时性的改进一阶模型，更加适合于嵌入式端的平台运行；
3)采用改进相关滤波方法，在实际使用存在对于跟丢之后，在算法中增加目标跟踪失败后重定位方法。
2.一种适用于复杂光线客流统计装置，其特征在于，包括人头检测模块，自适应检测目标区域成像控制模块，改进型的dcf跟踪模块，客流计数模块；
所述自适应检测目标区域成像控制模块，通过人工标定检测区域，在没有出现检测目标的区域中根据区域进行程序控制；当出现检测目标，根据检测目标区域的亮度分布，调整摄像机的程序控制系统；如果出现目标根据目标区域的亮光分布情况调节相机下一帧图的快门和增益；
对于目前理解区域，检测区域的亮度分布，根据前面累计目标亮度分布值，加上当前检测区域的亮度分布值，进行比较，按照一定权重进行加权调整，检测区域可以更显著地分辨目标；亮度区域算法分布情况调出，局部过亮或者过暗影响检测区域整体图像调节；
所述改进型的dcf跟踪模块，是采用dcf跟踪算法，增加目标跟踪失败后重定位算法；
通过psr值评估目标跟踪状态，当目标丢失后，调用目标重定位算法确定目标位置，以便能继续准确跟踪；
psr定义：定义psr值τ＝(gmax-μs1)/σs1，其中gmax是相关输出的最大值，μs1和σs1分别表示除去以相关输出最大值为中心的11×11的区域后剩余区域的均值和标准差；门限τa和τb分别表示目标的跟踪状态为失败和成功；当τ≤τa时表示目标丢失，需要进行重定位目标；当τ≥τb时表示目标正确跟踪，继续跟踪下一帧图像；
时域由粗到精的目标重定位算法：是根据psrτ判断目标丢失后，提出的一种使用时域模型γprev和mosse滤波器h进行由粗到精的快速重定位算法；这里的γprev是先前帧根据跟踪结果psr满足τ≥τb时提取的时域模型；算法步骤为：首先使用方差滤波器粗检，滤除大部分目标不存在的区域；然后使用直方图相交法进一步对剩余的区域进行筛选；最后使用mosse滤波器对筛选出来的区域进行精检：
(1)方差滤波器粗检，根据γprev求取标准差，提取出标准差满足|σ-σ0|≤σmin的候选框，并结合了nms(非极大值抑制算法)处理得到候选集c1；其中σ和σ0分别表示当前候选框和γprev的标准差，σmin是标准差门限值；标准差计算公式如下：
其中n表示像素点的个数，x表示像素的灰度值，m是图像的均值；对于计算标准差σ可以利用积分图求解，加快粗检操作；
(2)采用直方图相交对候选框集c1进一步筛选出目标存在可能性大的候选框，得到候选框集c2，直方图相交公式如下：
d(h1，h2)＝σmin(h1(i)，h2(i)(5)
如果d≥d0则保留候选框，否则丢弃当前的候选框；其中d0是直方图相交门限值，d是直方图归一化后的相交值；
(3)使用mosse滤波器h进行精检，mosse滤波器定义及相关输出如下：
r＝f⊙h*(7)
其中，f表示训练图像f的傅里叶变换，g表示峰值在图像f中心点的二维高斯g的傅里叶变换，*表示共轭操作，r表示相关输出
获取精检目标：
其中，c′表示精检后的最佳候选框，
3.根据权利要求2所述的一种适用于复杂光线客流统计装置，其特征在于，所述人头检测模块，采用一阶模型，不需要将检测图像转换成多尺度图像，数据一个固定尺度的图像即可；分别将不同尺度下图像输入已根据已标定人头位置的训练图像进行训练的卷积神经网络，通过所述卷积神经网络中包括：快速变换卷积模块，级联的特征提取模块，卷积降维度模块及其多目标损失函数；
上述多目标损失函数，将用于分类的所述卷积神经网络中的回归层替换为用于将转换后的卷积层输出的第二特征映射为人头位置及相应置信度的回归层；及采用已标定人头位置的训练图像，对包括所述前置层、转换后的卷积层及替换后的回归层的所述卷积神经网络进行训练；
上述将所述对应于每个所述子图像的人头位置按照相应的置信度过滤，获得所述待检测图像中检测到的人头位置包括：从对应于每个所述子图像的人头位置中筛选出所对应的置信度高于或等于置信度阈值的人头位置；从对应于每个所述子图像的人头位置中挑选在所述待检测图像中与筛选出的人头位置相交的人头位置；根据所述筛选出的人头位置及挑选出的所述人头位置确定所述待检测图像中检测到的人头位置。
4.根据权利要求2所述的一种适用于复杂光线客流统计装置，其特征在于，所述客流计数模块，是人头检测模块，先检测区域内出现的人头区域，根据检测到的目标区域，跟踪模块把相邻帧检的目标区域进行关联，得到区域中人走过的轨迹序列；通过中线的方式把区域分为两个区域，根据人的轨迹在坐标区域的出现情况，统计检测区域的进去方向。
技术总结