本发明属于毫米波雷达感知，具体涉及一种面向手势识别的细粒度毫米波雷达数据生成方法。
背景技术：
1、近年来，毫米波雷达作为一种前景广阔的感知模态日益受到研究人员的重视。相较于其它传感器，毫米波雷达能够在恶劣条件下如黑夜和烟雾场景工作，且对目标的纹理信息不敏感，能有效保护用户的隐私。目前，对毫米波雷达感知的研究也逐渐从一些粗粒度的应用(例如活动识别、目标检测)发展到了细粒度的手势识别。例如，在黑夜场景中根据用户手势辅助用户控制一些常用的家用电器；根据识别出来的手势为用户提供更好的虚拟现实或增强现实交互体验。除了上述所列举的应用，精准的手势识别还有一些其它领域的应用。例如，在工厂安装毫米波雷达，可以根据识别出的手势辅助工人操控机器；在医院或疗养院中，通过识别患者或老年人的手势，实现自动控制马桶，以提供更优质的服务。然而，目前公开可用的毫米波雷达数据集很少，不能满足深度学习模型的训练需求，这阻碍了深度学习在毫米波感知领域的进一步发展。同时，收集和标注数据也是一项耗时耗力的任务，这也限制了对毫米波雷达数据集进行大规模的扩充。
2、为了解决目前毫米波雷达数据集不足的问题，现有工作利用多种不同的数据源来生成毫米波雷达数据且取得了不错的效果。其中，基于运动捕捉数据生成的雷达数据通常是粗糙的；基于深度相机的雷达数据生成方法能够提供人体的具体3d点云信息，但它的数据集缺少一些常见的动作。除此外，一些方法还利用生成对抗网络来增强现有的雷达数据集。然而，上述这些方法在用户执行相似活动时，生成的雷达数据易混淆。最近，一些方法提出利用丰富的视频数据生成雷达数据用于活动识别和目标检测，但主要是通过模拟粗粒度的人体运动反射来生成频谱图和粗粒度的3d点云，无法准确刻画细粒度手势的空间特征，导致细粒度毫米波雷达感知数据缺乏和不足，并且存在采集成本高的问题。
技术实现思路
1、为了解决现有毫米波雷达数据生成方法存在的无法准确刻画细粒度手势的空间特征导致细粒度毫米波雷达感知数据不足且采集成本高的问题，本发明提供了一种面向手势识别的细粒度毫米波雷达数据生成方法。
2、本发明为解决技术问题所采用的技术方案如下：
3、本发明提供的一种面向手势识别的细粒度毫米波雷达数据生成方法，其具体包括以下步骤：
4、s1：利用人体解析模型、骨骼点提取模型和深度预测模型提取人体的组成部位、2d骨骼点坐标和深度信息；
5、s2：根据深度信息，利用骨骼点提取模型对2d骨骼点坐标进行坐标转换，形成3d骨骼点数据；
6、s3：通过手势反射点生成器对手臂上的3d骨骼点进行扩充，并生成手臂上的手势运动反射点；
7、s4：根据手势运动反射点计算出每个手势运动反射点相对于雷达的rcs和径向速度；
8、s5：以深度信息和rcs作为输入，通过信号模拟模型模拟雷达信号在发射和接收过程中的传播特性，并输出人体反射强度图；
9、s6：将人体反射强度图与径向速度进行拼接操作生成最初的雷达数据；
10、s7：利用编码-解码模型来生成逼真的雷达数据；同时采用损失函数来衡量生成的雷达数据和真实的雷达数据在数量和分布上的相关性；
11、s8：使用生成的雷达数据和真实的雷达数据混合训练手势识别模型。
12、进一步的，步骤s3中，利用随机插值的方法对手臂上的3d骨骼点进行扩充。
13、进一步的，步骤s3中，在进行扩充时，利用人体解析模型划分出的人体组成部位与手势反射点生成器所生成的手势运动反射点形成映射，实现对插值点的检查以移除不属于手臂的手势运动反射点；对于移除的反射点，重新执行随机插值操作进行补充。
14、进一步的，步骤s4中，所述rcs通过计算每个手势运动反射点的表面积和法线来获得。
15、进一步的，步骤s4中，使用窗口划分策略来计算手势运动反射点的径向速度。
16、进一步的，步骤s5中，假设已经发射n个啁啾信号，0≤n≤n-1，n为一帧中的总啁啾数，且当前第n+1个啁啾信号已经发射了tn时间，则发射啁啾信号的时间t和瞬时频率f(t)的计算公式为：
17、
18、其中，t表示每个啁啾信号的周期，b表示扫频带宽，f0表示起始频率；
19、雷达发射信号的数学表达式为：a表示雷达发射信号振幅，表示复数形式的雷达发射信号相位；
20、雷达发射信号相位在每个周期内的变化是2π，其具体计算公式如下：
21、
22、其中，表示雷达发射信号初始相位，f(x)表示雷达信号的复数形式；
23、综上，雷达发射信号被表示为：
24、
25、雷达发射信号会在手势运动反射点处反弹回接收天线rx；接收信号被看作是雷达发射信号的延时版本，延迟时间为τ；因此接收信号被表示为：
26、
27、其中，f0(t-τ)表示t-τ时刻的频率；a'表示振幅的衰减。
28、进一步的，步骤s7中，所述编码-解码模型包括采样模块和拟合模块；所述采样模块利用图卷积提取雷达点云特征，以计算生成的雷达数据与真实的雷达数据的点数相关性，并使用最远点采样层输出生成的点；所述拟合模块使用u-net模型调节点的分布情况。
29、进一步的，所述采样模块以n个点的x、y、z坐标作为输入，并为edgeconv上的每一个点计算一个大小为k的边缘特征集；构建局部连接图，在构建局部连接图之后，使用多层感知机计算每个点的边缘特征，输出点云特征图；然后进行注意卷积操作后使用批标准化层和带泄露线性整流函数，输出局部特征；使用快捷连接来合并来自edgeconv输出的所有局部特征；同时对获取的局部特征执行最大池化和平均池化，随后拼接对应的手势类别标签和发射天线tx与手势运动反射点之间距离以获取特征向量；对获取的特征向量重复n次，并执行合并操作，得到聚合的逐点特征；最后采用最远点采样层获取不同位置i和不同手势j对应生成的mij个点。
30、进一步的，所述拟合模块采用u-net模型，所述u-net模型包括编编码器和解码器；所述编码器使用双卷积块进行特征提取；所述解码器使用反卷积层和跳跃连接进行特征融合，同时每个卷积层后都设有一个批标准化层和一个带泄露线性整流函数。
31、进一步的，步骤s7中，所述损失函数的数学表达式为：
32、l＝λlchd+(1-λ)lemd
33、其中，λ表示平衡不同组件的超参数，lchd表示倒角距离损失函数，使用倒角距离损失函数来度量生成的雷达点云数据集和真实的雷达点云数据集之间的数量差异；lemd表示推土机距离损失函数，使用推土机距离损失函数来度量生成的雷达点云数据集和真实的雷达点云数据集之间的分布差异。
34、本发明的有益效果是：
35、本发明提供的一种面向手势识别的细粒度毫米波雷达数据生成方法，利用丰富的视频生成大量逼真的细粒度毫米波雷达手势数据，以实现普适的手势识别。本发明主要采用了手势反射点生成器、信号模拟模型和编码-解码模型三个关键组件。具体地，由于用户执行不同的手势时，人体各个部位的反射存在差异性。为了刻画出人体不同区域的反射差异，本发明采用人体解析模型来获取人体不同的组成部位，精准的输出手势区域。同时使用骨骼点提取模型来获取人体骨骼点的位置信息。由于提取的骨骼点属于2d空间数据，本发明还使用深度预测模型来补充骨骼点的深度信息，以获取3d的骨骼点信息，服务于后续模块。根据雷达信号的反射特性，用户执行手势时，人体的主要反射点集中在手臂上。因此，本发明设计了一个手势反射点生成器，其利用随机插值的方法对手臂的骨骼点进行扩充，然后拼接人体其它部位的骨骼点以获取手势运动反射点。基于手势运动反射点，可以计算出它们的雷达横截面(rcs)和径向速度。然而，雷达信号在发射和接收的过程中会存在严重的多径反射和衰减，尤其是场景中存在较多反射体的情况下。为了解决这个问题，本发明设计了一个信号模拟模型将rcs和深度信息作为输入来模拟雷达信号在发射和接收过程中的传播特性，以输出人体的反射强度图，随后拼接径向速度生成最初的雷达数据。考虑到用户姿势、位置和场景的变化，生成的雷达数据与真实的雷达数据会在点数和分布上存在差异。因此，本发明设计了一个由采样模块和拟合模块组成的编码-解码模型来生成逼真的雷达数据。采样模块利用图卷积提取点云特征，以计算生成数据和真实数据的点数相关性，并使用采样层输出生成的点。拟合模块使用u-net模型调节点的分布情况。此外，本发明还使用生成和真实的数据来混合训练手势识别模型，以进一步提高它们在真实场景中的普适性。
36、本发明提供的一种面向手势识别的细粒度毫米波雷达数据生成方法，有效解决了细粒度毫米波雷达数据不足以及多样化、细粒度手势反射特征难模拟的问题，同时降低了采集数据的成本。本发明首次使用输入的丰富的视频数据生成大量逼真的、细粒度的毫米波雷达手势数据，其包含点云的三维坐标、径向速度和反射信号强度，并可应用于手势识别等应用中，帮助研究者利用网络上触手可及的视频数据来扩充毫米波雷达数据集，同时极大地降低了数据收集的成本，并能够有效地支撑深度学习模型在毫米波感知领域的进一步发展与应用，克服阻碍发展的最大问题即缺乏丰富和细粒度的毫米波雷达数据。
1.一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s3中，利用随机插值的方法对手臂上的3d骨骼点进行扩充。
3.根据权利要求2所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s3中，在进行扩充时，利用人体解析模型划分出的人体组成部位与手势反射点生成器所生成的手势运动反射点形成映射，实现对插值点的检查以移除不属于手臂的手势运动反射点；对于移除的反射点，重新执行随机插值操作进行补充。
4.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s4中，所述rcs通过计算每个手势运动反射点的表面积和法线来获得。
5.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s4中，使用窗口划分策略来计算手势运动反射点的径向速度。
6.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s5中，假设已经发射n个啁啾信号，0≤n≤n-1，n为一帧中的总啁啾数，且当前第n+1个啁啾信号已经发射了tn时间，则发射啁啾信号的时间t和瞬时频率f(t)的计算公式为：
7.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s7中，所述编码-解码模型包括采样模块和拟合模块；所述采样模块利用图卷积提取雷达点云特征，以计算生成的雷达数据与真实的雷达数据的点数相关性，并使用最远点采样层输出生成的点；所述拟合模块使用u-net模型调节点的分布情况。
8.根据权利要求7所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，所述采样模块以n个点的x、y、z坐标作为输入，并为edgeconv上的每一个点计算一个大小为k的边缘特征集；构建局部连接图，在构建局部连接图之后，使用多层感知机计算每个点的边缘特征，输出点云特征图；然后进行卷积操作后使用批标准化层和带泄露线性整流函数，输出局部特征；使用快捷连接来合并来自edgeconv输出的所有局部特征；同时对获取的局部特征执行最大池化和平均池化，随后拼接对应的手势类别标签和发射天线tx与手势运动反射点之间距离以获取特征向量；对获取的特征向量重复n次，并执行合并操作，得到聚合的逐点特征；最后采用最远点采样层获取不同位置i和不同手势j对应生成的mij个点。
9.根据权利要求7所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，所述拟合模块采用u-net模型，所述u-net模型包括编编码器和解码器；所述编码器使用双卷积块进行特征提取；所述解码器使用反卷积层和跳跃连接进行特征融合，同时每个卷积层后都设有一个批标准化层和一个带泄露线性整流函数。
10.根据权利要求1所述的一种面向手势识别的细粒度毫米波雷达数据生成方法，其特征在于，步骤s7中，所述损失函数的数学表达式为：
