本发明属于计算机视觉领域，具体涉及一种基于pams编码的运动行为知识表示方法。
背景技术：
1、人体姿态估计(pose estimation)旨在识别图片或视频中的人体姿态，即人体的运动状态，是计算机视觉领域的一项任务，其下游任务包括动作识别、动作生成等。人体姿态中蕴含着丰富的知识，在运动和健康领域有着广泛的应用前景。现有的人体姿态估计分为二维和三维场景，二维姿态无法直接反映真实世界中的人体运动，而三维姿态表示主要包括骨架(skeleton)和轮廓(shape)。前者为人体各关节点在三维空间中的绝对坐标，后者则通常指代使用smpl模型生成的人体网格模型。这两种姿态表示在视觉上可以直观地表示人体运动，但源数据形式复杂，难以理解，也难以直接作为有效的知识表示。
2、pams编码是一种分层的人体运动编码系统，在不同粒度上将动作分解为姿态基，对于每个姿态基，使用三个方向上的旋转角表示其当前状态，并根据专家知识确定了旋转角的取值范围，数据形式规整，适合作为运动表示。然而，pams编码的坐标系固定且单一，无法准确地描述复杂的连续运动。当人体坐标系发生改变时，基于原先全局坐标系的数据不再具备可靠性；并且，对于不直接与躯干相连接的肢体(例如小臂、小腿)，相对于全局坐标系的角度无法直接反应肢体运动与上级关节之间的关系。
技术实现思路
1、针对以上现有技术中存在的问题，本发明提出了一种基于pams编码的运动行为知识表示方法，完善pams编码的建模方式，构建可变人体坐标系，引入基于人体运动学树的分级旋转表示，使得到的运动表示既能够与直观的人体运动相对应，又能够覆盖更大范围的人体运动，为后续基于运动表示的比较和分析等奠定基础。
2、本发明的技术方案如下：
3、一种基于pams编码的运动行为知识表示方法，包括：建立可变人体坐标系，定义人体运动学树，基于pams编码对人体各关节进行分级，计算子关节和父关节之间的相对旋转，具体步骤为：
4、1)采用人体姿态估计和动作识别数据集h36m中的17个关节点作为考虑的人体关节点，其中左右两髋中点的髋关节点作为根节点，使用预训练好的三维人体姿态提取模型，从包含人体运动的视频中分别提取出每一帧的人体各个关节点在全局坐标系中的三维绝对坐标和局部旋转信息；对于每一帧中十七个关节点的三维绝对坐标，模型输出17×3的坐标序列矩阵，其中，一行代表一个关节点的三维坐标，对于每一帧中除根节点外的十六个关节点的局部旋转信息，模型输出一个16×4的轴角序列矩阵，其中，一行代表一个轴角，每个轴角包括旋转轴和旋转角度信息；对于一个包含n帧的视频，共得到n个17×3的坐标序列矩阵，n个16×4的轴角序列矩阵；
5、2)根据关节点三维绝对坐标，建立基于人体躯干的可变人体坐标系，具体步骤包括：
6、2-1).将左髋到右髋的方向定义为冠状轴y轴，将两髋中点到腰椎的方向定义为垂直轴z轴，将垂直于它们、指向身体前方的方向定义为矢状轴x轴，同时，确定两髋中点为原点，与三个轴共同构成人体坐标系；
7、2-2).对于视频中的每一帧，使用关节点的三维绝对坐标计算人体坐标系各轴在全局坐标系中的方向，以单位向量的形式记录在当前帧的运动表示中，同时记录原点在全局坐标系中的绝对坐标，以获取人体在真实世界中的平移、跳跃等信息；
8、3)定义人体运动学树，对于视频中的每一帧，计算子关节相对于父关节的旋转角，具体步骤包括：
9、3-1).参考机器人运动学树的建立方法，建立了人体运动学树；对步骤1)中确定的17个关节点，将两个关节点之间的肢体视为刚体，规定相对运动只在关节点产生，忽略关节点的平移运动；将两髋中点作为运动学树的根节点；根据pams编码pu3分级的粒度将各关节点划分为四级，第一级关节包括腰椎和髋关节，直接和根节点相连；第二级关节包括膝和胸关节，和第一级关节通过刚体连接；第三级关节包括肩、踝和颈关节，和第二级关节通过刚体连接；第四级关节包括肘关节，和第三级关节通过刚体连接；所述17个关节中的腕关节、踝关节和头部关节，为末端关节，其运动不做考虑；
10、3-2).按照躯干-第一级关节-第二级关节-第三级关节-第四级关节的顺序，对于每一帧，分别计算下一级关节相对于前一级关节的旋转角，作为关节运动的表示，包括：计算第一级关节相对于躯干的旋转角、第二级关节相对于第一级关节的旋转角、第三级关节相对于第二级关节的旋转角、第四级关节相对于第三级关节的旋转角；其方法为通过计算将步骤1)得到的各关节局部旋转信息的轴角表示转换为由欧拉角组成的泰特-布莱恩角的形式表示；计算旋转角时，先使用罗德里格斯旋转公式将在步骤1)得到的表示各关节旋转的轴角转化为旋转矩阵，各关节旋转的轴角由一个旋转轴和绕该旋转轴的旋转角度组成，设当前关节旋转轴为k，绕旋转轴的旋转角度为θ，m为旋转轴k的叉积矩阵表示，使用罗德里格斯旋转公式计算旋转矩阵：r(k，θ)＝i+sinθm+(1-cosθm2)，其中i为单位矩阵。再将旋转矩阵中的元素相除并求取反三角函数得到欧拉角，从而得到关节相对旋转表示的泰特-布莱恩角的形式表示；
11、3-3).检查步骤3-2)计算得到的欧拉角，根据pams编码规定的各关节旋转角取值范围，确定计算得到的运动表示是否符合人体生理学，对于超出取值范围的旋转角，将其修正为在规定取值范围内的、最接近原计算结果的值；
12、通过步骤1)～3)，将视频中的人体动作转化为每帧图片依次对应的运动表示，每帧图片的运动表示包括了步骤中所述人体坐标系原点在全局坐标系中的三维绝对坐标、所述以三维单位向量形式表示的人体坐标系x、y、z轴在全局坐标系中的方向和所述以各关节旋转角表示的各关节相对旋转运动。
13、进一步，所述步骤1)中预训练好的三维人体姿态提取模型，是在人体姿态估计数据集halpe、人体姿态估计和动作识别数据集h36m上预训练的开源神经网络模型alphapose和开源神经网络模型motionbert。
14、进一步，所述步骤1)中h36m中的17个关节点，包括左右两髋中点的髋关节点，右髋关节点，左髋关节点，右膝关节点，左膝关节点，右踝关节点、左踝关节点、脊柱关节点、胸廓关节点、颈关节点、头关节点、右肩关节点、左肩关节点、右肘关节点、左肘关节点、右腕关节点、左腕关节点。
15、进一步，所述步骤3-3)根据pams编码规定的各关节旋转角取值范围，包括：pams编码pu1级姿态基范围，考虑躯干对全局坐标系的旋转，其取值为[-180°,180°]，pams编码pu2级姿态基范围规定肩关节和髋关节的姿态基以及旋转角的角度允许范围，pams编码pu3级姿态基范围规定肘关节和膝关节的姿态基以及旋转角的角度允许范围。
16、本发明的技术效果如下：
17、本发明一种基于pams编码的运动行为知识表示的方法，通过构建可变人体坐标系，引入基于人体运动学树的分级旋转表示，解决了现有运动表示的可理解性不强的问题，以及pams编码无法涵盖人体所有运动的问题。本发明的运动行为表示能够完备地反应人体刚体运动的信息，并且易于理解和分析，能够有效地反应运动之间的相关性与差异，为基于运动表示进行信息抽取、构建健身知识图谱奠定基础。
1.一种基于pams编码的运动行为知识表示方法，其特征在于，包括：建立可变人体坐标系，定义人体运动学树，基于pams编码对人体各关节进行分级，计算子关节和父关节之间的相对旋转，具体步骤为：
2.如权利要求1所述的一种基于pams编码的运动行为知识表示方法，其特征在于，所述步骤1)中预训练好的三维人体姿态提取模型，是在人体姿态估计数据集halpe、人体姿态估计和动作识别数据集h36m上预训练的开源神经网络模型alphapose和开源神经网络模型motionbert。
3.如权利要求1所述的一种基于pams编码的运动行为知识表示方法，其特征在于，所述步骤1)中h36m中的17个关节点，包括左右两髋中点的髋关节点，右髋关节点，左髋关节点，右膝关节点，左膝关节点，右踝关节点、左踝关节点、脊柱关节点、胸廓关节点、颈关节点、头关节点、右肩关节点、左肩关节点、右肘关节点、左肘关节点、右腕关节点、左腕关节点。
4.如权利要求1所述的一种基于pams编码的运动行为知识表示方法，其特征在于，所述步骤3-3)根据pams编码规定的各关节旋转角取值范围，包括：pams编码pu1级姿态基范围，考虑躯干对全局坐标系的旋转，其取值为[-180°,180°]，pams编码pu2级姿态基范围规定肩关节和髋关节的姿态基以及旋转角的角度允许范围，pams编码pu3级姿态基范围规定肘关节和膝关节的姿态基以及旋转角的角度允许范围。
