基于高速摄影双目视觉技术的果柄动态结合力获取方法与流程

专利2022-06-28  67


本发明涉及农林业果树采收技术领域,尤其涉及林果振动采收领域中对果实所受结合力的研究研究,具体地说是一种基于高速摄影双目视觉技术的果柄动态结合力获取方法。



背景技术:

林果采收作业是林果生产中最耗时、最费力的一个环节,对于银杏、红枣、核桃等干果类林果,目前最有效的采收方式是机械振动采收,其采收机械的采收效果与多种因素有关,包括果树的固有特性和机械振动的工作参数。近年来国内对果实脱落力的研究主要为静态结合力,即通过拉力计测量果实静态结合力,但果实实际脱落条件是受振动过程中的动态结合力影响,在果实运动过程中很难通过附加力传感器的方式直接测得果实的动态果柄结合力。对于果实在振动采收过程中所受动态结合力的研究还存在空缺,为了更加细致深入的解释振动落果的原理,需要对果实运动的动态结合力进行研究。



技术实现要素:

本发明的目的是针对现有技术存在的问题,提供一种基于高速摄影双目视觉技术的果柄动态结合力获取方法。

本发明的目的是通过以下技术方案解决的:

一种基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:该获取方法步骤如下:

a、在果实表面标记三个特征点c1、c2、c3,以果实和果柄的结合处为原点标记为o1并建立绝对坐标系,绝对坐标系中各坐标轴的单位向量分别为:x=(1,0,0)t、y=(0,1,0)t、z=(0,0,1)t

b、采用两台高速摄像仪对果实表面的三个特征点和原点进行静态拍摄,通过phantom软件对拍摄的图像进行存储,采用tema软件对图像中的各特征点以及原点进行处理,导出特征点c1、c2、c3和原点o1的空间绝对坐标,建立原点o1与各特征点的固有关系;

c、采用两台高速摄像仪拍摄果实动态运动,通过phantom软件对拍摄的视频中每帧图像进行存储,采用tema软件对图像中的各特征点进行处理,获取果实表面各特征点的绝对坐标,通过逆旋转变换计算每帧图像对应各时刻下原点o1的绝对坐标;

d、根据各时刻下原点o1的绝对坐标分别计算求得t时刻下果实沿x轴的瞬时加速度ax(t)、沿y轴的瞬时加速度ay(t)、沿z轴的瞬时加速度az(t),由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力为:

式(17)中,m表示果实的质量;

e、由于任意时刻下果实所受的等效合力与惯性力平衡,故f惯性力=fd,式中fd为果实运动状态改变时所受的等效合力,且果实所受的等效合力fd为果柄结合力fj与果实重力g的矢量和,故果柄动态结合力为:fj=f惯性力-g(18);式(18)中,果实处于静态时f惯性力=0,则果柄静态结合力f静j=-g;果实处于动态时f惯性力≠0,则果柄动态结合力f动j=f惯性力-g。

所述步骤b中的建立原点o1与各特征点的固有关系的步骤为:

b1、通过绝对坐标建立向量单位化;建立向量

b2、将单位化后的做向量积得到:通过做向量积得到:从而建立以c1为原点的公共参考基坐标系cxyz,则公共参考基坐标系cxyz的坐标轴向量为通过空间向量夹角计算公式计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αx、βx、γx,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αy、βy、γy,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αz、βz、γz,则坐标转换矩阵a为:

b3、原点o1在公共参考基坐标系cxyz下的坐标通过下述公式得到:

所述步骤c中的原点o1的绝对坐标求解公式为:

式(16)中,为t时刻下原点o1的绝对坐标,为t时刻下特征点c1的绝对坐标,为特征点c1在公共参考基坐标系cxyz下的坐标,为t时刻下转换矩阵at的逆矩阵;每帧图像对应一个时刻,逐帧求解原点o1的绝对坐标。

所述步骤d中的t时刻下的果实惯性力f惯性力的求解步骤为:

d1、设相邻两帧图像分别对应的时刻为t 1时刻与t时刻,分别计算点原点o1在t 1时刻与t时刻沿绝对坐标系的x轴的位移:同理计算原点o1在t 1时刻与t时刻沿绝对坐标系的y轴的位移sy以及z轴的位移sz;

d2、根据位移计算t时刻果实沿x轴的瞬时速度vx(t)=sx/δt,其中δt为两帧图像之间的间隔时间,同理可得在t时刻果实沿y轴的瞬时速度vy(t)以及沿z轴的瞬时速度vz(t);

d3、根据瞬时速度计算在t时刻果实沿x轴的瞬时加速度ax(t)=(vx(t 1)-vx(t))/δt,同理可得果实沿y轴的瞬时加速度ay(t)以及沿z轴的瞬时加速度az(t);

d4、由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力为:

式(17)中,m表示果实的质量。

所述步骤e中的果实在动态过程中,当果柄由松弛到紧绷的时刻点时,果柄对果实会施加一个瞬时冲击力fc,该时刻点的瞬时冲击力fc=fj。

当果实处于静态时f惯性力=0,则果柄静态结合力f静j=-g,故果实处于静态时的果柄静态结合力f静j亦符合步骤e中的式(18),即f静j=f惯性力-g=-g。

所述步骤b和所述步骤c中的两台高速摄像仪的型号为m310和/或veo410。

本发明相比现有技术有如下优点:

本发明的果柄动态结合力获取方法基于高速摄影双目视觉技术,通过在果实表面标记特征点和以果实和果柄的结合处为原点标记为o1并建立绝对坐标系,确定静态时的原点o1与各特征点的固有关系和动态时各时刻下原点o1的绝对坐标;并根据各时刻下原点o1的绝对坐标确定果实加速度,并根据该果实加速度获得t时刻下的果实惯性力;根据任意时刻下果实所受的等效合力fd与惯性力f惯性力平衡且果实所受的等效合力fd为果柄动态结合力fj与果实重力g的矢量和,故求得果柄动态结合力为fj=f惯性力-g;该果柄动态结合力获取方法通过果实所受到的惯性力和重力反推获得果柄动态结合力,方法简洁且快速高效。

附图说明

附图1为本发明的果柄动态结合力获取方法的流程图;

附图2为本发明的实施例的果实空间坐标关系图;

附图3为本发明的实施例的果实空间受力示意图;

附图4为本发明的实施例的果实空间平移轨迹与果柄动态结合力的方向示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步的说明。

假设果实在运动过程中只受果柄动态结合力和果实的重力,因此果实的运动状态由上述两力的等效合力改变。同样需要说明的是,果实在静止过程中只受果柄静态结合力和果实的重力。由于在果实空间运动过程中很难通过附加力传感器的方式直接测得果实的动态果柄结合力,因此本文提出利用等效合力和重力反推获得果柄动态结合力,果实空间运动瞬时受力状况如图3所示。

一、果实空间运动瞬态受力分析

建立绝对坐标系的x轴、y轴、z轴,其中重力沿z轴的负方向。果实质量为m,果实运动过程中仅受果柄动态结合力与重力作用,因此果实的空间运动状态受两力的等效合力影响,等效合力为果柄动态结合力与重力的矢量和,等效合力为:

fd=fj g(1)

式(1)中,fd表示果实在运动状态时所受的等效合力,fj表示果柄动态结合力,g表示果实所受的重力。

二、果实受力分解

为方便计算,将上述果柄动态结合力、等效合力和重力分别向绝对坐标系的三个坐标轴投影,分别记为fdx、fdy、fdz、fjx、fjy、fjz、gx、gy、gz;依据动力学分析,在任意时刻下果实所受的外力与惯性力平衡,因此上述三力在三个坐标轴上投影的力分别和惯性力在三个坐标轴上投影的惯性分力平衡,可得:

max=fdx=fjx gx(2)

may=fdy=fjy gy(3)

maz=fdz=fjz gz(4)

式(2)中的ax、式(3)中的ay、式(4)中的az分别为惯性力在绝对坐标系下对三个坐标轴投影的力的加速度,通过移项可得三个方向上的果柄动态结合分力分别为:

fjx=fdx-gx(5)

fjy=fdy-gy(6)

fjz=fdz-gz(7)

由于重力沿z轴负方向,重力在x轴和y轴上的投影为0,则:

gx=0(8)

gy=0(9)

gz=g(10)

故式(5)、(6)、(7)可简化为:

fjx=fdx(11)

fjy=fdy(12)

fjz=fdz-gz(13)

由式(11)、(12)、(13)可知,瞬时的果柄动态结合力为fj=[fdx,fdy,fdz-gz]。

三、计算等效合力并反推果实动态结合力

如图1-4所示,由上文可知,果实的运动状态由果实动态结合力与重力的等效合力改变,由式(2)、(3)、(4)可知,果实瞬时惯性力与等效合力相等。通过计算果实的加速度大小和方向,计算瞬态果实所受放入等效合力,本申请通过高速摄影双目视觉技术获取果实瞬时加速度。

一种基于高速摄影双目视觉技术的果柄动态结合力获取方法,该获取方法步骤如下:

a、在果实表面标记三个特征点c1、c2、c3,以果实和果柄的结合处为原点标记为o1并建立绝对坐标系,绝对坐标系中各坐标轴的单位向量分别为:x=(1,0,0)t、y=(0,1,0)t、z=(0,0,1)t

b、采用两台高速摄像仪(m310、veo410)对果实表面的三个特征点和原点进行静态拍摄,通过phantom软件对拍摄的图像进行存储,采用tema软件对图像中的各特征点以及原点进行处理,导出特征点c1、c2、c3和原点o1的空间绝对坐标,建立原点o1与各特征点的固有关系;建立原点o1与各特征点的固有关系的具体步骤为:

b1、通过绝对坐标建立向量单位化;建立向量

b2、将单位化后的做向量积得到:通过做向量积得到:从而建立以c1为原点的公共参考基坐标系cxyz,则公共参考基坐标系cxyz的坐标轴向量为通过空间向量夹角计算公式计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αx、βx、γx,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αy、βy、γy,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αz、βz、γz,则坐标转换矩阵a为:

b3、原点o1在公共参考基坐标系cxyz下的坐标通过下述公式得到:

在本实例中

c、采用两台高速摄像仪(m310、veo410)拍摄果实动态运动,通过phantom软件对拍摄的视频中每帧图像进行存储,采用tema软件对图像中的各特征点进行处理,获取果实表面各特征点的绝对坐标,通过逆旋转变换计算每帧图像对应各时刻下原点o1的绝对坐标;原点o1的绝对坐标求解公式为:

式(16)中,为t时刻下原点o1的绝对坐标,为t时刻下特征点c1的绝对坐标,为特征点c1在公共参考基坐标系cxyz下的坐标,为t时刻下转换矩阵at的逆矩阵;每帧图像对应一个时刻,逐帧求解原点o1的绝对坐标。

d、根据各时刻下原点o1的绝对坐标分别计算求得t时刻下果实沿x轴的瞬时加速度ax(t)、沿y轴的瞬时加速度ay(t)、沿z轴的瞬时加速度az(t),由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力,t时刻下的果实惯性力f惯性力的求解步骤为:

d1、设相邻两帧图像分别对应的时刻为t 1时刻与t时刻,分别计算点原点o1在t 1时刻与t时刻沿绝对坐标系的x轴的位移:同理计算原点o1在t 1时刻与t时刻沿绝对坐标系的y轴的位移sy以及z轴的位移sz;

d2、根据位移计算t时刻果实沿x轴的瞬时速度vx(t)=sx/δt,其中δt为两帧图像之间的间隔时间,同理可得在t时刻果实沿y轴的瞬时速度vy(t)以及沿z轴的瞬时速度vz(t);

d3、根据瞬时速度计算在t时刻果实沿x轴的瞬时加速度ax(t)=(vx(t 1)-vx(t))/δt,同理可得果实沿y轴的瞬时加速度ay(t)以及沿z轴的瞬时加速度az(t);

d4、由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力为:

式(17)中,m表示果实的质量。

e、由于任意时刻下果实所受的等效合力与惯性力平衡,故f惯性力=fd,式中fd为果实运动状态改变时所受的等效合力,且果实所受的等效合力fd为果柄结合力fj与果实重力g的矢量和,故果柄动态结合力为:fj=f惯性力-g(18)。另外需要说明的是,当果实处于静态时f惯性力=0,则果柄静态结合力f静j=-g,故果实处于静态时的果柄静态结合力f静j亦符合步骤e中的式(18),即f静j=f惯性力-g=-g。

图4为果实和果柄连接点o1在绝对坐标系的空间坐标中的运动轨迹,以及各时刻下o1点所受的果柄动态结合力的大小和方向,其中大小为线段的长度,方向为箭头所指的方向。图4中所体现的o1点空间坐标和动态结合力坐标如表1所示。

表1o1点空间坐标和动态结合力坐标

在上述果柄动态结合力获取方法中,当果实的果柄由弯曲的松弛状态到伸直的紧绷状态时,果柄对果实会施加一个瞬时冲击力fc。因为由弯曲的松弛状态到伸直的紧绷状态时容易引起果实的脱落,所以容易引起果实脱离的力为瞬时冲击力。由产生瞬时冲击力的条件可知,瞬时冲击力是特定条件下的果柄动态结合力。因此,可从计算所得果柄动态结合力中选取符合瞬时冲击力条件的部分结果作为瞬时冲击力。本文假设,瞬时冲击力的条件为,在t-1时刻果柄与果枝距离对时间的导数为正,而t 1时果柄与果枝距离对时间的导数为负时,则t时刻即为果柄由松弛到紧绷的时刻点,即在t时刻果柄的动态结合力为果柄瞬时冲击力。则瞬时冲击力的数学表达形式为:fc=fd,式中的l为果柄与果枝结合点到果柄果实结合点的空间欧式距离。

本发明的果柄动态结合力获取方法基于高速摄影双目视觉技术,通过在果实表面标记特征点和以果实和果柄的结合处为原点标记为o1并建立绝对坐标系,确定静态时的原点o1与各特征点的固有关系和动态时各时刻下原点o1的绝对坐标;并根据各时刻下原点o1的绝对坐标确定果实加速度,并根据该果实加速度获得t时刻下的果实惯性力;根据任意时刻下果实所受的等效合力fd与惯性力f惯性力平衡且果实所受的等效合力fd为果柄动态结合力fj与果实重力g的矢量和,故求得果柄动态结合力为fj=f惯性力-g;该果柄动态结合力获取方法通过果实所受到的惯性力和重力反推获得果柄动态结合力,方法简洁且快速高效。

以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内;本发明未涉及的技术均可通过现有技术加以实现。


技术特征:

1.一种基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:该获取方法步骤如下:

a、在果实表面标记三个特征点c1、c2、c3,以果实和果柄的结合处为原点标记为o1并建立绝对坐标系,绝对坐标系中各坐标轴的单位向量分别为:x=(1,0,0)t、y=(0,1,0)t、z=(0,0,1)t

b、采用两台高速摄像仪对果实表面的三个特征点和原点进行静态拍摄,通过phantom软件对拍摄的图像进行存储,采用tema软件对图像中的各特征点以及原点进行处理,导出特征点c1、c2、c3和原点o1的空间绝对坐标,建立原点o1与各特征点的固有关系;

c、采用两台高速摄像仪拍摄果实动态运动,通过phantom软件对拍摄的视频中每帧图像进行存储,采用tema软件对图像中的各特征点进行处理,获取果实表面各特征点的绝对坐标,通过逆旋转变换计算每帧图像对应各时刻下原点o1的绝对坐标;

d、根据各时刻下原点o1的绝对坐标分别计算求得t时刻下果实沿x轴的瞬时加速度ax(t)、沿y轴的瞬时加速度ay(t)、沿z轴的瞬时加速度az(t),由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力为:

式(17)中,m表示果实的质量;

e、由于任意时刻下果实所受的等效合力与惯性力平衡,故f惯性力=fd,式中fd为果实运动状态改变时所受的等效合力,且果实所受的等效合力fd为果柄动态结合力fj与果实重力g的矢量和,故果柄动态结合力为:fj=f惯性力-g(18)。

2.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:所述步骤b中的建立原点o1与各特征点的固有关系的步骤为:

b1、通过绝对坐标建立向量单位化;建立向量

b2、将单位化后的做向量积得到:通过做向量积得到:从而建立以c1为原点的公共参考基坐标系cxyz,则公共参考基坐标系cxyz的坐标轴向量为通过空间向量夹角计算公式计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αx、βx、γx,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αy、βy、γy,计算向量分别与公共参考基坐标系cxyz的x轴、y轴和z轴的夹角αz、βz、γz,则坐标转换矩阵a为:

b3、原点o1在公共参考基坐标系cxyz下的坐标通过下述公式得到:

3.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:所述步骤c中的原点o1的绝对坐标求解公式为:

式(16)中,为t时刻下原点o1的绝对坐标,为t时刻下特征点c1的绝对坐标,为特征点c1在公共参考基坐标系cxyz下的坐标,为t时刻下转换矩阵at的逆矩阵;每帧图像对应一个时刻,逐帧求解原点o1的绝对坐标。

4.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:所述步骤d中的t时刻下的果实惯性力f惯性力的求解步骤为:

d1、设相邻两帧图像分别对应的时刻为t 1时刻与t时刻,分别计算点原点o1在t 1时刻与t时刻沿绝对坐标系的x轴的位移:同理计算原点o1在t 1时刻与t时刻沿绝对坐标系的y轴的位移sy以及z轴的位移sz;

d2、根据位移计算t时刻果实沿x轴的瞬时速度vx(t)=sx/δt,其中δt为两帧图像之间的间隔时间,同理可得在t时刻果实沿y轴的瞬时速度vy(t)以及沿z轴的瞬时速度vz(t);

d3、根据瞬时速度计算在t时刻果实沿x轴的瞬时加速度ax(t)=(vx(t 1)-vx(t))/δt,同理可得果实沿y轴的瞬时加速度ay(t)以及沿z轴的瞬时加速度az(t);

d4、由于t时刻下的果实加速度a(t)在绝对坐标系下三个方向的投影分别为ax(t)、ay(t)、az(t),则求得t时刻下的果实惯性力f惯性力为:

式(17)中,m表示果实的质量。

5.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:所述步骤e中的果实在动态过程中,当果柄由松弛到紧绷的时刻点时,果柄对果实会施加一个瞬时冲击力fc,该时刻点的瞬时冲击力fc=fj。

6.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:当果实处于静态时f惯性力=0,则果柄静态结合力f静j=-g,故果实处于静态时的果柄静态结合力f静j亦符合步骤e中的式(18),即f静j=f惯性力-g=-g。

7.根据权利要求1所述的基于高速摄影双目视觉技术的果柄动态结合力获取方法,其特征在于:所述步骤b和所述步骤c中的两台高速摄像仪的型号为m310和/或veo410。

技术总结
本发明公开了一种基于高速摄影双目视觉技术的果柄动态结合力获取方法,该果柄动态结合力获取方法基于高速摄影双目视觉技术,通过在果实表面标记特征点和以果实和果柄的结合处为原点标记为O1并建立绝对坐标系,确定静态时的原点O1与各特征点的固有关系和动态时各时刻下原点O1的绝对坐标;并根据各时刻下原点O1的绝对坐标确定果实加速度,并根据该果实加速度获得t时刻下的果实惯性力;根据任意时刻下果实所受的等效合力FD与惯性力F惯性力平衡且果实所受的等效合力FD为果柄动态结合力FJ与果实重力G的矢量和,故求得果柄动态结合力为FJ=F惯性力‑G。本发明基于高速摄影双目视觉技术获得果实的惯性力,并通过果实所受到的惯性力和重力反推获得果柄动态结合力,方法简洁且快速高效。

技术研发人员:许林云;宣言;刘冠华;周杰;周宏平
受保护的技术使用者:南京林业大学
技术研发日:2020.01.17
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-9951.html

最新回复(0)