一种基于示教学习的人机协作工具递交系统及方法与流程

专利2022-06-29  110


本发明属于人工智能和机器人控制领域,具体地说涉及一种基于示教学习的人机协作工具递交系统及方法



背景技术:

加工制造技术是经济竞争的核心,随着加工方法的不断丰富,加工过程中所用到的工具也越来越多,不停地去工具库中拿取工具到加工地是一个费时费力的事情,极大地降低了工作效率。人和机器人协作可以提高生产效率,改善产品质量,是机器人领域的研究热点之一。同时人机协作在工具递交中也能发挥出巨大的优势,例如在工作环境中,可以通过预测人的行为,然后控制机械臂给人递交相应的工具,以此加快生产效率。

而协作机器人的控制方法中“示教学习”相对于传统机器人编程,具有工作量少、对不同任务适应性好、对新手友好的优势。但是现有的示教学习方法“基于dmp的模仿学习方法”对时间具有依赖性,对时间扰动较为敏感,稳定性较差;“基于行为复制(bc)的方法”的模仿动作局限于示教动作范围内,适应性较差。因此,针对人机协作工具递交作业,为实现高的稳定性,必须要求生成的概率模型针对不同的运动起点和终点都要有好的收敛性,而且面对用户手位置的变化,应能实时生成新的运动轨迹,达到动态轨迹规划的要求。



技术实现要素:

鉴于上述现有方法的不足,本发明的目的在于提供一种基于示教学习的人机协作工具递交系统,该系统中pc上位机能基于示教过程中采集的机械臂末端位置数据,建立示教数据集,生成概率模型,并针对用户手腕位置变化生成新的轨迹概率模型,机械臂在pc上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。

为了解决上述问题,本发明采用的技术方案是:

一种基于示教学习的人机协作工具递交系统,其特征在于:包括

机械臂:具有运动控制功能的多轴机械臂,机械臂在pc上位机的指令下,抓取工具递交给用户;

动作捕捉系统定位点:定位点贴在工具上和用户手上,用于获取其位置,

pc上位机:与机械臂、动作捕捉系统可进行实时通信,pc上位机搭建的控制系统基于ros(robotoperatingsystem)平台。

在上述的一种基于示教学习的人机协作工具递交系统,pc上位机能针对用户手腕位置变化生成新的轨迹概率模型,控制机械臂和人一起完成工具递交任务,达到动态轨迹规划的要求。

一种基于示教学习的人机协作工具递交方法,该方法采用的设备包括机械臂、动捕定位点和pc上位机,其特征在于,包括以下步骤:

步骤1、用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;

步骤2、针对示教数据进行模型训练,生成轨迹概率模型,pc上位机通过逆运动学将轨迹转化为机械臂的关节角度;

步骤3、动作捕捉系统获取工具和用户手的位置;

步骤4、机械臂运动到工具处抓取工具;

步骤5、pc上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求。

在上述的一种基于示教学习的人机协作工具递交方法,步骤2中示教过程包括:

步骤2.1、用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;

步骤2.2、改变工具的摆放位置重复5次①中的操作;

步骤2.3、从工具摆放处拖动机械臂到用户手上完成一次递交示教;

步骤2.4、改变人手的位置重复6次③中的操作,完成所有示教。

在上述的一种基于示教学习的人机协作工具递交方法,步骤3中每次示教过程中采集机械臂末端的位置数据,建立示教数据集其中p为示教轨迹数,维度d=4,包括t,x,y,z,t为时间序列(一条轨迹上点的个数),示教数据还包括每条轨迹起点和终点的坐标系;

针对示教数据进行模型训练,首先将示教轨迹分别变换到起点和终点坐标系进行gmm(高斯混合模型)编码,求取轨迹点的概率分布模型;gmm参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数k根据贝叶斯准则(bayesianinformationcriterion,bic)确定;

将所得gmm模型分别进行gmr(高斯混合回归)回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为

式中分别为ξt,μi,σi切分量输入输出而成,对应关系如下:

计算式如下:

该训练好的模型,针对工具递交中不同的起点和终点能生成对应的轨迹概率分布模型;先把训练得到的起点和终点坐标系gmr模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:

式中对应新的起点和终点坐标系,分别对应训练得到的起点和终点坐标系下t时刻轨迹点的均值和协方差矩阵,μt,σt分别为新生成轨迹点的均值和协方差矩阵,分别为可表示为

针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型;由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。

本发明由于采用以上技术方案,具有以下优点:1、将示教学习应用到机械臂控制中,提高了工作效率,而无需人工编程所需要的相关专业技能和知识,对于初学者来说上手容易。2、能针对用户手腕位置变化生成新的轨迹概率模型,机械臂在pc上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。3、算法通用性好,基于ros系统,便于算法的移植,对于不同机器人的人机协作场景,都具有一定的参考性。

附图说明

图1是本发明人机协作工具递交系统示意图。

图2是本发明系统各部分通信图。

图3示教学习步骤框图。

图4是根据新起点和终点生成的轨迹。

图5是本发明系统流程图。

具体实施方式

下面结合附图来对本发明提供的人机协作工具递交系统进行详细说明,所述是对本发明的解释而不是限定。

本发明为一种基于示教学习的人机协作工具递交系统,用到的设备如图1所示,包含机械臂1,pc上位机2,动捕定位点3、4,所述机械臂1为具有控制功能的多轴机械臂,pc上位机2与机械臂1以及动作捕捉系统通信相连,运行过程中,机械臂1在pc上位机2的指令下运动到动捕点3工具所在处抓取工具再运动到动捕点4人手所在处完成工具递交,所述pc上位机2搭建的控制系统基于ros平台。所述控制系统基于ros平台,包括控制算法节点,利用动作捕捉系统获取动捕定位点3、4位置和控制机械臂1运动的节点。机械臂1、动作捕捉系统和pc上位机连接至同一局域网,各部分通信图如图2所示。机械臂1与pc之间采用modbus通信协议,采用ros中统一的通信接口实现机械臂1状态读取和运动控制。动作捕捉系统vicon采用ethernet协议将数据发送至pc端,在控制算法节点中接收vicon定位点数据和机械臂状态数据,并计算下周期控制指令。

所述机械臂1为ur5e机械臂,有基于ros的驱动程序和功能包,安装完成即可实现对机械臂的运动控制。本实施例中,选择ur5e作为机器人平台,动作捕捉系统选用了viconmotionsystems光学运动捕捉系统,有基于ros的驱动程序,可以在ros中获取定位点的三维位置信息。

所述示教学习可以分为三个部分,如图3所示,包含人工示教,模型学习,自主执行。

所述人工示教过程分为以下几步:

①用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;

②改变工具的摆放位置重复5次①中的操作;

③从工具摆放处拖动机械臂到用户手上完成一次递交示教;

④改变人手的位置重复6次③中的操作,完成所有示教。

每次示教过程中采集机械臂末端的位置数据,建立示教数据集其中p为示教轨迹数,维度d=4,包括t,x,y,z,t为时间序列(一条轨迹上点的个数),示教数据还包括每条轨迹起点和终点的坐标系。

针对示教数据进行模型训练。首先将示教轨迹分别变换到起点和终点坐标系进行gmm编码,求取轨迹点的概率分布模型。gmm参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数k根据贝叶斯准则确定。

将所得gmm模型分别进行gmr回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为

式中分别为ξt,μi,σi切分量输入输出而成,对应关系如下:

计算式如下:

针对工具递交中不同的起点和终点,训练好的模型能生成对应的轨迹概率分布模型。先把训练得到的起点和终点坐标系gmr模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:

式中对应新的起点和终点坐标系,分别对应训练得到的起点和终点坐标系下t时刻轨迹点的均值和协方差矩阵,μt,σt分别为新生成轨迹点的均值和协方差矩阵,分别为可表示为

针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型,如图4所示,这里只显示了轨迹的概率分布中均值位置。由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。

如图5所示是一个人机协作工具递交系统整体流程图:

①用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;

②针对示教数据进行模型训练,生成轨迹概率模型,pc上位机通过逆运动学将轨迹转化为机械臂的关节角度;

③动作捕捉系统获取工具和用户手的位置;

④机械臂运动到工具处抓取工具;

⑤pc上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。


技术特征:

1.一种基于示教学习的人机协作工具递交系统,其特征在于:包括

机械臂:具有运动控制功能的多轴机械臂,机械臂在pc上位机的指令下,抓取工具递交给用户;

动作捕捉系统定位点:定位点贴在工具上和用户手上,用于获取其位置,

pc上位机:与机械臂、动作捕捉系统可进行实时通信,pc上位机搭建的控制系统基于ros(robotoperatingsystem)平台。

2.根据权利要求1所述的一种基于示教学习的人机协作工具递交系统,其特征在于:pc上位机能针对用户手腕位置变化生成新的轨迹概率模型,控制机械臂和人一起完成工具递交任务,达到动态轨迹规划的要求。

3.一种基于示教学习的人机协作工具递交方法,该方法采用的设备包括机械臂、动捕定位点和pc上位机,其特征在于,包括以下步骤:

步骤1、用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;

步骤2、针对示教数据进行模型训练,生成轨迹概率模型,pc上位机通过逆运动学将轨迹转化为机械臂的关节角度;

步骤3、动作捕捉系统获取工具和用户手的位置;

步骤4、机械臂运动到工具处抓取工具;

步骤5、pc上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求。

4.根据权利要求3所述的一种基于示教学习的人机协作工具递交方法,其特征在于,步骤2中示教过程包括:

步骤2.1、用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;

步骤2.2、改变工具的摆放位置重复5次①中的操作;

步骤2.3、从工具摆放处拖动机械臂到用户手上完成一次递交示教;

步骤2.4、改变人手的位置重复6次③中的操作,完成所有示教。

5.根据权利要求3所述的一种基于示教学习的人机协作工具递交方法,其特征在于,步骤3中每次示教过程中采集机械臂末端的位置数据,建立示教数据集其中p为示教轨迹数,维度d=4,包括t,x,y,z,t为时间序列,示教数据还包括每条轨迹起点和终点的坐标系;

针对示教数据进行模型训练,首先将示教轨迹分别变换到起点和终点坐标系进行gmm高斯混合模型编码,求取轨迹点的概率分布模型;gmm参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数k根据贝叶斯准则(bayesianinformationcriterion,bic)确定;

将所得gmm模型分别进行gmr回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为

式中分别为ξt,μi,σi切分量输入输出而成,对应关系如下:

计算式如下:

该训练好的模型,针对工具递交中不同的起点和终点能生成对应的轨迹概率分布模型;先把训练得到的起点和终点坐标系gmr模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:

式中对应新的起点和终点坐标系,分别对应训练得到的起点和终点坐标系下t时刻轨迹点的均值和协方差矩阵,μt,σt分别为新生成轨迹点的均值和协方差矩阵,分别为可表示为

针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型;由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。

技术总结
本发明属于人工智能和机器人控制领域,具体地说涉及一种基于示教学习的人机协作工具递交系统及方法。人机协作工具递交系统包括机械臂、动作捕捉系统定位点、PC上位机。机械臂为具有运动控制功能的多轴机械臂,动作捕捉系统定位点贴在工具上和用户手上,使用动作捕捉系统获取定位点位置,从而获取工具和人手的位置,PC上位机与机械臂可进行实时通信。本发明搭建了人机协作工具递交系统,PC上位机基于示教过程中采集的机械臂末端位置数据,建立示教数据集,生成轨迹概率模型,并针对用户手腕位置变化生成新的轨迹概率模型,机械臂在PC上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。

技术研发人员:肖晓晖;谢啸;汤自林
受保护的技术使用者:武汉大学
技术研发日:2020.01.31
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-37064.html

最新回复(0)