一种基于视觉定位的机械臂智能控制方法及系统与流程

专利2025-11-27  3


本发明涉及机械智能控制,具体为一种基于视觉定位的机械臂智能控制方法及系统。


背景技术:

1、随着工业自动化和智能制造技术的不断发展,机械臂的智能控制系统得到了广泛的应用。机械臂智能控制系统的核心在于实现机械臂对特定目标物体的精准定位和操作。传统的机械臂控制系统通常依赖于预设的轨迹和固定的任务流程,但在复杂多变的工作环境中,这种方式往往难以满足灵活性的需求,现代智能控制系统引入了视觉定位技术,使机械臂能够实时感知环境并灵活调整动作,以完成多样化的任务。

2、在申请公布号为cn111702755a的中国发明申请中,公开了一种基于多目立体视觉的机械臂智能控制系统,包括机械手,及与机械手信号连接的机械手控制器;在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元,双目摄像机图像采集单元通过数据线与上位机连接;双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法,实现对目标物体的三维重建,完成目标物体的粗定位,并采用5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划;所述的机械手的夹爪处安装有单目摄像机图像采集单元,其随机械臂移动获取图像;单目摄像机图像采集单元通过无线传输模块与上位机互相通信,单目摄像机图像采集单元采用基于surf的模板匹配法进行目标物体精确定位。

3、结合现有技术,以上申请还存在以下不足:

4、该机械臂控制系统路径规划算法虽然可以有效地计算出机械臂的运动路径,但在实际应用中仍存在一些不足之处,在大规模或复杂环境下的搜索效率较低,容易陷入局部最优解,无法快速找到全局最优路径。此外,路径规划结果还需结合机械臂的实际运动特性进行优化,以确保路径的平滑性和运动的稳定性,当前的优化方法大多依赖于经验和启发式规则,缺乏系统性和自动化程度。


技术实现思路

1、针对现有技术的不足,本发明提供了一种基于视觉定位的机械臂智能控制方法及系统,解决了背景技术中提到的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:包括视觉采集模块、目标识别模块、路径规划模块、路径优化模块和机械臂运动控制算法模块;

3、所述视觉采集模块通过使用视觉传感器对机械臂和定位目标进行视觉监测,根据视觉传感器数据将工作环境离散化为栅格,进行构建栅格地图模型,并对机械臂和定位目标图像进行初步处理;

4、所述目标识别模块用于利用sift算法对图像中的特征进行特征提取,特征提取后通过模板匹配算法获取特征匹配结果r(x,y,z)寻找匹配位置,再使用近邻算法进行计算两组特征向量之间的相似程度,评估特征向量之间的匹配程度jd(j1,m1);

5、所述路径规划模块用于依据所构建的工作环境栅格地图模型,使用dijkstra路径规划算法计算获取路径d(v),在栅格地图模型中搜索路径,并进行路径评估;

6、所述路径优化模块用于在dijkstra算法基础上引入启发函数,对初步规划的路径d(v)进行优化,优化路径搜索效率;

7、所述机械臂运动控制算法模块用于将路径规划结果转换为机械臂的运动轨迹,计算机械臂末端执行器到达目标位置所需的关节角度q,驱动机械臂执行运动。

8、优选的,所述视觉采集模块包括图像采集单元和图像预处理单元;

9、所述图像采集单元用于采用高速摄像机作为视觉传感器,安装在机械臂和工作区域内,用于捕捉机械臂和目标物体的图像,从高速摄像机获取连续的图像帧,将高速摄像机坐标系转换为世界坐标系,再将平面工作区域划分为网格,三维工作空间划分为立方体单元,并根据工作环境的坐标范围划分多个栅格单元,最后将高速摄像机采集到的机械臂和目标物体点映射到相应的栅格单元,进行构建栅格地图模型;

10、所述图像预处理单元用于对所采集到的机械臂和目标物体的图像进行预处理,所述预处理的方式包括图像去噪、图像增强和边缘检测。

11、优选的,所述目标识别模块包括模板匹配单元、特征检测与匹配单元和匹配评估单元;

12、所述匹配单元用于利用算法sift提取图像中的关键特征点,所述关键特征点包括机械臂和目标物体在图像中的坐标(x,y,z)、机械臂和目标物体的特征尺度、机械臂和目标物体的主方向和机械臂和目标物体的周围局部区域的高维向量描述符,再通过预先存储的模板特征与图像中的特征进行匹配,在图像中定位目标物体,对每个模板特征位置计算图像块与模板特征的差异平方和,获取特征匹配结果r(x,y,z);

13、所述特征匹配结果r(x,y,z)通过以下模板匹配公式获取;

14、;

15、特征匹配结果r(x,y,z)结果最小的位置坐标(x,y,z)即为模板特征匹配成功,并输出最佳匹配位置(x,y,z);

16、式中,r(x,y,z)表示模版t在图像i中以坐标(x,y,z)为左上角的区域的匹配结果,t表示预设的模板特征向量,i表示机械臂和目标物体的图像数据,i表示行坐标,j表示列坐标。

17、优选的,所述特征检测与匹配单元用于再对特征匹配结果r(x,y,z)匹配完成后,通过近邻算法计算机械臂图像中的特征向量到定位目标中的特征向量之间的相似程度,获取匹配程度jd(j1,m1);

18、所述匹配程度jd(j1,m1)通过以下算法公式获取;

19、;

20、式中,jd(j1,m1)表示机械臂图像特征向量j1和定位目标m1之间的匹配程度,jli表示j1中的第i个特征向量,mlj表示m1中的第j个特征向量。

21、优选的,所述匹配评估单元用于对匹配程度jd(j1,m1)所输出的结果进行预设相似度阈值p,进行对比评估分析机械臂图像特征向量j1和定位目标m1之间的匹配程度之间的相似程度,具体评估方案如下;

22、当匹配程度jd(j1,m1)<相似度阈值p时,表示机械臂图像特征向量j1和定位目标m1之间的匹配正常,此时则进一步进行路径优化;

23、当匹配程度jd(j1,m1)≥相似度阈值p时,表示机械臂图像特征向量j1和定位目标m1之间的匹配异常,对图像的特征提取进行参数优化,重新提取机械臂图像特征向量j1和定位目标m1,进行特征向量匹配分析。

24、优选的,所述路径规划模块包括路径规划算法单元和路径评估单元;

25、所述路径规划算法单元根据视觉传感器数据构建的栅格地图模型,使用路径规划算法dijkstra在栅格地图模型中搜索机械臂的运动路径,获取路径d(v);

26、所述路径d(v)通过以下算法公式获取;

27、;

28、式中,u表示与节点v相邻的节点,neighbors(v)表示节点v的所有邻居节点的集合,d(u)表示从起点节点到节点u的路径距离,w(u,v)表示从节点u到节点v的边的权重。

29、优选的,所述路径评估单元用于预设路径评估阈值l与所获取的路径d(v)进行对比评估,分析当前机械臂的移动路径的智能度,具体评估方案如下;

30、当路径(v)>路径评估阈值l时,表示从起点到节点v的路径距离存在异常,此时则进一步进行路径优化;

31、当路径(v)=路径评估阈值l时,表示从起点到节点v的路径距离正常;

32、当路径(v)<路径评估阈值l时,表示从起点到节点v的路径距离存在异常,此时则进一步进行路径优化。

33、优选的,所述路径优化模块用于在分析出当前机械臂的路径距离存在异常时,在dijkstra算法基础上引入启发函数,用于评估从起点通过节点v到目标节点的总路径成本,输出的结果节点f(v);

34、所述节点f(v)通过以下算法公式获取;

35、;

36、式中,表示节点无限小,越有可能在最优路径上,扩展优先级越高,g(v)表示已知路径成本,表示从起点到当前节点的实际累积成本,这部分是已知的,并且在算法的搜索过程中不断更新,h(v)表示启发函数,表示从当前节点到目标节点的估计成本,这个估计值用于指导搜索方向,使得算法更高效地找到目标节点。

37、优选的,所述机械臂运动控制算法模块用于算机械臂末端执行器到达目标位置所需的关节角度q,通过使用路径规划算法生成从起点到目标位置的路径d(v)获取目标物体坐标(x,y,z),并对路径d(v)进行路径优化,对路径上的每个中间位置,使用逆运动学求解对应的关节角度q,再将计算得到的关节角度向量q转换为控制指令,驱动机械臂运动;

38、所述关节角度q通过以下算法公式获取;

39、;

40、式中,ik表示逆运动学函数,通过求解逆运动学方程来确定各个关节的角度。

41、一种基于视觉定位的机械臂智能控制方法,包括以下步骤:

42、s1、使用高速摄像机作为视觉传感器,对机械臂和定位目标进行视觉监测,将高速摄像机获取的图像帧转换为世界坐标系,并划分工作区域为网格,构建栅格地图模型,图像预处理包括图像去噪、图像增强和边缘检测;

43、s2、利用sift算法提取图像中的关键特征点,通过预存的模板特征与图像中的特征进行匹配,计算特征匹配结果r(x,y,z),再对机械臂和定位目标特征向量匹配成功后,计算机械臂图像中的特征向量到定位目标中的特征向量之间的相似程度,获取匹配程度jd(j1,m1);

44、s3、根据栅格地图模型,使用dijkstra算法计算机械臂的运动路径d(v),对路径进行初步评估,评估路径d(v)的合理性;

45、s4、在dijkstra算法的基础上引入启发函数,优化路径搜索效率,计算从起点通过节点v到目标节点的总路径成本f(v);

46、s5、将路径规划结果转换为机械臂的运动轨迹,计算机械臂末端执行器到达目标位置所需的关节角度q,将关节角度向量q转换为控制指令,驱动机械臂执行运动。

47、本发明提供了一种基于视觉定位的机械臂智能控制方法及系统。具备以下有益效果:

48、(1)该系统通过视觉传感器对机械臂和定位目标进行实时监测。采用高速摄像机作为视觉传感器,安装在机械臂及其作业区域内,捕捉机械臂和目标物体的图像。获取的图像通过高速摄像机坐标系转换为世界坐标系,划分为网格,并根据工作环境的坐标范围划分多个栅格单元,构建栅格地图模型,在对采集到的机械臂和目标物体的图像进行去噪、图像增强和边缘检测等预处理操作。然后,目标识别模块利用sift算法对图像中的关键特征点进行特征提取,通过预先存储的模板特征与图像中的特征进行匹配,计算图像块与模板特征的差异平方和,获取特征匹配结果r(x,y,z),通过预设相似度阈值p对匹配程度jd(j1,m1)进行评估分析。当匹配程度jd(j1,m1)小于相似度阈值p时,表示匹配正常,系统进一步进行路径优化;否则表示匹配异常,需重新提取特征进行匹配分析。通过上述过程,系统确保机械臂能够准确定位和识别目标,提高了操作的精度和效率。

49、(2)该系统使用dijkstra路径规划算法在栅格地图模型中搜索并评估路径,同时引入启发函数优化路径搜索效率。系统通过计算最短路径并进行路径评估和优化,提高了机械臂的路径规划效率和准确性,确保机械臂能够以最短的路径到达目标位置,减少了运动时间和能源消耗。

50、(3)该系统将路径规划结果转换为机械臂的运动轨迹,通过逆运动学求解每个中间位置的关节角度q,驱动机械臂执行运动。结合路径规划和运动控制算法,使机械臂能够智能、平稳地移动到目标位置,提升了操作的灵活性和精确度。


技术特征:

1.一种基于视觉定位的机械臂智能控制系统,其特征在于:包括视觉采集模块、目标识别模块、路径规划模块、路径优化模块和机械臂运动控制算法模块;

2.根据权利要求1所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述视觉采集模块包括图像采集单元和图像预处理单元;

3.根据权利要求2所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述目标识别模块包括模板匹配单元、特征检测与匹配单元和匹配评估单元;

4.根据权利要求3所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述特征检测与匹配单元用于在对特征匹配结果r(x,y,z)匹配完成后,通过近邻算法计算机械臂图像中的特征向量到定位目标中的特征向量之间的相似程度,获取匹配程度jd(j1,m1);

5.根据权利要求4所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述匹配评估单元用于对匹配程度jd(j1,m1)所输出的结果进行预设相似度阈值p,进行对比评估分析机械臂图像特征向量j1和定位目标m1之间的匹配程度之间的相似程度,具体评估方案如下;

6.根据权利要求1所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述路径规划模块包括路径规划算法单元和路径评估单元;

7.根据权利要求6所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述路径评估单元用于预设路径评估阈值l与所获取的路径d(v)进行对比评估,分析当前机械臂的移动路径的智能度,具体评估方案如下;

8.根据权利要求7所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述路径优化模块用于在分析出当前机械臂的路径距离存在异常时,在dijkstra算法基础上引入启发函数,用于评估从起点通过节点v到目标节点的总路径成本,输出的结果节点f(v);

9.根据权利要求8所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:所述机械臂运动控制算法模块用于算机械臂末端执行器到达目标位置所需的关节角度q,通过使用路径规划算法生成从起点到目标位置的路径d(v)获取目标物体坐标(x,y,z),并对路径d(v)进行路径优化,对路径上的每个中间位置,使用逆运动学求解对应的关节角度q,再将计算得到的关节角度向量q转换为控制指令,驱动机械臂运动;

10.一种基于视觉定位的机械臂智能控制方法,包括上述权利要求1~9任一项所述的一种基于视觉定位的机械臂智能控制系统,其特征在于:包括以下步骤:


技术总结
本发明公开了一种基于视觉定位的机械臂智能控制方法及系统,涉及机械智能控制技术领域,该系统通过视觉传感器对机械臂和定位目标进行实时监测,捕捉机械臂和目标物体的图像。获取的图像通过高速摄像机坐标系转换为世界坐标系,划分为网格,并根据工作环境的坐标范围划分多个栅格单元,构建栅格地图模型,在对采集到的机械臂和目标物体的图像进行预处理操作。目标识别模块利用SIFT算法对图像中的关键特征点进行特征提取,通过预先存储的模板特征与图像中的特征进行匹配,获取特征匹配结果进行评估分析,再匹配正常后系统进一步进行路径优化。通过上述过程,系统确保机械臂能够准确定位和识别目标,提高了操作的精度和效率。

技术研发人员:许政博,罗鸿思,陈杰
受保护的技术使用者:深圳市亚博智能科技有限公司
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-435612.html

最新回复(0)