一种基于毫米波雷达和视觉融合的目标监测装置及方法与流程

专利2026-10-05  2


本发明属于无人驾驶,具体涉及一种基于毫米波雷达和视觉融合的目标监测装置及方法。


背景技术:

1、近年来随着科技不断进步,各行各业都在进行产业升级技术革新,越来越多的矿山都在积极推动智慧化矿山建设。无人运输作为智慧矿山很重要的一环,目前处于高速发展状态,面对矿山复杂的运输环境,无人驾驶技术不断突破,但同时也会面临诸多问题,砂石矿山所有车辆都会集中在破碎站进行卸料作业,时常会发生大块物料卡住矿卡货箱,如果车辆继续升斗的话会有车辆倾覆的风险,造成严重安全事故,因此在自卸矿站增加一种货箱检测装置实时监测货箱是否有大块物具有重大意义,然而由于矿山环境恶劣、矿用自动驾驶自卸卡车运行工况复杂,破碎口灰尘和震动较大,大多数数据采集器无法适应矿山环境,因此需要设计一种远程监测矿卡车货箱大块物的检测装置及方法解决上述问题。


技术实现思路

1、本发明的目的在于克服现有技术的缺陷,提供一种基于毫米波雷达和视觉融合的目标检测装置及方法。

2、本发明提供了一种基于毫米波雷达和视觉融合的目标监测方法,具体包括以下步骤:

3、步骤s1,通过毫米波雷达对监控区域内的检测目标进行检测;

4、通过摄像头对检测目标进行图像检测识别;

5、步骤s2,对摄像头和毫米波雷达进行坐标转换处理,将毫米波雷达和摄像头视场角中心坐标偏移到重叠位置;通过融合算法将摄像头输出的检测目标的图像的左边界角度和检测目标的图像的右边界角度对应到毫米波雷达输出的同角度下的检测目标信息,最终准确的获取物料信息的位置和类型。

6、进一步,所述步骤s1中,通过毫米波雷达对监控区域内的检测目标进行检测,具体包括:从毫米波雷达获取每一帧的点云信息,将每10帧毫米波点云增量进行拼接,得到稠密的毫米波点云,再对稠密的毫米波点云进行聚类,对聚类结果进行筛选,将在监控区域内的检测目标的毫米波点云信息进行输出。

7、进一步,所述步骤s1中,通过摄像头对检测目标进行图像检测识别,具体包括:通过摄像头将拍摄到的每一帧画面进行聚类处理,将检测目标的图像在画面中所占像素点左侧界角度与右侧界角度聚类输出,输出结果包括输出帧数据中检测目标的图像数量、检测目标的图像的左边界角度和检测目标的右图像的边界角度信息。

8、进一步,在所述步骤s2中,所述摄像头和毫米波雷达坐标转换处理,具体包括:通过测量摄像头和毫米波雷达中心位置距离,将摄像头和毫米波雷达的xy平面坐标系坐标原点偏移到同一点上及对毫米波雷达和摄像头内参纠正,进行摄像头和毫米波雷达坐标转换处理。

9、进一步,通过融合算法将摄像头输出的检测目标的图像的左边界角度和检测目标的图像的右边界角度对应到毫米波雷达输出的同角度下的检测目标信息,最终准确的获取物料信息的位置和类型,具体包括以下步骤:

10、步骤s2.1,通过毫米波雷达获取毫米波点云检测目标,计算在毫米波坐标系下每个毫米波输出的检测目标信息相对毫米波坐标系原点的角度值;

11、步骤s2.2,通过摄像头获取目标图像,计算摄像头坐标系下输出的每个检测目标图像的左上角和右下角相对于检测目标图像最下面的边的中点的角度值;

12、步骤s2.3,通过摄像头输出的角度范围对毫米波雷达进行角度筛选;

13、步骤s2.4,将与摄像头识别的检测目标图像中心点的角度最接近的毫米波点作为置信度最高的点输出;

14、步骤s2.5,若满足上步骤s2.4,在摄像头识别的检测目标图像中心的角度下存在多个角度值毫米波点,将深度信息最近的点作为置信度最高的点进行输出,输出毫米波作为摄像头识别的检测目标图像和毫米波检测的检测目标信息融合后输出的障碍物结果;

15、步骤s2.6,输出障碍物类别、距离、相对速度、强度值。

16、一基于毫米波雷达和视觉融合的目标监测方法的装置,该装置包括毫米波雷达和摄像头;

17、所述毫米波雷达和摄像头均与中央处理器连接,所述中央处理器通过网络基站与云端服务器连接,用于进行远程监测无人矿卡货箱中大块物料目标。

18、进一步,该装置还包括报警装置,所述中央处理器通过报警装置与云端服务器连接。

19、与现有技术相比,本发明的有益效果在于:

20、本发明监测方法通过毫米波雷达对矿卡货箱物料体积点云进行处理计算,通过摄像头对矿卡货箱大块物进行检测识别,对摄像头和毫米波雷达进行坐标转换处理,将毫米波雷达和摄像头视场角中心坐标偏移到重叠位置;通过融合算法将摄像头输出的大块物左边界角度、右边界角度对应到毫米波雷达输出的同角度下的货箱物料信息,得到货箱物料的准确信息,实现远程对无人车中物料目标检测,该方法计算量小,鲁棒性好,能够有效解决无人驾驶矿卡卸料时对货箱大块物料进行检测问题。



技术特征:

1.一种基于毫米波雷达和视觉融合的目标监测方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的一种基于毫米波雷达和视觉融合的目标监测方法,其特征在于,所述步骤s1中,通过毫米波雷达对监控区域内的检测目标进行检测,具体包括:

3.根据权利要求1所述的一种基于毫米波雷达和视觉融合的目标监测方法,其特征在于,所述步骤s1中,通过摄像头对检测目标进行图像检测识别,具体包括:

4.根据权利要求1所述的一种基于毫米波雷达和视觉融合的目标监测方法,其特征在于,

5.根据权利要求1所述的一种基于毫米波雷达和视觉融合的目标监测方法,其特征在于,

6.一种采用所述权利要求1-5中任一基于毫米波雷达和视觉融合的目标监测方法的装置,其特征在于,该装置包括毫米波雷达和摄像头;

7.根据权利要求6所述的一种基于毫米波雷达和视觉融合的目标监测装置,其特征在于,该装置还包括报警装置,所述中央处理器通过报警装置与云端服务器连接。


技术总结
本发明属于无人驾驶技术领域,具体涉及一种基于毫米波雷达和视觉融合的目标监测装置及方法,其中,该监测方法具体包括以下步骤:步骤S1,通过毫米波雷达对监控区域内的检测目标进行检测;通过摄像头对检测目标进行图像检测识别;步骤S2,对摄像头和毫米波雷达进行坐标转换处理,将毫米波雷达和摄像头视场角中心坐标偏移到重叠位置;通过融合算法将摄像头输出的检测目标的图像的左边界角度和检测目标的图像的右边界角度对应到毫米波雷达输出的同角度下的检测目标信息,最终准确的获取物料信息的位置和类型;本发明监测方法计算量小,鲁棒性好,能够有效解决无人驾驶矿卡卸料时对货箱大块物料进行监测问题。

技术研发人员:祝河杰,毛晶,付明宇,郭迪,孙利民
受保护的技术使用者:西安优迈智慧矿山研究院有限公司
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-445942.html

最新回复(0)