1.本公开通常涉及识别物体中的缺陷，更具体地，涉及一种用于识别铁路环境物体的潜在缺陷的系统及方法。
背景技术：2.传统上，铁路检查员(railroad inspector)检查铁路是否存在不安全状况，并建议采取措施纠正不安全状况。例如，铁路检查员可能会遇到弯曲的铁路轨道，并向铁路公司报告弯曲的铁路轨道。作为对收到报告的回应，铁路公司可能会采取行动修复弯曲的铁路轨道。然而，可能无法及时执行纠正措施，以防止发生火车脱轨等事故。
技术实现要素：3.本发明的方面在独立权利要求中阐述，并且优选特征在从属权利要求中阐述。一个方面的特征可以单独或与其他方面结合应用于任何方面。
4.根据一实施例，一种方法包括通过机器视觉装置捕获铁路环境中物体的图像的步骤。机器视觉装置附接到沿铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢。方法还包括通过机器视觉装置使用一个或多个机器视觉算法分析物体的图像以确定与物体相关联的值的方法。方法还包括通过机器视觉装置确定与物体相关联的值指示物体的潜在缺陷以及通过机器视觉装置向第一火车车厢外部的组件传达警报的步骤。警报包括物体的潜在缺陷的指示。
5.在特定实施例中，物体的潜在缺陷是以下之一：第二铁路轨道的轨道错位；道口警报装置的故障；第二铁路轨道的视线受阻；所述物体的损坏；以及所述物体的错位。在一些实施例中，铁路环境的第一铁路轨道与铁路环境的第二铁路轨道相邻，第一火车车厢外部的组件附接到沿第二铁路轨道在第二方向上移动的第二火车车厢，并且警报指示第二火车车厢执行操作。在特定实施例中，第一火车车厢外部的组件是位于网络操作中心内的装置。
6.在一些实施例中，警报还包括以下中的至少一种：物体的描述；潜在缺陷的描述；物体的图像；物体的位置；第一火车车厢的机器视觉装置捕获到物体的时间；第一火车车厢的机器视觉装置捕获到物体的日期；第一火车车厢的标识；第一火车车厢的第一方向的指示；以及调度在预定时间内通过铁路环境的一辆或多辆火车车厢的指示。在特定实施例中，机器视觉装置捕获物体的图像，并在不到十秒钟的时间内将警报传达到第一火车车厢外部的组件。机器视觉装置可以安装在第一火车车厢的前挡风玻璃上。
7.根据另一实施例，系统包括一个或多个处理器和存储指令的存储器，当所述指令由一个或多个处理器执行时，使一个或多个处理器执行包括以下步骤的操作：通过机器视觉装置捕获铁路环境中物体的图像，其中机器视觉装置附接到沿铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢。操作还包括使用一个或多个机器视觉算法分析物体的图像以确定与物体相关联的值的步骤。操作还包括确定与物体相关联的值指示物体的潜在缺陷以及向第一火车车厢外部的组件传达警报的步骤。警报包括物体的潜在缺陷的指示。
8.根据又另一实施例，一种或多种计算机可读存储介质，其包含指令，当所述指令由处理器执行时，使处理器执行包括以下步骤的操作：通过机器视觉装置捕获铁路环境中物体的图像，其中机器视觉装置附接到沿铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢。操作还包括使用一个或多个机器视觉算法分析物体的所述图像以确定与物体相关联的值的步骤。操作还包括确定与物体相关联的值指示物体的潜在缺陷以及向第一火车车厢外部的组件传达警报的步骤。警报包括物体的潜在缺陷的指示。
9.本公开的特定实施例的技术优势可以包括以下一项或多项。本文描述的某些系统和方法包括机器视觉装置，该装置分析铁路环境的安全关键方面，例如轨道错位、故障警报装置、铁路轨道的视线受阻、铁路轨道附近的行人和冲刷。在特定实施例中，机器视觉装置实时检测并报告铁路环境中的潜在缺陷，这可导致立即采取纠正措施并减少/预防事故。在一些实施例中，机器视觉装置自动检测铁路环境中的缺陷，这可以降低成本和/或与现场检查员相关的安全隐患。
10.从以下附图、描述和权利要求中，其他技术优势对于本领域技术人员来说将显而易见。此外，虽然上面列举了具体的优势，但各种实施例可以包括所有、一些优势或不包括所列举的优势。
附图说明
11.为了帮助理解本公开，现在参考以下结合附图的描述，其中：
12.图1示出用于识别铁路环境物体的潜在缺陷的示例系统；
13.图2示出可由图1的系统的机器视觉装置生成的示例性前向图像；
14.图3示出可由图1的系统的机器视觉装置生成的示例性后向图像；
15.图4示出用于识别铁路环境物体的潜在缺陷的示例方法；以及
16.图5示出可由本文描述的系统和方法使用的示例计算机系统。
具体实施方式
17.图1至图5示出用于识别铁路环境物体的潜在缺陷的示例系统及方法。图1示出用于识别铁路环境物体的潜在缺陷的示例系统。图2示出可由图1的系统的机器视觉装置生成的示例性前向图像，图3示出可由图1的系统的机器视觉装置生成的示例性后向图像。图4示出用于识别铁路环境物体的潜在缺陷的示例方法。图5示出可由本文描述的系统和方法使用的示例计算机系统。
18.图1示出用于识别铁路环境物体的潜在缺陷的示例系统100。图1的系统100包括网络110、铁路环境120、铁路轨道130(即铁路轨道130a和铁路轨道130b)、火车车厢140(即火车车厢140a和火车车厢140b)、机器视觉装置150(即机器视觉装置150a和机器视觉装置150mb)、网络操作中心180和用户设备(ue)190。系统100或其部分可以与实体相关联，该实体可以包括任何实体，例如企业、公司(例如，铁路公司、运输公司等)或政府机构(例如，交通部门、公共安全部门等)，这些实体可以识别铁路环境物体中的潜在缺陷。虽然图1所示的实施例与铁路系统相关联，但系统100可以与任何合适的运输系统相关联(例如，车辆/道路、船只/水路等)。系统100的元件可以使用硬件、固件和软件的任何适当组合来实现。例如，系统100的一个或多个组件可以使用图5的一个或者多个组件。
19.系统100的网络110可以是促进系统100的组件之间的通信的任何类型的网络。例如，网络110可以将机器视觉装置150a连接到系统100的机器视觉装置150b。作为另一示例，网络110可以将机器视觉装置150连接到系统100的网络操作中心180的ue 190。网络110的一个或多个部分可以包括自组织网络、内部网、外部网、虚拟专用网(vpn)、局域网(lan)、无线局域网(wlan)、广域网(wan)、无线广域网(wwan)、城域网(man)、互联网的一部分、公共交换电话网(pstn)的一部分，蜂窝电话网络、3g网络、4g网络、5g网络、长期演进(lte)蜂窝网络、其中两个或多个的组合或其他合适类型的网络。网络110的一个或多个部分可以包括一个或多个接入(例如，移动接入)、核心和/或边缘网络。网络110可以是任何通信网络，例如专用网络、公共网络、通过互联网的连接、移动网络、wi-fi网络、蓝牙网络等。网络110可以包括云计算能力。系统100的一个或多个组件可以通过网络110通信。例如，机器视觉装置150可以通过网络100通信，包括向网络操作中心180的ue 190发送信息(例如，潜在缺陷)和/或从网络操作中心18的ue 190接收信息(例如，确认的缺陷)。
20.系统100的铁路环境120是包括一条或多条铁路轨道130的区域。铁路环境120可以与分区(division)和/或细分(subdivision)相关联。该分区是铁路主管监督下的部分。细分是细分的较小部分。分区可以是员工区和/或支线(branch line)。在图1所示的实施例中，铁路环境120包括铁路轨道130、火车车厢140和机器视觉装置150。
21.系统100的铁路轨道130是允许火车车厢140通过为火车车厢140的车轮滚动提供表面而移动的结构。在特定实施例中，铁路轨道130包括钢轨、紧固件、铁路枕木、道碴等。火车车厢140是在铁路运输系统上运载货物和/或乘客的车辆。在特定实施例中，火车车厢140耦合在一起形成火车。火车车厢140可以包括机车、客车、货车、棚车、平车、油罐车等。
22.在图1所示的实施例中，火车车厢140包括火车车厢140a和火车车厢140b。火车车厢140a沿铁路轨道130a在行驶方向160a上移动。火车车厢140b沿铁路轨道130b在行驶方向160b上移动。在一些实施例中，铁路环境120的铁路轨道130a与铁路环境120的铁路轨道130b相邻(例如，平行)。在一些实施例中，行驶方向160a与行驶方向160b相反。例如，行驶方向160a可以是南行，而行驶方向160b可以是北行。作为另一示例，行驶方向160a可以是东行，而行驶方向60b可以是西行。
23.系统100的机器视觉装置150是自动捕获、检查、评估和/或处理静止或移动图像的组件。机器视觉装置150可以包括一个或多个相机、镜头、传感器、光学元件、照明元件等。在特定实施例中，机器视觉装置150实时或接近实时地执行一个或多个动作。例如，火车车厢140a的机器视觉装置150a可以捕获铁路环境120的物体(例如，铁路轨道130b)的图像，并在少于预定量的时间内(例如，一秒、五秒或十秒)将指示潜在缺陷(例如，轨道错位170)的警报传送到火车车厢140a的外部的组件(例如，机器视觉装置150b或网络操作中心180的ue 190)。
24.在特定实施例中，机器视觉装置150包括一个或多个相机，其自动捕获系统100的铁路环境120的图像。当火车车厢140沿铁路轨道130移动时，机器视觉装置150可以自动捕获静止或移动图像。机器视觉装置150可以自动捕获任何合适数量的静止或移动的图像。例如，机器视觉装置150可以每秒、每分钟、每小时等自动捕获预定数量的图像。在特定实施例中，机器视觉装置150自动捕获足够数量的图像，以捕获预定区域(例如，分区或细分)内的铁路轨道130的整个长度。
25.系统100的机器视觉装置150a附接到火车车厢140a。机器视觉装置150a可以附接到火车车厢140a的任何合适位置，以提供铁路轨道130a的清晰视野。例如，机器视觉装置150a可以附接到火车车厢140a的前端(例如，前挡风玻璃)，以提供火车轨道130a的前向视图。作为另一示例，机器视觉装置150a可以附接到火车车厢140a的后端(例如，后挡风玻璃)，以提供铁路轨道130a的后向视图。在特定实施例中，当火车车厢140a沿铁路轨道130a在行驶方向160a上移动时，机器视觉装置150a捕获铁路环境120的图像。
26.系统100的机器视觉装置150b附接到火车车厢140b。机器视觉装置150b可以附接到火车车厢140b的任何合适位置，以提供铁路轨道130b的清晰视野。例如，机器视觉装置150b可以附接到火车车厢140b的前端(例如，前挡风玻璃)，以提供铁路轨道130b的前向视图。作为另一示例，机器视觉装置150b可以附接到火车车厢140b的后端(例如，后挡风玻璃)，以提供铁路轨道130b的后向视图。在特定实施例中，当火车车厢140b沿铁路轨道130b在行驶方向160b上移动时，机器视觉装置150b捕获铁路环境120的图像。
27.机器视觉装置150可以检查所捕获的图像中是否有物体。物体可以包括铁路轨道130、杂物172(例如，碎石、残骸、废墟、废弃物、垃圾、灌木等)、行人174(例如，闯入者)、动物、植被、压舱物等。在一些实施例中，机器视觉装置150可以使用机器视觉算法来分析图像中的物体。机器视觉算法可以识别图像中的物体，并使用图像处理技术和/或模式识别技术对物体进行分类。
28.在特定实施例中，机器视觉装置150使用机器视觉算法来分析图像中的物体是否存在异常。异常是指物体与公认标准相比存在偏差。异常可以包括一个或多个铁路轨道130)(例如，铁路轨道130b的轨道错位170)的轨道错位(例如，弯曲、翘曲、扭曲或偏移轨道)、位于一条或多条铁路轨道130上或在一条或多条铁路轨道130的预定距离内的超过预定尺寸的杂物172、位于铁路轨道130上或在铁路轨道130的预定距离内的行人174(例如，闯入者)、道口警报装置故障、铁路轨道130的视野受阻、物体损坏(例如，一条或多条铁路轨道130的支撑面被冲蚀)、物体错位等。
29.在一些实施例中，机器视觉装置150可以确定与物体相关联的值，并将该值与预定阈值(例如，预定的可接受的值)进行比较，以确定物体是否存在异常。例如，机器视觉装置150可以确定图1中铁路轨道130b的轨道错位170延伸了三米，并将该值与一米的可接受的轨道错位值进行比较，以确定轨道错位170存在异常。作为另一示例，机器视觉装置150可以确定图1中的杂物172位于铁路轨道130b上，并将该值与距离铁路轨道130b三米以上的杂物172的可接受值进行比较，以确定杂物172存在异常。作为另一示例，机器视觉装置150可以确定图1中的行人174位于铁路轨道130b上，并将该值与距离铁路轨道130b三米以上的行人174的可接受值进行比较，以确定行人174存在异常。在特定实施例中，异常表示物体的潜在缺陷。
30.机器视觉装置150可以向系统100的一个或多个组件发送一个或多个警报。警报可以包括机器视觉装置150确定的异常(例如，缺陷)的指示。在特定实施例中，图1的机器视觉装置150a向图1的机器设备150b发送一个以上的警报。例如，火车车厢140a的机器视觉装置150a可以捕获铁路轨道130b的轨道错位170的图像，确定轨道错位170为异常，并将指示异常的警报发送到火车车厢140b的一个或多个组件(例如，机器视觉装置150b)。该警报可以在火车车厢140b遇到轨道错位170之前，将轨道错位170通知到火车车厢140b的火车工程
师。
31.在特定实施例中，机器视觉装置150生成的警报可以包括以下中的一个或多个：物体的描述(例如，铁路轨道130b)；潜在缺陷的描述(例如，轨道错位170)；物体的图像；物体的位置(例如，全球定位系统(gps)的轨道错位170的铁路轨道130b的位置)；由火车车厢140的机器视觉装置150捕获物体的时间；由火车车厢140的机器视觉装置150捕获物体的日期；火车车厢140的标识(例如，火车车厢140a或火车车厢140b)；火车车厢140的行驶方向160的指示；调度在预定时间内通过铁路环境120的一辆或多辆火车车厢的指示等。在一些实施例中，图1的机器视觉装置150a向网络操作中心180的ue 190发送一个或多个异常。
32.系统100的网络操作中心180是具有一个或多个位置的设施，为管理与运输相关的工作人员提供支持。例如，网络操作中心180可以监控、管理和/或控制火车在州、省等地的移动。网络操作中心180可以包括交通规划技术，以促进与网络操作中心180相关的员工之间的协作。员工可以包括调度员(例如，火车调度员)、支持人员、机组人员、工程师(例如，火车工程师)、团队成员(例如，安全团队成员)、维护规划师、负责人(例如，走廊负责人)、现场检查员等。在特定实施例中，网络操作中心180包括会议室、电视、工作站等。每个工作站可以包括ue 190。
33.系统100的ue 190包括可接收、创建、处理、存储和/或通信信息的任何设备。例如，系统100的ue 190可以从机器视觉装置150接收信息(例如，潜在缺陷)和/或将信息(例如，确认的缺陷)传递到机器视觉装置150。ue 190可以是台式计算机、膝上型计算机、移动电话(例如，智能手机)、平板电脑、个人数字助理、可穿戴式计算机等。ue 190可以包括液晶显示器(lcd)、有机发光二极管(oled)平面屏幕界面、数字按钮、数字键盘、物理按钮、物理键盘、一个或多个触摸屏组件、图形用户界面(gui)等。在图1所示的实施例中，虽然ue 190位于网络操作中心180内，但ue 190的位置可以是任何合适的位置，以便接收信息并将信息传送到系统100的一个或多个组件。例如，网络操作中心120的员工可以在住宅或零售店等位置远程工作，并且ue 190可以位于网络操作中心180的员工的位置。作为另一示例，ue 190可以位于一个或多个火车车厢140中。
34.在操作中，机器视觉装置150a附接到火车车厢140a，并且机器视觉装置150b附接到火车厢140b。火车车厢140a沿铁路轨道130a向南行驶160a。火车车厢140b沿铁路轨道130b沿北行方向160b行驶。火车车厢140a在时间tl进入铁路环境120，并且火车车厢140b被调度在稍后的时间t2(例如，时间tl后10分钟)进入铁路环境120。机器视觉装置150a在时间tl捕获包括铁路轨道130b的铁路环境120的图像。机器视觉装置150a使用一个或多个机器视觉算法分析铁路轨道130b的图像，以确定与铁路轨道130b的对准相关的值。机器视觉装置150a将对准值与预定的可接受的对准值进行比较，并确定对准值超过预定的可接受的对准值。机器视觉装置150a根据比较确定铁路轨道130b存在潜在缺陷。机器视觉装置150a向网络操作中心180的ue 190发送警报，警报包括潜在缺陷的识别和位置。ue 190的用户确认潜在缺陷是实际缺陷，并在火车车厢140b遇到轨道错位170之前，将轨道错位70的识别和位置传达给火车车厢140b的机器视觉装置150b。因此，系统100可用于警告火车在即将到来的铁路环境中的危险状况，这可使火车有足够的时间来启动避免危险情况的行动。
35.尽管图1示出了网络110、铁路环境120、铁路轨道130、火车车厢140、机器视觉装置150、网络操作中心180和ue 190的特定布置，但本公开考虑了网络110、铁路环境120、铁路
轨道130、火车车厢140、机器视觉装置150、网络操作中心180和ue 190的任何合适布置。例如，轨道错位170可以位于铁路轨道130a而不是铁路轨道130b上。作为另一示例，机器视觉装置150a可以位于火车车厢140a的后部，而不是火车车厢140a前部。作为另一示例，杂物172和/或行人174可以位于铁路轨道130a与铁路轨道130b之间。
36.尽管图1示出特定数量的网络110、铁路环境120、铁路轨道130、火车车厢140、机器视觉装置150、网络操作中心180和ue 190，但本公开考虑了任何合适数量的网络110、铁路环境120、铁路轨道130、火车车厢140、机器视觉装置150、网络操作中心180和ue 190。例如，图1可以包括多于或少于两个铁路轨道130和/或多于或少于两个火车车厢140。
37.图2示出了可由图1的系统100的机器视觉装置150b生成的示例性前向图像200。图像200显示特定时刻铁路环境120的概况。图像200包括铁路轨道130a、铁路轨道130b、铁路轨道130b上的轨道错位170、铁路轨道130a与铁路轨道130b之间的杂物172、铁路轨道130b附近的道碴轮廓210的变化以及铁路轨道130b外的植被生长220的结束。在图2所示的实施例中，铁路轨道130a与铁路轨道130b相邻(例如，平行)。
38.在特定实施例中，当火车车厢140b沿着铁路轨道130b在行驶方向160a上移动时，图1的机器视觉装置150b自动捕获图2的图像200。机器视觉装置150b可以将图像200捕获为静止或运动图像。在图2所示的实施例中，机器视觉装置150b附接到火车车厢140b的前挡风玻璃上，以提供铁路轨道130b的清晰的前向视图。
39.在一些实施例中，机器视觉装置150b自动处理图像200，以识别图像200中的一个或多个物体。机器视觉装置50b可以使用机器学习算法和/或机器视觉算法来处理图像200。在特定实施例中，机器视觉装置150b自动实时或接近实时处理图像200。在图2所示的实施例中，识别的物体包括铁路轨道130a、铁路轨道130b、铁路轨道130a与铁路轨道130b之间的杂物172、道碴210以及轨道130b外部的植被220。机器视觉装置150b分析图像200中的物体，以确定图像200是否包括一个或多个异常(例如，缺陷)。
40.在特定实施例中，机器视觉装置150b自动识别图像200中的一个或多个异常。例如，机器视觉装置150b可以捕获铁路轨道130b的图像200，识别图像200的铁路轨道130b中的异常(例如，曲率)，并使用一个或多个算法将异常分类为潜在缺陷(例如，轨道错位170)。作为另一示例，机器视觉装置150b可以捕获杂物172的图像200，识别图像200的杂物172存在的异常情况(例如，杂物172距离铁路轨道130a太近、杂物172阻碍铁路轨道130a视线等)，并使用一种或多种算法将异常情况归类为缺陷(例如，对迎面而来的火车的潜在危险)。
41.在一些实施例中，机器视觉装置150b为图像200生成一个或多个标签。标签表示与图像200相关的信息。例如，机器视觉装置150b可以为图像200生成一个或多个标签，以识别一个或多个物体(例如，铁路轨道130b、杂物172等)。作为另一示例，机器视觉装置150b可以为图像200生成一个或多个标签，用于识别图像200中的一个或多个潜在缺陷(例如，轨道错位170、道碴轮廓210的变化等)。作为另一示例，机器视觉装置150b可以为图像200生成一个或多个标签，为图像200提供附加信息(例如，行驶方向160a、植被生长结束220等)。在一些实施例中，机器视觉装置150b在图像200上叠加一个或多个标签。
42.在特定实施例中，机器视觉装置150b将图像200传送到一个或多个外部组件(例如，图1的网络操作中心180的ue 190)。在一些实施例中，机器视觉装置150b可以在火车车厢140b遇到异常之前识别图像200中的异常(例如，缺陷)。例如，当火车车厢140b接近铁路
轨道130b的轨道错位170时，机器视觉装置150b可以捕获图像200。机器视觉装置150b可以自动确定图像200包括轨道错位170，并警告火车车厢140b的操作员潜在危险。为了响应警报，操作员可以在火车车厢140b遇到轨道错位170之前采取行动(例如，停止或减速与火车车厢140b相关的火车)，这可以防止事故(例如，火车脱轨)。因此，图像200可用于识别铁路环境120中的潜在缺陷，这可增加铁路环境120内的安全操作。
43.尽管图2示出图像200的铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210和植被生长220的特定布置，但本公开考虑了图像200的铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210和植物生长220的任何合适布置。例如，铁路轨道130a和铁路轨道130b可以交换。作为另一示例，杂物172可以位于铁路轨道130a上、铁路轨道130b上或铁路轨道130b附近。
44.尽管图2示出特定数量的图像200、铁路轨道130a、铁路轨道130、轨道错位170、杂物172、道碴轮廓210和植被生长220，但本公开考虑了任何合适数量的图像200、铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210和植被生长220。例如，图2可以包括多于或少于两个铁路轨道。虽然图2的图像200与铁路系统相关联，但图像200可以与任何合适的运输系统相关联(例如，车辆/道路、船只/水路等)。
45.图3示出可由图1的系统100的机器视觉装置150a生成的示例性后向图像300。图像300显示特定时刻铁路环境120的概况。图像300包括铁路轨道130a、铁路轨道130b、轨道错位170、铁路轨道130a与铁路轨道130b之间的杂物172、铁路轨道130b附近的道碴轮廓210的变化以及植被生长的结束220。在图3所示的实施例中，铁路轨道130a与铁路轨道130b相邻(例如，平行)。
46.在特定实施例中，当图1的火车车厢140a沿铁路轨道130a在行驶方向160b上移动时，图1的机器视觉装置150a自动捕获图3的图像300。机器视觉装置150a可以将图像300捕获为静止或运动图像。在特定实施例中，机器视觉装置150a附接到火车车厢140b的后挡风玻璃上，以提供铁路轨道130a和铁路轨道130b的清晰的后向视图。
47.在一些实施例中，机器视觉装置150a自动处理图像300，以识别图像300中的一个或多个物体。机器视觉装置150a可以使用机器学习算法和/或机器视觉算法来处理图像300。在特定实施例中。机器视觉装置150a自动实时或接近实时处理图像300。在图3所示的实施例中，所识别的物体包括铁路轨道130a、铁路轨道130b、铁路轨道130a与铁路轨道130b之间的杂物172、道碴210和植被220。机器视觉装置150a分析图像300中的物体，以确定图像300是否包括一个或多个异常(例如，缺陷)。
48.在特定实施例中，机器视觉装置150a自动识别图像300中的一个或多个异常。例如，机器视觉装置150a可以捕获铁路轨道130b的图像300，识别图像300的铁路轨道130b中的异常(例如，弯曲、变形、翘曲和/或扭曲的轨道)，并使用一个或多个算法将异常分类为缺陷(例如，轨道错位170)。作为另一示例，机器视觉装置150a可以捕获杂物172的图像300，识别图像300中杂物172存在的异常情况(例如，杂物172距离铁路轨道130b太近、杂物172阻碍铁路轨道130b的视线等)，并使用一个或多个算法将异常分类为缺陷(例如，对迎面而来的火车的潜在危险)。
49.在一些实施例中，机器视觉装置150a在图像300上生成一个或多个标签。例如，机器视觉装置150a可以在图像300中生成一个或者多个标签，用于识别一个或多个物体(例
如，铁路轨道130a、铁路轨道130b、杂物172等)。作为另一示例，机器视觉装置150a可以在图像300上生成一个或多个标签，用于识别图像300中的一个或多个潜在缺陷(例如，轨道错位170、道碴轮廓210的变化等)。作为又另一示例，机器视觉装置150a可以在图像300上生成一个或多个标签，为图像300提供附加信息(例如，行驶方向160b、植被生长结束220等)。在一些实施例中，机器视觉装置150b在图像300上叠加一个或多个标签。
50.在特定实施例中，机器视觉装置150a将图像300传送到一个或多个组件(例如，图1的网络操作中心180的ue 190、图1的机器视觉装置150等)。在一些实施例中，机器视觉装置150a可以在其他火车车厢遇到异常之前识别图像300中的异常(例如，缺陷)。例如，当火车车厢140a沿着铁路轨道130a行驶并经过铁路轨道130b的轨道错位170时，机器视觉装置150a可以捕获图像300。机器视觉装置150b可以自动确定图像300包括铁路轨道130b的轨道错位170，并向火车车厢140b的组件(例如，机器视觉装置150b)发送警报。火车车厢140b的操作员可接收指示轨道错位170的潜在危险的警报。作为对警报的响应，操作员可以在火车车厢140b遇到轨道错位270之前采取行动(例如，停止或减速与火车车厢140a相关的火车)，以防发生事故(例如，火车脱轨)。因此，图像300可用于识别铁路环境120中的潜在缺陷，这可增加铁路环境120内的安全操作。
51.尽管图3示出图像300的铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210和植被生长220的特定布置，但本公开考虑了图像300的铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210和植被生长220的任何合适布置。例如，铁路轨道130a和铁路轨道130b可以交换。作为另一示例，杂物172可以位于铁路轨道130a上、铁路轨道130b上或铁路轨道130b附近。
52.尽管图3示出特定数量的图像300、铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210及植被生长220，但本公开考虑了任何合适数量的图像300、铁路轨道130a、铁路轨道130b、轨道错位170、杂物172、道碴轮廓210及植被生长220。例如，图3可以包括多于或少于两个铁路轨道。虽然图3的图像300与铁路系统相关联，但图像300可以与任何合适的运输系统相关联(例如，车辆/道路、船只/水路等)。
53.图4示出用于识别铁路环境物体中潜在缺陷的示例方法400。方法400从步骤405开始。在步骤410中，机器视觉装置(例如，图1的机器视觉装置150a)附接到火车车厢(例如，图1的火车车厢140a)。在特定实施例中，火车车厢位于火车末端，机器视觉装置附接到火车车厢的后挡风玻璃上，以提供铁路轨道(例如，图1中的铁路轨道130a)的清晰后视图。在特定实施例中，机器视觉装置位于火车车厢的后挡风玻璃上，以提供相邻铁路轨道(例如，图1的铁路轨道130b)的清晰后视图。然后，方法400从步骤410移动到步骤420。
54.在方法400的步骤420中，机器视觉装置捕获铁路环境(例如，如图1的铁路环境120)中物体的图像(例如，图3的图像300)。例如，机器视觉装置可以捕获铁路环境中相邻铁路轨道(例如，图1的铁路轨道130b)、杂物(例如，图1的杂物172)和/或行人(例如，图1的行人174)的图像。当火车车厢沿铁路轨道第一方向(例如，图1的行驶方向160a)移动时，机器视觉装置捕获时间tl的图像。然后，方法400从步骤420移动到步骤430。
55.在方法400的步骤430中，机器视觉装置使用一个或多个机器视觉算法分析物体的图像，以确定与物体相关联的值。例如，机器视觉装置可以分析相邻铁路轨道的图像，以确定与相邻铁路轨道相关联的曲率值。作为另一示例，机器视觉装置可以分析杂物的图像，以
确定与杂物相关的尺寸和/或形状值。作为另一示例，机器视觉装置可以分析图像，以确定行人与相邻铁路轨道之间的距离。然后，方法400从步骤430移动到步骤440。
56.在方法400的步骤440中，机器视觉装置将与物体相关联的值与预定阈值进行比较。例如，机器视觉装置可以将与相邻铁路轨道相关的曲率值与预定的曲率阈值进行比较。作为另一示例，机器视觉装置可以将与杂物相关的大小和/或形状值与预定的大小和/或形状阈值进行比较。作为另一示例，机器视觉装置可以将行人与相邻铁路轨道之间的距离与预定的距离阈值进行比较。然后，方法400从步骤440移动到步骤450。
57.在方法400的步骤450中，机器视觉装置确定与物体相关的值与预定阈值的比较是否表明物体的潜在缺陷。在特定实施例中，机器视觉装置可以确定与物体相关联的值超过预定阈值。例如，机器视觉装置可以确定与相邻铁路轨道相关联的曲率值超过预定的曲率阈值。作为另一示例，机器视觉装置可以确定与杂物(debris)相关的尺寸和/或形状值超过预定的尺寸和/或形状阈值。在特定实施例中，机器视觉装置可以确定与物体相关联的值小于预定阈值。例如，机器视觉装置可以确定行人与相邻铁路轨道之间的距离(例如，两英尺)小于预定的阈值距离(例如，五英尺)。
58.如果在步骤450，机器视觉装置确定与物体相关的值与预定阈值的比较不表示物体的潜在缺陷，则方法400从步骤450前进到步骤465，其中方法400结束。如果在步骤450中，机器视觉装置确定与物体相关的值与预定阈值的比较表明物体存在潜在缺陷，则方法400从步骤450移动到步骤460，在步骤460中，机器视觉装置向火车车厢外部的组件发出警报。警报可以包括以下一项或多项：物体的描述；潜在缺陷的描述；物体的所述图像；物体的位置；机器视觉装置捕获到物体的时间；机器视觉装置捕获到物体的日期；火车车厢的标识；火车车厢行驶方向的指示；调度在预定时间内通过铁路环境的一辆或多辆火车车厢的指示等。
59.在特定实施例中，机器视觉装置可以向与网络操作中心(例如，图1的网络操作中心180)相关联的ue(例如，ue 190)发送警报。ue的用户可以确认潜在缺陷表示实际缺陷(例如，安全隐患)，并将潜在缺陷的识别和位置传送到被调度进入包括实际缺陷的铁路环境的火车车厢(例如，图1的火车车厢140b)的一个或多个组件(例如，图1的机器视觉装置150b)。因此，方法400可用于警告火车在即将到来的铁路环境中存在实际缺陷(例如，轨道错位)，这可允许火车在遇到轨道错位之前采取行动，例如停止火车。然后，方法400从步骤460移动到步骤465，其中方法400结束。
60.可以对图4所示的方法400进行修改、添加或省略。方法400可以包括更多、更少或其他步骤。例如，方法400可以包括用于捕获第二物体的图像并分析第二物体图像以确定潜在缺陷的附加步骤。作为另一示例，方法400可以包括一个或多个附加步骤，用于响应于接收到潜在缺陷的警报而发起一个或多个动作(例如，停止或减速火车)。作为另一示例，方法400可以用于识别铁路环境物体中的异常(而非潜在缺陷)。作为另一示例，方法400的一个或多个步骤可以实时执行。
61.方法400可以与任何合适的运输系统(例如，车辆/道路、船只/水路等)相关联。方法400的步骤可以并行执行，也可以以任何合适的顺序执行。尽管作为完成方法400的步骤的特定组件进行了讨论，但任何合适的组件都可以执行方法400的任何步骤。例如，方法400的一个或多个步骤可以使用图4的计算机系统的一个或多个组件来进行自动化。
62.图5示出可由本文所述的系统及方法使用的示例计算机系统。例如，图1的网络110、机器视觉装置150a、机器视觉装置150b和/或ue 190可以包括一个或多个界面510、处理电路520、存储器530和/或其他合适的元件。界面510接收输入、发送输出、处理输入和/或输出、和/或执行其他合适的操作。界面510可以包括硬件和/或软件。
63.处理电路520执行或管理组件的操作。处理电路520可以包括硬件和/或软件。处理电路的示例包括一个或多个计算机、一个或多个微处理器、一个或多个应用程序等。在特定实施例中，处理电路520执行逻辑(例如，指令)以执行动作(例如，操作)，例如从输入生成输出。由处理电路520执行的逻辑可以被编码在一个或多个有形的、非暂时性的计算机可读介质(例如，存储器530)中。例如，逻辑可以构成计算机程序、软件、计算机可执行指令和/或可由计算机执行的指令。在特定实施例中，实施例的操作可以由一个或多个计算机可读介质来执行，所述介质存储、体现和/或编码有计算机程序和/或具有存储的和/或编码的计算机程序。
64.存储器530(或存储器单元)存储信息。存储器530(例如，图1的存储器124)可以包括一个或多个非暂时性、有形、计算机可读和/或计算机可执行存储介质。存储器530的示例包括计算机存储器(例如，ram或rom)、大容量存储介质(例如，硬盘)、可移动存储介质(例如，光盘(cd)或数字视频盘(dvd))、数据库和/或网络存储(例如，服务器)和/或其他计算机可读介质。
65.本公开的实施例涉及通过机器视觉装置捕获铁路环境中物体的图像的系统和方法。机器视觉装置附接到沿铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢。该方法还包括通过机器视觉装置使用一个或多个机器视觉算法分析物体的所图像以确定与物体相关联的值的步骤。该方法还包括通过机器视觉装置确定与物体相关联的值指示物体的潜在缺陷以及通过机器视觉装置向第一火车车厢外部的组件传达警报的步骤。其中警报包括物体的潜在缺陷的指示。
66.在此，计算机可读非暂时性存储介质可以包括一个或多个基于半导体的或其他集成电路(ic)(例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非暂时性存储介质，或其中两种或多种的任何合适组合(如适用)。在适当的情况下，计算机可读非暂时性存储介质可以是易失性、非易失性或易失性和非易失性的组合。
67.在此，除非另有明确说明或上下文另有说明，“或”具有包容性而非排他性。因此，在本文中，除非另有明确说明或上下文另有说明，“a或b”是指“a、b或两者”。此外，除非另有明确说明或上下文另有说明，“和”既是联合的又是多个的。因此，在本文中，除非另有明确说明或上下文另有说明，“a和b”是指“a和b，共同或分别”。
68.本公开的范围包括本领域普通技术人员将理解的对本文描述或图示的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或图示的示例实施例。此外，尽管本公开将本文中的各个实施例描述并说明为包括特定组件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个可以包括任何组件、元件、特征、功能、操作或步骤的任何组合或排列，或本领域普通技术人员将理解的本文任何地方描述或说明的步骤。此外，在所附权利要求中，对适于、布置、能够、配置成、启用、可操作或可操作为以执行
特定功能的设备或系统或设备或系统的组件的引用涵盖该设备，系统、组件，无论其或该特定功能是否被激活、开启或解锁，只要该设备、系统或组件如此适于、布置、能够、配置成、启用、可操作或可操作。此外，尽管本公开将特定实施例描述或说明为提供特定优势，但特定实施例可以不提供、部分或全部提供这些优势。
技术特征：1.一种方法，包括以下步骤：通过机器视觉装置捕获铁路环境中物体的图像，其中所述机器视觉装置附接到沿所述铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢；通过所述机器视觉装置使用一个或多个机器视觉算法分析所述物体的所述图像，以确定与所述物体相关联的值；通过所述机器视觉装置确定与所述物体相关联的所述值指示所述物体的潜在缺陷；以及通过所述机器视觉装置向所述第一火车车厢外部的组件传达警报，其中所述警报包括所述物体的所述潜在缺陷的指示。2.根据权利要求1所述的方法，其中所述物体的所述潜在缺陷是以下之一：第二铁路轨道的轨道错位；道口警报装置的故障；第二铁路轨道的视线受阻；所述物体的损坏；以及所述物体的错位。3.根据权利要求1所述的方法，其中：所述铁路环境的所述第一铁路轨道与所述铁路环境的所述第二铁路轨道相邻；所述第一火车车厢外部的所述组件附接到沿所述第二铁路轨道在第二方向上移动的第二火车车厢；以及所述警报指示所述第二火车车厢执行操作。4.根据权利要求1所述的方法，其中所述第一火车车厢外部的所述组件是位于网络操作中心内的装置。5.根据权利要求1所述的方法，其中所述警报还包括以下中的至少一种：所述物体的描述；所述潜在缺陷的描述；所述物体的所述图像；所述物体的位置；所述第一火车车厢的所述机器视觉装置捕获到所述物体的时间；所述第一火车车厢的所述机器视觉装置捕获到所述物体的日期；所述第一火车车厢的标识；所述第一火车车厢的所述第一方向的指示；以及调度在预定时间内通过所述铁路环境的一辆或多辆火车车厢的指示。6.根据权利要求1所述的方法，其中所述机器视觉装置捕获所述物体的图像，并在不到十秒钟的时间内将所述警报传达到所述第一火车车厢外部的所述组件。7.根据权利要求1所述的方法，其中所述机器视觉装置安装在所述第一火车车厢的前挡风玻璃上。8.一种系统，包括一个或多个处理器和存储指令的存储器，当所述指令由一个或多个处理器执行时，使所述一个或多个处理器执行包括以下步骤的操作：通过机器视觉装置捕获铁路环境中物体的图像，其中所述机器视觉装置附接到沿所述
铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢；使用一个或多个机器视觉算法分析所述物体的所述图像，以确定与所述物体相关联的值；确定与所述物体相关联的所述值指示所述物体的潜在缺陷；以及向所述第一火车车厢外部的组件传达警报，其中所述警报包括所述物体的所述潜在缺陷的指示。9.根据权利要求8所述的系统，其中所述物体的所述潜在缺陷是以下之一：第二铁路轨道的轨道错位；道口警报装置的故障；第二铁路轨道的视线受阻；所述物体的损坏；以及所述物体的错位。10.根据权利要求8所述的系统，其中：所述铁路环境的所述第一铁路轨道与所述铁路环境的所述第二铁路轨道相邻；所述第一火车车厢外部的所述组件附接到沿所述第二铁路轨道在第二方向上移动的第二火车车厢；以及所述警报指示所述第二火车车厢执行操作。11.根据权利要求8所述的系统，其中所述第一火车车厢外部的所述组件是位于网络操作中心内的装置。12.根据权利要求8所述的系统，其中所述警报还包括以下中的至少一种：所述物体的描述；所述潜在缺陷的描述；所述物体的所述图像；所述物体的位置；所述第一火车车厢的所述机器视觉装置捕获到所述物体的时间；所述第一火车车厢的所述机器视觉装置捕获到所述物体的日期；所述第一火车车厢的标识；所述第一火车车厢的所述第一方向的指示；以及调度在预定时间内通过所述铁路环境的一辆或多辆火车车厢的指示。13.根据权利要求8所述的系统，其中所述机器视觉装置捕获所述物体的图像，并在不到十秒钟的时间内将所述警报传达到所述第一火车车厢外部的所述组件。14.根据权利要求8的系统，其中所述机器视觉装置安装在所述第一火车车厢的前挡风玻璃上。15.一种或多种计算机可读存储介质，其包含指令，当所述指令由处理器执行时，使所述处理器执行包括以下步骤的操作：通过机器视觉装置捕获铁路环境中物体的图像，其中所述机器视觉装置附接到沿所述铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢；使用一个或多个机器视觉算法分析所述物体的所述图像，以确定与所述物体相关联的值；
确定与所述物体相关联的所述值指示所述物体的潜在缺陷；以及向所述第一火车车厢外部的组件传达警报，其中所述警报包括所述物体的所述潜在缺陷的指示。16.根据权利要求15所述的一种或多种计算机可读存储介质，其中所述物体的所述潜在缺陷是以下之一：第二铁路轨道的轨道错位；道口警报装置的故障；第二铁路轨道的视线受阻；所述物体的损坏；以及所述物体的错位。17.根据权利要求15所述的一种或多种计算机可读存储介质，其中：所述铁路环境的所述第一铁路轨道与所述铁路环境的所述第二铁路轨道相邻；所述第一火车车厢外部的所述组件附接到沿所述第二铁路轨道在第二方向上移动的第二火车车厢；以及所述警报指示所述第二火车车厢执行操作。根据权利要求15所述的一种或多种计算机可读存储介质，其中所述第一火车车厢外部的所述组件是位于网络操作中心内的装置。18.根据权利要求15所述的一种或多种计算机可读存储介质，其中所述警报还包括以下中的至少一种：所述物体的描述；所述潜在缺陷的描述；所述物体的所述图像；所述物体的位置；所述第一火车车厢的所述机器视觉装置捕获到所述物体的时间；所述第一火车车厢的所述机器视觉装置捕获到所述物体的日期；所述第一火车车厢的标识；所述第一火车车厢的所述第一方向的指示；以及调度在预定时间内通过所述铁路环境的一辆或多辆火车车厢的指示。19.根据权利要求15所述的一种或多种计算机可读存储介质，其中所述机器视觉装置捕获所述物体的图像，并在不到十秒钟的时间内将所述警报传达到所述第一火车车厢外部的所述组件。20.一种装置，包括：用于在铁路环境中捕获物体的图像的装置，其中机器视觉装置附接到沿所述铁路环境的第一铁路轨道在第一方向上移动的第一火车车厢；用于使用一个或多个机器视觉算法分析所述物体的所述图像以确定与所述物体相关联的值的装置；用于确定与所述物体相关联的所述值指示所述物体的潜在缺陷的装置；以及用于向所述第一火车车厢外部的组件传达警报的装置，其中所述警报包括所述物体的所述潜在缺陷的指示。
21.根据权利要求20所述的装置，还包括用于实现根据权利要求2至7中任一项所述的方法的装置。22.一种包括指令的计算机程序、计算机程序产品或计算机可读介质，所述指令在由计算机执行时使所述计算机执行权利要求1至7中任一项所述的方法的步骤。
技术总结本发明公开一种方法，其包括通过机器视觉装置(150a)捕获铁路环境(120)中物体(170、172、174)的图像的步骤。机器视觉装置附接到沿铁路环境的第一铁路轨道(130a)在第一方向(160a)上移动的第一火车车厢(140a)。所述方法还包括通过机器视觉装置使用一个或多个机器视觉算法来分析物体的图像，以确定与物体相关联的值的步骤。所述方法还包括通过机器视觉装置确定与物体相关联的值指示物体的潜在缺陷以及通过机器视觉装置向第一火车车厢外部的组件传达警报的步骤。所述物体可以与邻近并平行于第一铁路轨道的第二铁路轨道(130b)相关联。所述警报包括物体的潜在缺陷的指示。外部组件可以是网络操作中心(180)或者可以附接到沿第二铁路轨道(130b)在第二方向(160b)上移动的第二火车车厢(140b)，其中所述警报指示第二火车车厢执行动作，例如停止或减速。例如停止或减速。例如停止或减速。
技术研发人员：丹尼斯
受保护的技术使用者：北伯林顿铁路公司
技术研发日：2021.03.10
技术公布日：2022/12/1
