本发明涉及一种自主无人系统中的场景描述方法。
背景技术：
自主无人系统是人工智能的重要应用之一，是人工智能发展的标志性成果。自主无人系统能替代人类在多种环境下执行预定任务，被广泛应用在无人机、无人车、轨道交通自动驾驶工程中，以及家政清洁机器人、护理机器人等服务机器人领域里。对于自主无人系统来说，场景理解是其实现自主运动的核心。在现有场景理解技术的基础上，若对自主无人系统外部有效场景和内部决策和操作进行快速捕获与实时记录，将可以有效地辅助评估自主无人系统的安全性能；有效地分析捕捉、预警可能发生的安全事故或异常，查找原因并有针对性地进行相应改进；有效地分析安全事故的成因，辅助厘清安全责任，促进无人系统技术的发展与完善。
传统的场景记录方式直接将录制的视频或其他传感数据存储下来，这种方式在自主无人系统场景记录中并不适用。原因之一，自主无人系统有限的存储能力无法支持对传感器原始数据的长时间记录，例如16g的存储卡只能支持120分钟左右的1080p视频数据录制。现有技术能够过滤静止或画面没有变化的视频帧来降低视频图像数据的存储量，能够有效降低固定摄像头的数据存储量。然而，自主无人系统运行时间长、运行环境复杂多变、感知数据种类繁多、数据量大，因此，录制视频等记录原始数据的方式对自主无人系统来说效率过低且不适用。原因之二，传统录制视频方式无法对自主无人系统内部决策和操作信息的快速捕获、实时记录，也无法将内部决策操作信息和外部场景进行归一化记录。
总的说来，简洁、高效、精确地记录场景是促进自主无人系统安全演进的关键技术之一。
目前在自主无人系统中，外部场景理解是较为成熟的技术，通过融合与分析多个传感器的数据，得到与所执行任务密切关联的场景度量、符号与概念信息，为其行为的自主规划与决策提供依据。然而，目前仍缺乏对所理解的场景进行有效记录的方法。在场景理解的基础上，本发明公开的方法能够显著降低外部场景记录的开销，并能根据记录精确复原出原有场景，无损失的复现关键场景。
技术实现要素：
针对现有技术存在的缺陷，本发明的目的是提供一种自主无人系统中的场景描述方法。针对自主无人系统领域的特定场景，提供一种简洁、精准的场景描述语言对自主无人系统外部有效场景和内部决策和操作进行快速捕获与实时记录，实现低成本的场景描述与记录，用于场景的重现、共享、分析，以及在仿真环境中的场景快速生成。本发明预期能够成为一种自主无人系统安全跟踪、反馈与改进的辅助方法，有效支撑自主无人系统持续演进。
为达到上述目标，本发明采用如下技术方案：
一种自主无人系统中的场景描述方法，包括以下步骤：
（1）离线构建自主无人系统外部场景库与内部场景库；
（2）建立场景的拓扑结构语义库，描述场景要素相对自主无人系统的几何位置关系；
（3）建立场景的异常事件库，设置异常事件触发条件，例如定义危险碰撞发生事件、多传感器数据矛盾事件等。并监测异常事件的发生，在异常事件发生时，对事件发生前后固定时间段内的感知数据进行全信息保存；
（4）获取自主无人系统的环境感知数据，提取出外部场景中的关键静态场景要素与动态场景要素，通过预定义的类来进行定义，以结构化语言的方式进行描述，并记录下相应的内部场景信息。
所述步骤（1）具体包括如下步骤：
（1.1）建立自主无人系统外部场景要素类别库，包括静态场景要素与动态场景要素，所述静态场景要素指环境中静止的物体及其属性特征值，例如无人车驾驶场景中的道路及道路的车道数、道路边界等信息，交通信号灯极其颜色状态等信息等；所述动态场景要素指环境活动的物体及其属性特征值，例如车辆、行人等活动物体及其三维信息与运动信息。
（1.2）建立自主无人系统内部场景要素类别库，包括行为决策信息、运动控制器等设备的执行信息、以及控制系统与执行系统的内部状态信息。
（1.3）建立自主无人系统运行情景库，每个情景库包含其情景特有属性特征，例如无人车的运行情景可以区分为高速公路、城市交通道路、乡村道路等，并定义运行情景的天气属性，例如晴天、雨、雪天气等。此外，不同的运行情景库依据其情景特征包含不同的场景库。
所述的场景要素类别库，其中场景要素采用面向对象的思想，通过类来定义，场景要素类别库中预定义了部分类及其默认属性，类能够被继承，并且能够根据需要动态扩展其属性。
所述步骤（4）具体包括如下步骤：
（4.1）获取自主无人系统的多种环境感知数据，包括自主无人系统多种本地传感器所采集的数据，以及其他无人系统设备或物联网设备通过无线网络（例如车联网）传递过来的数据。
（4.2）根据（4.1）获取的环境感知数据，结合场景理解的结果信息，对场景冗余信息进行剔除，提取与自主无人系统行动决策相关的关键静态场景要素与动态场景要素。
（4.3）以结构化语言的方式进行场景描述，具备可视化复现特征，能够根据场景描述语言复现与无人系统决策相关的关键场景信息。
所述步骤（4.3）具体包括如下步骤：
（4.3.1）创建指代自主无人系统本体的对象ego，并作为场景的参考基点，所述参考基点指场景描述以及场景复原的出发点，本体对象的基本属性包括全局位置（例如gps位置信息），视距，行进方向，速度，三维信息（高度、宽度）等。
（4.3.2）建立本体坐标系，以自主无人系统本体为原点，以本体朝向为坐标轴方向，通过多种位置描述符，简洁、精确地描述场景要素在本体坐标系中的相对位置。
（4.3.3）从自主无人系统的环境感知数据中提取静态场景要素，结合地图提供的先验信息，实现鲁棒精确的静态场景要素提取，利用预定义的场景库实例化场景中的要素实例。
（4.3.4）从自主无人系统的环境感知数据中提取动态场景要素，对视距内或感知范围内的车辆、行人等活动物体的位置与运动状态，以及相应静态场景要素的上下文约束进行描述。
所述步骤（4）中以结构化语言的方式进行描述，结构化场景描述由声明或扩展了的场景要素实例语句、声明场景要素相对空间位置与偏移的语句构成，或导入由这些语句组成的其他文件；每个语句包括一个可选的成员列表，该成员列表从语句本身缩进一个单元，所述结构化场景描述语言的层次结构以及每个成员在该层次中的位置均由缩进严格表示。
与现有技术相比，本发明的有益效果是：
本发明方法通过提供一种简洁、精确的高级语言，实现对实际场景的快速捕获与记录，有效地降低了场景记录的开销；进一步地，所提场景描述语言，支持场景的重用、共享，以及用于在仿真中快速生成场景，以识别自主无人系统以前未知的危险案例，有效提高了自主无人系统的鲁棒性与安全性保障。
附图说明
图1是实施本发明方法的流程示意图。
图2是本发明方法构建的外部场景库与内部场景库示意图。
图3是一种自主无人系统场景描述方法的组成实例。
图4是本体坐标系中各位置的表述示意图。
具体实施方式
下面结合附图对本发明的具体实施例作进一步描述。
如图1所示，一种自主无人系统中的场景描述方法，包括以下步骤：
（1）离线构建自主无人系统外部场景库与内部场景库，如图2所示：
（1.1）建立自主无人系统外部场景要素类别库，包括静态场景要素与动态场景要素，所述静态场景要素指环境中静止的物体及其属性特征值，例如无人车驾驶场景中的道路及道路的车道数、道路边界等信息，交通信号灯及其颜色状态等信息等；所述动态场景要素指环境中活动的物体及其属性特征值，例如车辆、行人等活动物体及其三维信息与运动信息。
具体地，场景要素采用面向对象的思想，通过类来定义，场景要素类别库中预定义了部分类及其默认属性，类可以被继承，并且可以根据需要动态扩展其属性。类的定义方式如下：
（1.2）建立自主无人系统内部场景库，包括行为决策信息、运动控制器等设备的执行信息、以及控制系统与执行系统的内部状态信息。例如以无人车系统为例，其内部场景包含驱动、传动、转向和制动等控制指令，以及发动机工作模式、照明系统状态、雨刷系统状态、制动系统状态等，制动系统状态还包括制动踏板位置信号、esc工作状态、abs工作状态、trc工作状态、制动助力系统状态。
（1.3）建立自主无人系统运行情景库，每个情景库包含其情景特有属性特征，例如无人车的运行情景可以区分为高速公路、城市交通道路、乡村道路等，并定义运行情景的天气属性，例如晴天、雨、雪天气等。此外，不同的运行情景库依据其情景特征包含不同的场景库。
（2）建立场景的拓扑结构语义库，定义位置说明符与朝向说明符，描述场景要素相对自主无人系统的几何位置关系；
具体地，向量（vector）x@y表示空间位置和偏移，以米为单位，例如，-2@3表示在局部坐标系中向左2米，向前3米。位置说明符如下：
朝向（heading）表示空间中的方向，在2d平面上可以用单个角度来方便的表示为距离正北方向的逆时针角度。位置说明符如下：
（3）建立场景的异常事件库，设置异常事件触发条件，并监测异常事件的发生，在异常事件发生时，对事件发生前后固定时间段内的感知数据进行全信息保存；
（3.1）对异常事件进行定义，以无人车驾驶场景为例，异常事件包括场景要素之间的碰撞、近距离关键要素无法识别、多种传感器数据冲突等。传感器冲突指不同传感器检测到的信息存在不一致，例如摄像头拍摄的画面里没有动态物体经过，而超声波传感器确检测到有物体经过。
（3.2）设置在异常事件发生时，触发对异常事件相关感知信息的全信息记录，即对异常事件发生前后固定时间段内的感知数据进行原始信息的保存与记录。
（4）获取自主无人系统的环境感知数据，提取出外部场景中的关键静态场景要素与动态场景要素，通过预定义的类来进行定义，以结构化语言的方式进行描述，并记录下相应的内部场景信息，包括：
（4.1）获取自主无人系统的多种环境感知数据，包括自主无人系统多种本地传感器所采集的数据，以及其他无人系统设备或物联网设备通过无线网络（例如车联网）传递过来的数据。所提场景描述系统通过传感器软件模块接入传感器数据，经由物联网模块接入其它自主无人系统或物联网基础设施传递过来的感知数据。
（4.2）根据（4.1）获取的环境感知数据，结合场景理解的结果信息，对场景冗余信息进行剔除，提取与自主无人系统行动决策相关的关键静态场景要素与动态场景要素；
可选地，对于所获取的环境感知数据进行场景理解可以由自主无人系统的系统模块来实现，也可以由所述场景描述系统来实现其功能；所述场景描述系统提供基本的基于计算机视觉的目标识别功能，并能够融合超声波传感器与微波雷达对目标的测速、测距、测向结果；进一步地，所述场景描述系统通过场景冗余信息剔除模块剔除自主无人系统行动决策无关的场景冗余信息，例如对无人车驾驶场景来说，道路两旁的建筑物信息以及远处的场景信息可以剔除。
（4.3）对步骤（4.2）中识别的关键场景要素，根据其对象类型（动态场景要素或静态场景要素）生成相应的实例对其进行描述；对于场景要素与本体之间的位姿及语义关系，以结构化语言的方式进行描述，具备可视化复现特征，确保能够根据场景描述语言复现与无人系统决策相关的关键场景信息，具体包括如下步骤：
（4.3.1）创建指代自主无人系统本体的对象示例ego，并作为场景的参考基点，所述参考基点指场景描述以及场景复原的出发点，本体对象的基本属性包括全局位置（例如gps位置信息），视距，行进方向，速度，三维信息（高度、宽度）等。例如，创建一个简单本体对象egocar实例如下：
（4.3.2）建立本体坐标系，以自主无人系统本体为原点，以本体朝向为坐标轴方向，通过多种位置描述符，简洁、精确地描述场景要素在本体坐标系中的相对位置。本体坐标系中各位置的表述如图4所示。
（4.3.3）从自主无人系统的环境感知数据中提取静态场景要素，结合地图提供的先验信息，实现鲁棒精确的静态场景要素提取，利用预定义的场景库实例化场景中的要素实例。
（4.3.4）从自主无人系统的环境感知数据中提取动态场景要素，对视距内或感知范围内的车辆、行人等活动物体的位置与运动状态，以及相应静态场景要素的上下文约束进行描述。
在上述步骤基础上，本发明给出了一种自主无人系统场景描述方法的组成实例，如图3所示，具体组成包括：外部场景理解、异常事件检测与全纪录、内部场景记录、结构化语言描述系统。具有以下特性：1）单向写入、单向读出特性；2）外部场景和内部场景的归一化记录（以时间为轴的内外场景归一化记录）；3）区分场景的语言记录和原始视频记录支持。
1.一种自主无人系统中的场景描述方法，其特征在于，包括以下步骤：
（1）离线构建自主无人系统外部场景库与内部场景库；
（2）建立场景的拓扑结构语义库，描述场景要素相对自主无人系统的几何位置关系；
（3）建立场景的异常事件库，设置异常事件触发条件，并监测异常事件的发生，在异常事件发生时，对事件发生前后固定时间段内的感知数据进行全信息保存；
（4）获取自主无人系统的环境感知数据，提取出外部场景中的关键静态场景要素与动态场景要素，通过预定义的类来进行定义，以结构化语言的方式进行描述，并记录下相应的内部场景信息。
2.根据权利要求1所述的自主无人系统中的场景描述方法，其特征在于，所述步骤（1）具体包括如下步骤：
（1.1）建立自主无人系统外部场景要素类别库，包括静态场景要素与动态场景要素，所述静态场景要素指环境中静止的物体及其属性特征值；所述动态场景要素指环境中活动的物体及其属性特征值；
（1.2）建立自主无人系统内部场景要素类别库，包括设备的执行信息、以及控制系统与执行系统的内部状态信息；
（1.3）建立自主无人系统运行情景库，每个情景库包含其情景特有属性特征，并定义运行情景的天气属性；不同的运行情景库依据其情景特征包含不同的场景库。
3.根据权利要求2所述的自主无人系统中的场景描述方法，其特征在于，所述的场景要素类别库，其中场景要素采用面向对象的思想，通过类来定义，场景要素类别库中预定义了部分类及其默认属性，类能够被继承，并且能够根据需要动态扩展其属性。
4.根据权利要求1所述的自主无人系统中的场景描述方法，其特征在于，所述步骤（4）具体包括如下步骤：
（4.1）获取自主无人系统的多种环境感知数据，包括自主无人系统多种本地传感器所采集的数据，以及其他无人系统设备或物联网设备通过无线网络传递过来的数据；
（4.2）根据（4.1）获取的环境感知数据，结合场景理解的结果信息，对场景冗余信息进行剔除，提取与自主无人系统行动决策相关的关键静态场景要素与动态场景要素；
（4.3）以结构化语言的方式进行场景描述，具备可视化复现特征，能够根据场景描述语言复现与无人系统决策相关的关键场景信息。
5.根据权利要求1所述的自主无人系统中的场景描述方法，其特征在于，所述步骤（4.3）具体包括如下步骤：
（4.3.1）创建指代自主无人系统本体的对象ego，并作为场景的参考基点；所述参考基点指场景描述以及场景复原的出发点，本体对象的基本属性包括全局位置，视距，行进方向，速度，三维信息；
（4.3.2）建立本体坐标系，以自主无人系统本体为原点，以本体朝向为坐标轴方向，通过多种位置描述符，描述场景要素在本体坐标系中的相对位置；
（4.3.3）从自主无人系统的环境感知数据中提取静态场景要素，结合地图提供的先验信息，实现鲁棒精确的静态场景要素提取，利用预定义的场景库实例化场景中的要素实例；
（4.3.4）从自主无人系统的环境感知数据中提取动态场景要素，对视距内或感知范围内的活动物体的位置与运动状态，以及相应静态场景要素的上下文约束进行描述。
6.根据权利要求1所述的自主无人系统中的场景描述方法，其特征在于，所述步骤（4）中以结构化语言的方式进行描述，结构化场景描述由声明或扩展了的场景要素实例语句、声明场景要素相对空间位置与偏移的语句构成，或导入由这些语句组成的其他文件；每个语句包括一个可选的成员列表，该成员列表从语句本身缩进一个单元，所述结构化场景描述语言的层次结构以及每个成员在该层次中的位置均由缩进严格表示。
技术总结