1.本发明属于数据监控技术领域，具体涉及一种应用于智能识别终端群的数据传输方法及监控设备。
背景技术：2.目前，全国上千万的普通摄像头被使用，普通摄像头如果需要进行行为识别，需要通过网络将拍摄的图片数据/视频数据传回到后端服务器来实现。在图片数据/视频数据传输时，会占用大量的网络带宽，这个问题对于多个普通摄像头占用同一通信链路时尤其严重。同时，在使用过程中，监控系统录得的大部分是重复的固定画面，即产生了大量的无效信息，在数据传输过程中会占用更大量的网络带宽，而且存储的图片数据/视频数据浪费存储空间，又不便于查询。随着科技的发展，具有人脸识别、行为识别的智能摄像头已经开始应用于工业生产以及日常生活中，但智能摄像头的占有率比较低，想要使用智能摄像头完全替换普通摄像头，建设成本高、周期长。
技术实现要素：3.为了解决现有技术中存在的上述问题，本发明提供了一种应用于智能识别终端群的数据传输方法及监控设备。本发明要解决的技术问题通过以下技术方案实现：第一方面，本发明实施例提供了一种应用于智能识别终端群的数据传输方法，应用于由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群中，所述方法包括：所述普通摄像头将拍摄的图片数据传输于所述智能摄像头；所述智能摄像头对接收的图片数据进行智能识别，判断是否存在违规事件；若存在，则所述智能摄像头通知所述普通摄像头将其拍摄的与图片数据对应的视频数据传输于所述智能摄像头；所述智能摄像头对接收的视频数据进行二次智能识别，判断是否依然存在违规事件；若存在，则所述智能摄像头将识别确定的违规事件及其对应的视频数据传输于后端服务器；其中，整个数据传输过程中，所述智能摄像头和任一所述普通摄像头之间使用新的数据传输协议进行数据传输；在新的数据传输协议中数据包包括包头结构和包体结构，所述包头结构中包含有包头位置标识位字段和数据类型字段，所述包头位置标识位字段用于记录数据传输过程中对应数据包开头位置，所述数据类型字段用于记录传输数据类型对应的编号，所述包体结构包括数据内容字段，所述数据内容字段用于记录数据传输过程中传输数据类型对应的数据内容。
4.在本发明的一个实施例中，若数据传输过程是基于tcp协议通信，在所述普通摄像头将拍摄的图片传输于所述智能摄像头之前，还包括：所述普通摄像头与所述智能摄像头之间建立tcp链接。
5.在本发明的一个实施例中，若数据传输过程是基于tcp协议通信或udp协议通信，在所述普通摄像头将拍摄的图片传输于所述智能摄像头之前，还包括：所述智能摄像头与所述普通摄像头之间建立通信会话，包括：所述普通摄像头通过tcp协议或udp协议链接到所述智能摄像头，并将携带有数据类型字段记录为认证信息对应的编号、数据内容字段记录为普通摄像头的设备编号的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，判断发送数据包的普通摄像头是否为合法设备，若为非法设备，则断开tcp链接或不做任何处理，若为合法设备，则生成会话信息，并将携带有数据类型字段记录为会话信息对应的编号、数据内容字段记录为普通摄像头的设备编号的数据包传输于所述普通摄像头。
6.在本发明的一个实施例中，在通信会话建立后，若数据传输过程是基于tcp协议通信，则数据传输过程包括：所述普通摄像头通过tcp协议链接到所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为图片数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，进行智能识别，判断若不存在违规事件，则计算所述普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以所述采样频率拍摄的图片数据的数据包继续传输于所述智能摄像头。
7.在本发明的一个实施例中，若数据传输过程是基于tcp协议通信，则数据传输过程还包括：所述智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则所述智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的视频数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将所述违规事件及其对应的视频数据传输于所述后端服务器，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；同时，所述智能摄像头将告警数据完成消息传输于所述后端服务器。
8.在本发明的一个实施例中，在通信会话建立后，若数据传输过程是基于udp协议通信，则数据传输过程包括：所述普通摄像头通过udp协议链接到所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为当前时刻传输的图片数据对应的偏移量和图片数据的数据包传输于所述智能摄像头；
所述智能摄像头接收到数据包后，将携带有数据类型字段记录为图片数据确认包对应的编号、数据内容字段记录为已接收图片数据在图片中的偏移量的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，根据数据包中已接收图片数据在图片中的偏移量计算下一时刻传输的图片数据，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为下一时刻传输的图片数据对应的偏移量和图片数据的数据包传输于所述智能摄像头，直到完成整个图片数据从所述普通摄像头到所述智能摄像头的传输；所述智能摄像头接收到整个图片数据对应的数据包后，进行智能识别，判断若不存在违规事件，则计算所述普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为采样频率确认包对应的编号、数据内容字段记录为0的数据包传输于所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以所述采样频率拍摄的图片数据的数据包继续分包传输于所述智能摄像头。
9.在本发明的一个实施例中，若数据传输过程是基于udp协议通信，则数据传输过程还包括：所述智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则所述智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的当前时刻传输的视频数据对应的帧编号、偏移量和帧数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，将携带有数据类型字段记录为视频数据确认包对应的编号、数据内容字段记录为已接收视频数据的帧编号和偏移量的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，根据数据包中已接收视频数据的帧编号和偏移量计算下一时刻传输的视频数据，并将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的下一时刻传输的视频数据对应的帧编号、偏移量和帧数据的数据包传输于所述智能摄像头，直到完成整个视频数据从所述普通摄像头到所述智能摄像头的传输；所述智能摄像头接收到整个视频数据对应的数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将所述违规事件及其对应的视频数据传输于所述后端服务器，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为结束视频数据消息确认包对应的编号、数据内容字段记录为0的数据包传输于所述智能摄像头；同时，所述智能摄像头将告警数据完成消息传输于所述后端服务器。
10.在本发明的一个实施例中，计算所述普通摄像头的采样频率，包括：
所述智能摄像头根据实时负载，动态计算所述普通摄像头传输图片数据的采样频率；对应公式表示为：；其中，表示所述普通摄像头的采样频率，表示所述智能摄像头的总算力，表示所述智能摄像头当前计算视频数据时消耗的算力，表示计算一张图片数据平均消耗的算力，表示所述智能摄像头接入的普通摄像头数量。
11.在本发明的一个实施例中，所述方法还包括：所述后端服务器接收到所述违规事件后，生成告警事件，并保存所述违规事件及其对应的视频数据。
12.第二方面，本发明实施例提供了一种监控系统，包括由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群以及后端服务器，其中，所述智能摄像头和任一所述普通摄像头之间利用上述任一所述的应用于智能识别终端群的数据传输方法进行数据传输。
13.本发明的有益效果：本发明提出的应用于智能识别终端群的数据传输方法中，智能摄像头和普通摄像头之间利用了新的数据传输协议进行数据传输，在新的数据传输协议中数据包包括包头结构和包体结构，包头结构中包含有包头位置标识位字段、数据类型字段，包头位置标识位字段用于记录数据传输过程中对应数据包开头位置，数据类型字段用于记录传输数据类型对应的编号，包体结构包括数据内容字段，数据内容字段用于记录数据传输过程中传输数据类型对应的数据内容，在数据传输过程中通过对数据包的结构进行重新定义，实现了普通摄像头与智能摄像头之间在整个数据传输过程的数据传输；且数据传输过程中，普通摄像头先将拍摄的图片数据传输于智能摄像头，智能摄像头对接收到的图片数据进行智能识别，判断是否存在违规事件，对于存在违规事件的情况，才会通知普通摄像头将其拍摄的与图片数据对应的视频数据传输于智能摄像头，智能摄像头对接收到的视频数据进行二次智能识别，这样的处理流程由于智能摄像头第一次智能识别针对的是图片数据，图片数据占用存储空间少，可以增加其对普通摄像头的数据处理量，对于存在违规事件，才需要普通摄像头传输违规事件对应的视频数据，智能摄像头对接收到的视频数据进行二次智能识别以进一步进行识别确认是否为违规事件，二次识别仍然为违规事件，将违规事件及其对应的视频数据传输于后端服务器。
14.可见，本发明将普通摄像头和智能摄像头通过网络联机到一起构成一个智能识别终端群，利用定义的新的数据传输协议进行数据传输，实现普通摄像头与智能摄像头之间在整个数据传输过程的数据传输，智能摄像头定时查询普通摄像头拍摄的图片数据，并对图片数据进行行为识别、人脸识别、侵入识别等智能处理，从而使得普通摄像头看似也能拥有智能处理能力。同时，只有出现异常(违规事件)时，再将违规事件对应的视频数据传输给智能摄像头进行进一步判断，将此时判断为异常的视频数据传输给后端服务器，从而节省
网络带宽和后端服务器的存储空间。
15.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
16.图1是本发明实施例提供的一种应用于智能识别终端群的数据传输方法的流程示意图；图2是本发明实施例提供的一种智能识别终端群的结构示意图；图3是本发明实施例提供的新的数据传输协议中数据包形式的结构示意图；图4是本发明实施例中智能摄像头和普通摄像头之间建立tcp通信会话的交互流程示意图；图5(a)~图5(b)是本发明实施例提供的在tcp通信会话过程中具体数据包形式的结构示意图；图6是本发明实施例中智能摄像头和普通摄像头之间不存在违规事件时tcp数据传输的交互流程示意图；图7(a)~图7(c)是本发明实施例提供的不存在违规事件时tcp数据传输过程中具体数据包形式的结构示意图；图8是本发明实施例中智能摄像头和普通摄像头之间存在违规事件时tcp数据传输的交互流程示意图；图9(a)~图9(c)是本发明实施例提供的存在违规事件时tcp数据传输过程中具体数据包形式的结构示意图；图10是本发明实施例中智能摄像头和普通摄像头之间建立udp通信会话的交互流程示意图；图11(a)~图11(b)是本发明实施例提供的在udp通信会话过程中具体数据包形式的结构示意图；图12是本发明实施例中智能摄像头和普通摄像头之间不存在违规事件时udp数据传输的交互流程示意图；图13(a)~图13(g)是本发明实施例提供的不存在违规事件时udp数据传输过程中具体数据包形式的结构示意图；图14是本发明实施例中智能摄像头和普通摄像头之间存在违规事件时udp数据传输的交互流程示意图；图15(a)~图15(f)是本发明实施例提供的存在违规事件时udp数据传输过程中具体数据包形式的结构示意图。
具体实施方式
17.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
18.经发明人研究发现，虽然现有的智能摄像头与普通摄像头并存的场景中，智能摄像头可以用于识别自身拍摄的图片和视频数据，但是其自身的计算能力并未最大程度的被利用，因此可以考虑利用智能摄像头强大的计算能力来处理普通摄像头拍摄的图片和视频
数据。而且，智能摄像头与普通摄像头组成的智能识别终端群内部形成局域网，普通摄像头和智能摄像头建立通信链接，由智能摄像头通过收集普通摄像头拍摄的图片数据进行智能识别，并将异常视频数据和异常告警信息传输给后端服务器，避免了传统普通摄像头必须将数据传输至后端服务器才可以进行识别而带来的占用大量网络带宽的问题。但是，现有更多实现的是智能摄像头、普通摄像头分别与后端服务器之间的数据传输，而非智能摄像头、普通摄像头之间的数据传输，因此缺少满足智能摄像头、普通摄像头之间进行数据传输的数据传输协议，并且该新的数据传输协议的定义还需要满足智能摄像头、普通摄像头之间数据传输的所有需求，即需要综合考虑智能摄像头和普通摄像头要解决的实际问题来定义合适且合理的数据传输协议，并基于现有成熟的协议控制方式实现智能摄像头、普通摄像头之间的数据传输。
19.基于上述设想，第一方面，请参见图1，本发明实施例提供了一种应用于智能识别终端群的数据传输方法，应用于如图2所示的由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群中，该方法包括：普通摄像头将拍摄的图片数据传输于智能摄像头；智能摄像头对接收的图片数据进行智能识别，判断是否存在违规事件；若存在，则智能摄像头通知普通摄像头将其拍摄的与图片数据对应的视频数据传输于智能摄像头；智能摄像头对接收的视频数据进行二次智能识别，判断是否依然存在违规事件；若存在，则智能摄像头将识别确定的违规事件及其对应的视频数据传输于后端服务器；其中，整个数据传输过程中，智能摄像头和任一普通摄像头之间根据数据传输需求定义了新的数据传输协议进行数据传输；在新的数据传输协议中数据包包括包头结构和包体结构，包头结构中包含有包头位置标识位字段、数据类型字段，包头位置标识位字段用于记录数据传输过程中对应数据包开头位置，数据类型字段用于记录传输数据类型对应的编号，包体结构包括数据内容字段，数据内容字段用于记录数据传输过程中传输数据类型对应的数据内容。
20.比如，本发明实施例根据数据传输需求定义了新的数据传输协议，如图3所示在新的数据传输协议中数据包包括包头结构和包体结构，具体地：包头结构包括：包头位置标识位字段、数据类型字段、数据长度字段、校验码字段、数据包编号字段和会话编码字段。其中，各字段参数的含义说明如下：包头位置标识位字段可以被设置为占用3个字节，用于表示数据包开头位置，一旦发送数据包内容丢失，可以快速定位到包头位置；数据类型字段可以被设置为占用1个字节，是指数据包的具体数据类型，不同的数据类型对应不同的编码，比如数据类型可以为认证信息、图片数据、视频数据、各种消息等，后续有详细说明，在此不做详细介绍；数据长度字段可以被设置为占用2个字节，是指包体结构的长度；校验码字段可以被设置为占用2个字节，用于校验数据内容是否存在丢失、错误、重复等问题，可采用循环冗余校验(cyclical redundancy check，简称crc)，比如crc16或者crc_ccitt校验等方法；数据包编号字段可以被设置为占用2个字节，可以是使用一个全局唯一的自增数字对数据包进行编号，用于计算包丢失情况和异常处理；会话编号字段可以被设置为占用2个字节，可以是使用一个全局唯一数字定义本次会话
的编号，智能摄像头和普通摄像头都需要保存会话信息，该编号可以直接查找对应的会话信息，用于认证数据通信是否合法。
21.包体结构包括：数据内容字段，该数据内容字段用于存储数据传输中数据类型对应的数据内容，其占用的字节数受包头结构中数据长度字段的限制。
22.可见，本发明实施例利用了根据数据传输需求定义的新的数据传输协议进行数据传输，在新的数据传输协议中数据包包括包头结构和包体结构，包头结构包括包头位置标识位字段、数据类型字段，分别用于记录数据传输过程中对应数据包开头位置、传输数据类型对应的编号，包体结构包括数据内容字段，用于记录数据传输过程中传输数据类型对应的数据内容，在数据传输过程中通过对数据包中数据类型字段、数据内容字段的更新，实现了普通摄像头与智能摄像头之间在整个数据传输过程的数据传输；且数据传输过程中，普通摄像头先将拍摄的图片数据传输于智能摄像头，智能摄像头对接收到的图片数据进行智能识别，判断是否存在违规事件(违规操作、侵入识别等)，对于存在违规事件的情况，才会通知普通摄像头将其拍摄的与图片数据对应的视频数据传输于智能摄像头，智能摄像头对接收到的视频数据进行二次智能识别，这样的处理流程由于智能摄像头第一次智能识别针对的是图片数据，图片数据占用存储空间少，可以增加其对普通摄像头的数据处理量，对于存在违规事件，才需要普通摄像头传输违规事件对应的视频数据，智能摄像头对接收到的视频数据进行二次智能识别以进一步进行识别确认是否为违规事件，二次识别仍然为违规事件，将违规事件及其对应的视频数据传输于后端服务器。
23.本发明实施例将普通摄像头和智能摄像头通过网络联机到一起构成一个智能识别终端群，利用定义的新的数据传输协议进行数据传输，实现普通摄像头与智能摄像头之间在整个数据传输过程的数据传输，智能摄像头定时查询普通摄像头拍摄的图片数据，并对图片数据进行行为识别、人脸识别、侵入识别等智能处理，从而使得普通摄像头看似也能拥有智能处理能力。同时，只有出现异常(违规事件)时，再将违规事件对应的视频数据传输给智能摄像头进行进一步判断，将此时判断为异常的视频数据传输给后端服务器，从而节省网络带宽和后端服务器的存储空间。
24.接下来，本发明实施例以数据传输过程中基于传输控制协议(transmission control protocol，简称tcp)、用户数据包协议(user datagram protocol，简称udp)进行通信为例，对如何利用定义的新的数据传输协议进行数据传输加以详细说明。
25.本发明实施例提供了一种可选方案，若数据传输过程是基于tcp协议通信，在普通摄像头将拍摄的图片传输于智能摄像头之前，包括：普通摄像头与智能摄像头之间建立tcp链接。智能摄像头侧建立tcp协议链接监听端口，普通摄像头通过tcp协议链接到智能摄像头，具体如何建立tcp协议链接采用现有技术，在此不再赘述。
26.普通摄像头与智能摄像头之间建立tcp链接后，请参见图4，智能摄像头与普通摄像头之间利用新的数据传输协议建立通信会话，由普通摄像头发送认证信息；对应在通信会话建立过程中，包头结构中数据类型字段记录的传输数据类型对应的编号有认证信息和会话信息分别对应的编号两种，具体地：普通摄像头通过tcp协议链接到智能摄像头，并将携带有数据类型字段记录为认证信息对应的编号、数据内容字段记录为普通摄像头设备编号的数据包传输于智能摄像头。在通信会话建立过程中传输于智能摄像头的数据包形式如图5(a)所示，其中，包头位置
标识位设置为$@$；数据类型设置为1，表示认证信息对应的编号；会话编号设置为0，表示未建立通信会话前在智能摄像头中的会话编号，默认为0；数据内容设置为普通摄像头的设备编号20220001。
27.智能摄像头接收到数据包后，判断发送数据包的普通摄像头是否为合法设备，比如可以根据发送数据包的普通摄像头的mac地址和认证数据判断设备是否为合法设备，若为非法设备，则断开tcp链接，若为合法设备，则生成会话信息，保存发送方普通摄像头的mac地址、认证数据和会话编号组成的会话信息，并将携带有数据类型字段记录为会话信息对应的编号、数据内容字段记录为普通摄像头的设备编号的数据包传输于普通摄像头。在通信会话建立过程中传输于普通摄像头的数据包形式如图5(b)所示，其中，包头位置标识位设置为$@$，也可以设置为其他可以做区分的标识符；数据类型设置为2，表示会话信息对应的编号；会话编号设置为1，表示建立通信会话后在智能摄像头中的会话编号，也可以赋值为其他数值，tcp链路一直为通信状态时，会话编号保持不变，若tcp链路接断，则重新建立tcp链接，重新赋值会话编号，重新赋值的会话编号与前一次会话编号可相同，可不相同；数据内容设置为普通摄像头的设备编号20220001。
28.通信会话建立后，请参见图6，利用新的数据传输协议进行数据传输，此时包头结构中数据类型字段记录的传输数据类型对应的编号还有图片数据、图片数据已收到消息各自对应的编号，具体地：普通摄像头通过tcp协议链接到智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为图片数据的数据包传输于智能摄像头。在tcp数据传输过程中传输图片数据的数据包形式如图7(a)所示，其中，数据类型设置为3，表示图片数据对应的编号；数据内容设置为当前传输的图片数据。
29.智能摄像头接收到数据包后，进行智能识别，判断若不存在违规事件，表示一切正常，则计算普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于普通摄像头。在tcp数据传输过程中传输图片数据已收到消息的数据包形式如图7(b)所示，其中，数据类型设置为4，表示图片数据已收到消息对应的编号；数据内容设置为采样频率，比如采样频率为3张/秒。
30.普通摄像头接收到数据包后，将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以采样频率拍摄的图片数据的数据包继续传输于智能摄像头，进行新一轮的普通摄像头拍摄图片数据的传输。在tcp数据传输过程中传输图片数据的数据包形式如7(c)所示，其中，图7(a)和图7(c)均为图片数据传输的数据包，不同的是，图7(c)中数据包编号设置为上一数据包中数据包编号自增的数据，图片数据为以采样频率重新拍摄的图片数据。
31.上述为通信会话建立后不存在违规事件的正常流程，但是针对存在违规事件的情况，请参见图8，本发明实施例利用新的数据传输协议对如图6所示数据传输过程中可能存在的违规事件进行处理，处理中包头结构中数据类型字段记录的传输数据类型对应的编号还有请求视频数据消息、视频数据和结束视频数据消息各自对应的编号，具体地：智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于普通摄像头。在tcp数据传输过程中传输请求视频数据消息的数据包形式如图9
(a)所示，其中，数据类型设置为5，表示请求视频数据消息对应的编号；数据内容设置为0。
32.普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为违规事件对应的视频数据的数据包传输于智能摄像头。在tcp数据传输过程中传输视频数据的数据包形式如图9(b)所示，其中，数据类型设置为6，表示视频数据对应的编号；数据内容设置为视频数据。
33.智能摄像头接收到数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将违规事件及其对应的视频数据传输于后端服务器，后续视频数据可不再做智能识别，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于普通摄像头。在tcp数据传输过程中传输结束视频数据消息的数据包形式如图9(c)所示，其中，数据类型设置为7，表示结束视频数据消息对应的编号；数据内容设置为0。
34.同时，智能摄像头将告警数据完成消息传输于后端服务器，完成本次异常告警事件。
35.这里需要说明的是，智能摄像头与后端服务器之间可以采用现有数据传输协议进行消息/数据传输，在本发明实施例不再赘述。
36.本发明实施例提供了另一种可选方案，类似于tcp协议通信，若数据传输过程是基于udp协议通信，在普通摄像头将拍摄的图片传输于智能摄像头之前，智能摄像头侧建立udp协议链接监听端口，普通摄像头通过udp协议链接到智能摄像头，请参见图10，智能摄像头与普通摄像头之间利用新的数据传输协议建立通信会话，由普通摄像头发送认证信息；对应在通信会话建立过程中，本发明实施例提出的包头结构中数据类型字段记录的传输数据类型对应的编号有认证信息和会话信息分别对应的编号两者，具体地：普通摄像头通过udp协议链接到智能摄像头，并将携带有数据类型字段记录为认证信息对应的编号、数据内容字段记录为普通摄像头设备编号的数据包传输于智能摄像头。在udp通信会话建立过程中传输于智能摄像头的数据包形式如图11(a)所示，其中，图11(a)中各项参数的含义请参见图5(a)。
37.智能摄像头接收到数据包后，判断发送数据包的普通摄像头是否为合法设备，若为非法设备，则忽略该信息，不做任何处理，若为合法设备，则生成会话信息，保存发送方普通摄像头的认证数据、链接信息和会话编码组成的会话信息，并将携带有数据类型字段记录为会话信息对应的编号、数据内容字段记录为普通摄像头设备编号的数据包传输于普通摄像头。在udp通信会话建立过程中传输于普通摄像头的数据包形式如图11(b)所示，其中，图11(b)中各项参数的含义请参见图5(b)。
38.这里，图11(a)和图5(a)与图11(b)和图5(b)对应处理相同，只是为了进一步说明在udp数据传输过程中数据包的完整变化过程。
39.本发明实施例中普通摄像头发送认证信息后，3秒之内如果没有收到智能摄像头发送的会话信息，则重复发送认证信息，直到普通摄像头收到智能摄像头传输的会话信息为止。
40.通信会话建立后，请参见图12，利用新的数据传输协议进行数据传输，普通摄像头通过udp协议发送图片数据时，分包进行数据传输，每次发送预设图片阈值大小的图片数据，比如每次发送1000字节图片数据，收到图片数据确认包后以同样预设图片阈值大小发
送后面的图片数据，如果超时后未收到图片数据确认包，则再次发送当前未发送成功的图片数据。因此，本发明实施例针对udp协议通信提出的对应包头结构中数据类型字段记录的传输数据类型对应的编号还有图片数据、图片数据确认包、图片数据已收到消息、采样频率确认包各自对应的编号，具体地：普通摄像头通过udp协议链接到智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为当前时刻传输的图片数据对应的偏移量和图片数据的数据包传输于智能摄像头。在udp数据传输过程中传输图片数据的数据包形式如图13(a)所示，其中，数据类型设置为3，表示图片数据对应的编号；数据内容设置为偏移量和当前传输的偏移量指向的图片数据，前两个字节表示当前图片数据在整个图片数据中的偏移量。可见，对于udp协议通信，数据传输过程中，因为是分多包传输整个图片数据，传输数据内容为当前时刻传输的图片数据对应的偏移量和图片数据。
41.智能摄像头接收到数据包后，将携带有数据类型字段记录为图片数据确认包对应的编号、数据内容字段记录为已接收图片数据在图片中的偏移量的数据包传输于普通摄像头。在udp数据传输过程中传输图片数据确认包的数据包形式如图13(b)所示，其中，数据类型设置为11，表示图片数据确认包对应的编号；数据内容设置为偏移量，用于计算后续传输的图片数据。
42.普通摄像头接收到数据包后，根据数据包中已接收图片数据在图片中的偏移量计算下一时刻传输的图片数据，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为下一时刻传输的图片数据对应的偏移量和图片数据的数据包传输于智能摄像头，直到完成整个图片数据从普通摄像头到智能摄像头的传输。在udp数据传输过程中再次传输图片数据的数据包形式如图13(c)所示，其中，图13(c)中各项参数的含义请参见图13(a)，图13(c)和13(a)均为图片数据传输的数据包，不同的是，图13(c)中数据包编号设置为上一数据包中数据包编号自增的数据，图片数据为根据上一数据包发送的偏移量计算得到下一时刻传输的图片数据。
43.本发明实施例中普通摄像头在每次收到图片数据确认包后发送后面的图片数据，如果超时未收到图片数据确认包，则重复发送之前未发送成功的图片数据，以完成整个图片数据的传输。
44.智能摄像头接收到整个图片数据对应的数据包后，进行智能识别，判断若不存在违规事件，表明一切正常，则计算普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于普通摄像头。在udp数据传输过程中传输图片数据已收到消息的数据包形式如图13(d)所示，其中，图13(d)中各项参数的含义请参见图7(b)。
45.普通摄像头接收到数据包后，将携带有数据类型字段记录为采样频率确认包对应的编号、数据内容字段记录为0的数据包传输于智能摄像头。在udp数据传输过程中传输采样频率确认包的数据包形式如图13(e)所示，其中，数据类型设置为13，表示采样频率确认包对应的编号；数据内容设置为0。
46.如果普通摄像头超时后未收到采样频率确认包，则智能摄像头重新发送图片数据已收到消息。
47.接着，进行新一轮的普通摄像头拍摄图片数据的传输，新一轮是普通摄像头以采
样频率拍摄的图片数据，依然是每次发送预设图片阈值大小的图片数据，将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以采样频率拍摄的图片数据的数据包继续传输于智能摄像头，执行如图13(f)和图13(g)所示的数据包传输，图13(f)和图13(g)中各项参数的含义分别请参见图13(a)和图13(b)，直至整个图片数据传输完成。
48.同tcp协议通信，针对存在违规事件的情况，请参见图14，本发明实施例利用新的数据传输协议对如图12所示数据传输过程中可能存在的违规事件进行处理，处理中包头结构中数据类型字段记录的传输数据类型对应的编号还有请求视频数据消息、视频数据、视频数据确认包、结束视频数据消息和结束视频数据消息确认包各自对应的编号，具体地：智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于普通摄像头。在udp数据传输过程中传输请求视频数据消息的数据包形式如图15(a)所示，其中，图15(a)中各项参数的含义请参见图 9(a)。
49.普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为违规事件对应的当前时刻传输的视频数据对应的帧编号、偏移量和帧数据的数据包传输于智能摄像头。在udp数据传输过程中传输当前时刻的视频数据的数据包形式如图15(b)所示，其中，由于在udp数据传输过程中，视频数据是根据预设视频阈值大小进行分包传输，比如每次最大发送1000字节视频数据，因此，在包体结构中数据内容字段设置为当前时刻传输的视频数据对应的帧编号、偏移量和帧数据，具体2个字节的帧编号，2个字节的偏移量和最大998字节的帧数据。
50.智能摄像头接收到数据包后，将携带有数据类型字段记录为视频数据确认包对应的编号、数据内容字段记录为已接收视频数据的帧编号和偏移量的数据包传输于普通摄像头。在udp数据传输过程中传输视频数据确认包的数据包形式如图15(c)所示，其中，数据类型设置为12，表示视频数据确认包对应的编号；数据内容设置为已接收视频数据的帧编号和偏移量，用于计算后续传输的视频数据。
51.普通摄像头接收到数据包后，根据数据包中已接收视频数据的帧编号和偏移量计算下一时刻传输的视频数据，并将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为违规事件对应的下一时刻传输的视频数据对应的帧编号、偏移量和帧数据的数据包传输于智能摄像头，直到完成整个视频数据从普通摄像头到智能摄像头的传输。在udp数据传输过程中传输下一时刻的视频数据的数据包形式如图15(d)所示，其中，图15(d)中各项参数的含义请参见图15(b)。
52.本发明实施例中普通摄像头在每次收到视频数据确认包后发送后面的视频数据，如果超时未收到视频数据确认包，则重复发送之前未发送成功的视频数据，以完成整个视频数据的传输。
53.智能摄像头接收到整个视频数据对应的数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将违规事件及其对应的视频传输于后端服务器，后续视频数据可不再做智能识别，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于普通摄像头。在udp数据传输过程中传输结束视频数据消息的数据包形式如图15(e)所示，其中，图15(e)中各项参数的含义请参见图9(c)。
54.普通摄像头接收到数据包后，将携带有数据类型字段记录为结束视频数据消息确认包对应的编号、数据内容字段记录为0的数据包传输于智能摄像头。在udp数据传输过程中结束视频数据消息确认包的数据包形式如图15(f)所示，其中，数据类型设置为14，表示结束视频数据消息确认包对应的编号；数据内容设置为0。
55.同时，智能摄像头将告警数据完成消息传输于后端服务器，完成本次异常告警事件。
56.进一步地，基于tcp协议通信和udp协议通信的数据传输中，可以采用固定的采样频率，也可以根据实时数据传输情况进行采样频率的动态计算，本发明实施例提供了一种计算普通摄像头的采样频率的可选方案，包括：智能摄像头根据实时负载，动态计算普通摄像头传输图片数据的采样频率；对应公式表示为：；其中，表示普通摄像头的采样频率，表示智能摄像头的总算力，表示智能摄像头当前计算视频数据时消耗的算力，表示计算一张图片数据平均消耗的算力，表示智能摄像头接入的普通摄像头数量。
57.可见，本发明实施例为了更好的利用智能摄像头的计算力，实时根据智能摄像头计算消耗情况控制普通摄像头的采样频率，从而提高智能摄像头的有效利用。
58.进一步地，本发明实施例智能摄像头将识别确定的违规事件及对应的视频数据传输于后端服务器后，后端服务器根据接收到的违规事件，生成告警事件，并保存违规事件及其对应的视频数据。
59.需要说明的是，本发明实施例智能摄像头和任一普通摄像头之间的数据传输不局限于tcp协议通信、udp协议通信，还可以采用其他协议通信进行数据传输，数据传输过程中采用本发明实施例类似定义的新的数据传输协议即可。
60.第二方面、本发明实施例提供了一种监控系统，包括由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群，以及后端服务器，其中，智能摄像头和任一普通摄像头之间利用第一方面中提供的应用于智能识别终端群的数据传输方法进行数据传输。
61.本发明实施例提出的监控系统，将普通摄像头和智能摄像头通过网络联机到一起构成一个智能识别终端群，智能摄像头定时查询普通摄像头拍摄的图片数据并对图片数据进行行为识别、人脸识别、侵入识别等智能处理，从而使得普通摄像头看似也能拥有智能处理能力。同时，在只有出现异常违规事件时，才将对应的视频数据传输给智能摄像头进行进一步判断，并将再次判断的异常违规事件及对应的视频数据传输给后端服务器，从而节省网络带宽和后端服务器的存储空间。
62.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
63.尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看说明书及其附图，可理解并实现所述公开实施例的其他变化。在说明书中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
64.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
技术特征：1.一种应用于智能识别终端群的数据传输方法，其特征在于，应用于由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群中，所述方法包括：所述普通摄像头将拍摄的图片数据传输于所述智能摄像头；所述智能摄像头对接收的图片数据进行智能识别，判断是否存在违规事件；若存在，则所述智能摄像头通知所述普通摄像头将其拍摄的与图片数据对应的视频数据传输于所述智能摄像头；所述智能摄像头对接收的视频数据进行二次智能识别，判断是否依然存在违规事件；若存在，则所述智能摄像头将识别确定的违规事件及其对应的视频数据传输于后端服务器；其中，整个数据传输过程中，所述智能摄像头和任一所述普通摄像头之间使用新的数据传输协议进行数据传输；在新的数据传输协议中数据包包括包头结构和包体结构，所述包头结构中包含有包头位置标识位字段和数据类型字段，所述包头位置标识位字段用于记录数据传输过程中对应数据包开头位置，所述数据类型字段用于记录传输数据类型对应的编号，所述包体结构包括数据内容字段，所述数据内容字段用于记录数据传输过程中传输数据类型对应的数据内容。2.根据权利要求1所述的应用于智能识别终端群的数据传输方法，其特征在于，若数据传输过程是基于tcp协议通信，在所述普通摄像头将拍摄的图片传输于所述智能摄像头之前，还包括：所述普通摄像头与所述智能摄像头之间建立tcp链接。3.根据权利要求1所述的应用于智能识别终端群的数据传输方法，其特征在于，若数据传输过程是基于tcp协议通信或udp协议通信，在所述普通摄像头将拍摄的图片传输于所述智能摄像头之前，还包括：所述智能摄像头与所述普通摄像头之间建立通信会话，包括：所述普通摄像头通过tcp协议或udp协议链接到所述智能摄像头，并将携带有数据类型字段记录为认证信息对应的编号、数据内容字段记录为普通摄像头的设备编号的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，判断发送数据包的普通摄像头是否为合法设备，若为非法设备，则断开tcp链接或不做任何处理，若为合法设备，则生成会话信息，并将携带有数据类型字段记录为会话信息对应的编号、数据内容字段记录为普通摄像头的设备编号的数据包传输于所述普通摄像头。4.根据权利要求3所述的应用于智能识别终端群的数据传输方法，其特征在于，在通信会话建立后，若数据传输过程是基于tcp协议通信，则数据传输过程包括：所述普通摄像头通过tcp协议链接到所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为图片数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，进行智能识别，判断若不存在违规事件，则计算所述普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以所述采样频率拍摄的图片数据的数据包继续传输于所述智能摄
像头。5.根据权利要求4所述的应用于智能识别终端群的数据传输方法，其特征在于，若数据传输过程是基于tcp协议通信，则数据传输过程还包括：所述智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则所述智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的视频数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将所述违规事件及其对应的视频数据传输于所述后端服务器，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；同时，所述智能摄像头将告警数据完成消息传输于所述后端服务器。6.根据权利要求3所述的应用于智能识别终端群的数据传输方法，其特征在于，在通信会话建立后，若数据传输过程是基于udp协议通信，则数据传输过程包括：所述普通摄像头通过udp协议链接到所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为当前时刻传输的图片数据对应的偏移量和图片数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，将携带有数据类型字段记录为图片数据确认包对应的编号、数据内容字段记录为已接收图片数据在图片中的偏移量的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，根据数据包中已接收图片数据在图片中的偏移量计算下一时刻传输的图片数据，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为下一时刻传输的图片数据对应的偏移量和图片数据的数据包传输于所述智能摄像头，直到完成整个图片数据从所述普通摄像头到所述智能摄像头的传输；所述智能摄像头接收到整个图片数据对应的数据包后，进行智能识别，判断若不存在违规事件，则计算所述普通摄像头的采样频率，并将携带有数据类型字段记录为图片数据已收到消息对应的编号、数据内容字段记录为采样频率的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为采样频率确认包对应的编号、数据内容字段记录为0的数据包传输于所述智能摄像头，并将携带有数据类型字段记录为图片数据对应的编号、数据内容字段记录为以所述采样频率拍摄的图片数据的数据包继续分包传输于所述智能摄像头。7.根据权利要求6所述的应用于智能识别终端群的数据传输方法，其特征在于，若数据传输过程是基于udp协议通信，则数据传输过程还包括：所述智能摄像头接收到数据包后，进行智能识别，判断若存在违规事件，则所述智能摄像头将携带有数据类型字段记录为请求视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的当前时刻传输的视频数据对应的帧编号、偏
移量和帧数据的数据包传输于所述智能摄像头；所述智能摄像头接收到数据包后，将携带有数据类型字段记录为视频数据确认包对应的编号、数据内容字段记录为已接收视频数据的帧编号和偏移量的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，根据数据包中已接收视频数据的帧编号和偏移量计算下一时刻传输的视频数据，并将携带有数据类型字段记录为视频数据对应的编号、数据内容字段记录为所述违规事件对应的下一时刻传输的视频数据对应的帧编号、偏移量和帧数据的数据包传输于所述智能摄像头，直到完成整个视频数据从所述普通摄像头到所述智能摄像头的传输；所述智能摄像头接收到整个视频数据对应的数据包后，进行二次智能识别，判断是否依然存在违规事件，若不存在，不做任何处理，若存在，直接将所述违规事件及其对应的视频数据传输于所述后端服务器，并将携带有数据类型字段记录为结束视频数据消息对应的编号、数据内容字段记录为0的数据包传输于所述普通摄像头；所述普通摄像头接收到数据包后，将携带有数据类型字段记录为结束视频数据消息确认包对应的编号、数据内容字段记录为0的数据包传输于所述智能摄像头；同时，所述智能摄像头将告警数据完成消息传输于所述后端服务器。8.根据权利要求4或6所述的应用于智能识别终端群的数据传输方法，其特征在于，计算所述普通摄像头的采样频率，包括：所述智能摄像头根据实时负载，动态计算所述普通摄像头传输图片数据的采样频率；对应公式表示为：；其中，表示所述普通摄像头的采样频率，表示所述智能摄像头的总算力，表示所述智能摄像头当前计算视频数据时消耗的算力，表示计算一张图片数据平均消耗的算力，表示所述智能摄像头接入的普通摄像头数量。9.根据权利要求1所述的应用于智能识别终端群的数据传输方法，其特征在于，所述方法还包括：所述后端服务器接收到所述违规事件后，生成告警事件，并保存所述违规事件及其对应的视频数据。10.一种监控系统，其特征在于，包括由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群以及后端服务器，其中，所述智能摄像头和任一所述普通摄像头之间利用权利要求1~9任一所述的应用于智能识别终端群的数据传输方法进行数据传输。
技术总结本发明公开了一种应用于智能识别终端群的数据传输方法及监控系统，应用于由至少一个智能摄像头和多个普通摄像头组成的智能识别终端群中，方法包括：普通摄像头将拍摄的图片数据传输于智能摄像头；智能摄像头对接收的图片数据进行智能识别，判断是否存在违规事件；若存在，智能摄像头通知普通摄像头将其拍摄的视频数据传输于智能摄像头；智能摄像头对接收的视频数据进行二次智能识别，判断是否存在违规事件；若存在，智能摄像头将违规事件及对应的视频数据传输于后端服务器；其中，整个数据传输过程中，智能摄像头和任一普通摄像头之间根据数据传输需求定义了新的数据传输协议进行数据传输。本发明节省了网络带宽和后端服务器存储空间。器存储空间。器存储空间。
技术研发人员：戴光 关福俊 赵宏斌 刘伟 冯杰 李哲 孙力 张锐
受保护的技术使用者：中关村芯海择优科技有限公司
技术研发日：2022.10.27
技术公布日：2022/12/16
