本发明涉及安防监控技术领域，特别涉及一种智能视频监控通信系统。
背景技术：
随着深度学习技术的持续发展，人工智能已经应用在生产、生活的各个方面。特别是目标识别、目标跟踪、目标检测技术的日趋成熟，为安防监控技术带来了新的突破，基于网络相机的视频预警、目标计数、目标跟踪等场景的应用更是拉近了安防与人工智能的距离。但技术难度高、开发周期长、研发投入大，严重阻碍了人工智能进入生产、生活领域的进度。首先现有安防协议中并不支持人工智能算法协议，需要重新定义传统安防协议，同时需要开发新的应用逻辑框架以便支持人工智能算法的不同阶段、不同场景的数据与通信管理。设备管理上既要支持基于人工智能算法的智能化自主设备运行模式，也需要支持人工可随时干预控制模式。因此需要一种应用框架兼容传统视频监控通信，并支持新型基于人工智能与边缘计算的视频监控新通信与管理应用框架。
技术实现要素：
本发明的目的是：针对现有技术的不足，提供一种将目标识别、目标跟踪、目标检测三大智能模块融于一体的边缘端边缘计算与通信系统。
本发明的技术方案是：一种用于视频监控的边缘计算与通信系统，它包括：资源调度模块、数据存储模块、网络传输模块、视频解析模块、边缘计算模块以及图像处理模块。
边缘计算模块包括：目标识别模块、目标跟踪模块以及目标检测模块；其中：目标识别模块基于深度学习，采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外hog特征加权求和方式对图像中移动物体的类型、位置进行识别；目标识别模块支持识别目标分类包括行人、机动车、船舶、飞机以及等多种物体，识别类型可扩展；参数配置包括：目标识别阈值、目标识别种类；目标识别信息包括：目标区域标号、目标标号、目标类别、目标位置。目标跟踪模块基于深度学习，采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；目标跟踪模块支持目标手动跟踪和目标自动跟踪两种状态，其中，目标手动跟踪参数配置包括：云台权限、目标区域标号、目标位置列表；自动跟踪参数配置包括：云台权限、目标区域标号、目标类型；目标手动跟踪信息包括：目标区域标号、时间戳、目标跟踪状态、目标位置。目标检测模块基于深度学习，采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；目标检测模块的参数配置包括：目标区域坐标、目标最小过滤面积、目标最大过滤面积、目标帧差数、检测精度、目标重置系数、目标过滤方向；目标检测结果信息包括：目标区域标记、目标标号、目标坐标列表与数据存储模块、网络传输模块、视频解析模块、图像处理模块建立数据连接；网络传输模块与视频解析模块建立数据连接；视频解析模块与图像处理模块、边缘计算模块建立数据连接；边缘计算模块与图像处理模块建立数据连接；资源调度模块用于对数据存储模块、网络传输模块、视频解析模块、边缘计算模块以及图像处理模块进行触发。
当资源调度模块触发网络传输模块时，网络传输模块激活网络相机的数据传输服务以及视频解析模块的指令传输服务，视频解析模块向资源调度模块注册视频更新事件，网络相机通过网络传输模块向视频解析模块发送视频数据，视频解析模块对视频数据进行解码，并将解码后的视频数据存入图像处理模块；当资源调度模块从客户端接收到目标识别、目标跟踪、目标检测的指令时，资源调度模块对边缘计算模块中的相应模块进行触发，目标识别模块、目标跟踪模块、目标检测模块从视频解析模块获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；图像处理模块将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，图像处理模块对编码后的视频数据进行存储并触发资源调度模块中的图像更新事件，资源调度模块将编码后的视频数据送至客户端。
在上述方案的基础上，进一步的，资源调度模块还用于开辟系统所需空间，读取/写入系统配置，注册/注销系统事件，开启事件监听和异常收集、诊断、响应机制，开放模块注册端口等待模块组件注册。资源调度模块包括：模块管理单元、第一事件管理单元、异常处理单元以及日志记录单元；模块管理单元用于对通信系统中其它模块的功能进行管理；第一事件管理单元用于根据事件对通信系统中其它模块进行调度；异常处理单元用于收集并处理通信系统中其它模块中异常事件；日志记录单元用于读取或写入通信系统中其它模块的各项参数。
在上述方案的基础上，进一步的，数据存储模块包括：数据存储单元以及数据读取单元；数据存储单元与数据读取单元分别用于通信系统数据的存储与读取。
在上述方案的基础上，进一步的，网络传输模块包括：数据传输单元以及指令传输单元；数据传输单元用于传输网络相机所发送的视频数据，指令传输单元用于传输通信系统所发出的各项指令。
在上述方案的基础上，进一步的，视频解析模块包括：视频解码单元以及第二事件管理单元；视频解码单元用于对网络传输模块所传输的视频数据进行解码，并将解码后的视频数据存入图像处理模块；第二事件管理单元用于对本模块中的事件进行管理。
在上述方案的基础上，进一步的，目标识别模块包括：识别算法配置单元、识别信息处理单元以及第三事件管理单元；识别算法配置单元用于对接收/发送目标识别算法，识别信息处理单元用于响应目标识别算法并对解码后的视频数据中的目标进行识别；第三事件管理单元用于对本模块中的事件进行管理。
在上述方案的基础上，进一步的，目标跟踪模块包括：跟踪算法配置单元、跟踪信息处理单元以及第四事件管理单元；跟踪算法配置单元用于对接收/发送目标跟踪算法，跟踪信息处理单元用于响应目标跟踪算法并对解码后的视频数据中的目标进行跟踪；第四事件管理单元用于对本模块中的事件进行管理。
在上述方案的基础上，进一步的，目标检测模块包括：检测算法配置单元、检测信息处理单元以及第五事件管理单元；检测算法配置单元用于对接收/发送目标检测算法，检测信息处理单元用于响应目标检测算法并对解码后的视频数据中的目标进行检测；第五事件管理单元用于对本模块中的事件进行管理。
在上述方案的基础上，进一步的，图像处理模块包括：图像叠加单元、图像编码单元以及图像存储单元；图像叠加单元用于读取视频解析模块中解码后的视频数据，并将目标识别模块、目标跟踪模块、目标检测模块的目标识别、跟踪、检测的结果信息叠加至解码后的视频数据；图像编码单元对叠加有结果信息的视频数据进行编码转换为视频传输数据；图像存储单元用于对叠加有结果信息的视频数据进行存储。
在上述方案的基础上，进一步的，边缘计算模块的数量为一个或一个以上。
有益效果：本发明结合边缘端深度学习应用框架，高效网络传输机制以及成熟的图形图像处理技术，将目标识别、目标跟踪、目标检测三大智能监控功能融于一体，对红外或可见光视频进行图像识别、跟踪以及动目标检测，并通过网络传输方式将目标分类、标注、位置等细节信息传输至客户端。本发明为用户提供丰富、简洁的使用接口，提供了高可靠、高灵敏度、远程监控的图像、识别以及跟踪解决方案。
附图说明
图1为本发明实施例1的结构框图；
图2为本发明实施例2的结构框图；
图中：1-资源调度模块、1.1-模块管理单元、1.2-第一事件管理单元、1.3-异常处理单元、1.4-日志记录单元、2-数据存储模块、2.1-数据存储单元、2.2-数据读取单元、3-网络传输模块、3.1-数据传输单元、3.2-指令传输单元、4-视频解析模块、4.1-视频解码单元、4.2-第二事件管理单元、5-图像处理模块、5.1-图像叠加单元、5.2-图像编码单元、5.3-图像存储单元、6-目标识别模块、6.1-识别算法配置单元、6.2-识别信息处理单元、6.3-第三事件管理单元、7-目标跟踪模块7.1-跟踪算法配置单元、7.2-跟踪信息处理单元、7.3-第四事件管理单元、8-目标检测模块、8.1-检测算法配置单元、8.2-检测信息处理单元、8.3-第五事件管理单元、9-客户端、10-网络相机。
具体实施方式
实施例1，参见附图1，一种用于视频监控的边缘计算与通信系统，它包括：资源调度模块1、数据存储模块2、网络传输模块3、视频解析模块4、边缘计算模块以及图像处理模块5。
资源调度模块1用于对数据存储模块2、网络传输模块3、视频解析模块4、边缘计算模块以及图像处理模块5进行触发，开辟系统所需空间，读取/写入系统配置，注册/注销系统事件，开启事件监听和异常收集、诊断、响应机制，开放模块注册端口等待模块组件注册。
边缘计算模块包括：目标识别模块6、目标跟踪模块7以及目标检测模块8；其中：目标识别模块6基于深度学习，采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外hog特征加权求和方式对图像中移动物体的类型、位置进行识别；目标识别模块6支持识别目标分类包括行人、机动车；参数配置包括：目标识别阈值、目标识别种类；目标识别信息包括：目标区域标号、目标标号、目标类别、目标位置。目标跟踪模块7基于深度学习，采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；目标跟踪模块7支持目标手动跟踪和目标自动跟踪两种状态，其中，目标手动跟踪参数配置包括：云台权限、目标区域标号、目标位置列表；自动跟踪参数配置包括：云台权限、目标区域标号、目标类型；目标手动跟踪信息包括：目标区域标号、时间戳、目标跟踪状态、目标位置。目标检测模块8基于深度学习，采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；目标检测模块8的参数配置包括：目标区域坐标、目标最小过滤面积、目标最大过滤面积、目标帧差数、检测精度、目标重置系数、目标过滤方向；目标检测结果信息包括：目标区域标记、目标标号、目标坐标列表、时间戳。接入所述系统的边缘计算模块的数量为一个或一个以上。
资源调度模块1与数据存储模块2、网络传输模块3、视频解析模块4、图像处理模块5建立数据连接；网络传输模块3与视频解析模块4建立数据连接；视频解析模块4与图像处理模块5、边缘计算模块建立数据连接；边缘计算模块与图像处理模块5建立数据连接；资源调度模块1用于对数据存储模块2、网络传输模块3、视频解析模块4、边缘计算模块以及图像处理模块5进行触发；
当资源调度模块1触发网络传输模块3时，网络传输模块3激活网络相机10的数据传输服务以及视频解析模块4的指令传输服务，视频解析模块4向资源调度模块1注册视频更新事件，网络相机10通过网络传输模块3向视频解析模块4发送视频数据，视频解析模块4对视频数据进行解码，并将解码后的视频数据存入图像处理模块5；当资源调度模块1从客户端9接收到目标识别、目标跟踪、目标检测的指令时，资源调度模块1对边缘计算模块中的相应模块进行触发，目标识别模块6、目标跟踪模块7、目标检测模块8从视频解析模块4获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；图像处理模块5将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，图像处理模块5对编码后的视频数据进行存储并触发资源调度模块1中的图像更新事件；资源调度模块1在每个时钟周期内遍历响应所有已触发事件，将编码后的视频数据送至客户端9。
实施例2，参见附图2，在实施例1的基础上，对所述系统中的各模块做进一步细化：
资源调度模块1包括：模块管理单元1.1、第一事件管理单元1.2、异常处理单元1.3以及日志记录单元1.4；模块管理单元1.1用于对通信系统中其它模块的功能进行管理；第一事件管理单元1.2用于根据事件对通信系统中其它模块进行调度；异常处理单元1.3用于收集并处理通信系统中其它模块中异常事件；日志记录单元1.4用于读取或写入通信系统中其它模块的各项参数。
数据存储模块2包括：数据存储单元2.1以及数据读取单元2.2；数据存储单元2.1与数据读取单元2.2分别用于通信系统数据的存储与读取。
网络传输模块3包括：数据传输单元3.1以及指令传输单元3.2；数据传输单元3.1用于传输网络相机10所发送的视频数据，指令传输单元3.2用于传输通信系统所发出的各项指令。
视频解析模块4包括：视频解码单元4.1以及第二事件管理单元4.2；视频解码单元4.1用于对网络传输模块3所传输的视频数据进行解码，并将解码后的视频数据存入图像处理模块5；第二事件管理单元4.2用于对本模块中的事件进行管理。
目标识别模块6包括：识别算法配置单元6.1、识别信息处理单元6.2以及第三事件管理单元6.3；识别算法配置单元6.1用于对接收/发送目标识别算法，识别信息处理单元6.2用于响应目标识别算法并对解码后的视频数据中的目标进行识别；第三事件管理单元6.3用于对本模块中的事件进行管理。
目标跟踪模块7包括：跟踪算法配置单元7.1、跟踪信息处理单元7.2以及第四事件管理单元7.3；跟踪算法配置单元7.1用于对接收/发送目标跟踪算法，跟踪信息处理单元7.2用于响应目标跟踪算法并对解码后的视频数据中的目标进行跟踪；第四事件管理单元7.3用于对本模块中的事件进行管理。
目标检测模块8包括：检测算法配置单元8.1、检测信息处理单元8.2以及第五事件管理单元8.3；检测算法配置单元8.1用于对接收/发送目标检测算法，检测信息处理单元8.2用于响应目标检测算法并对解码后的视频数据中的目标进行检测；第五事件管理单元8.3用于对本模块中的事件进行管理。
图像处理模块5包括：图像叠加单元5.1、图像编码单元5.2以及图像存储单元5.3；图像叠加单元5.1用于读取视频解析模块4中解码后的视频数据，并将目标识别模块6、目标跟踪模块7、目标检测模块8的目标识别、跟踪、检测的结果信息叠加至解码后的视频数据；图像编码单元5.2对叠加有结果信息的视频数据进行编码转换为视频传输数据；图像存储单元5.3用于对叠加有结果信息的视频数据进行存储。
上述各单元中，模块管理单元1.1与数据读取单元2.2、指令传输单元3.2、识别算法配置单元6.1、识别信息处理单元6.2、跟踪算法配置单元7.1、跟踪信息处理单元7.2、检测算法配置单元8.1、检测信息处理单元8.2、图像编码单元5.2以及图像存储单元5.3建立连接；第一事件管理单元1.2与数据存储单元2.1、第二事件管理单元4.2、第三事件管理单元6.3、第四事件管理单元7.3、第五事件管理单元8.3建立连接；异常处理单元1.3与第一事件管理单元1.2建立连接；日志记录单元1.4与第一事件管理单元1.2建立连接；数据传输单元3.1与视频解码单元4.1建立连接；视频解码单元4.1、识别信息处理单元6.2、跟踪信息处理单元7.2、检测信息处理单元8.2与图像叠加单元5.1建立连接；图像叠加单元5.1与图像编码单元5.2建立连接。
实施例3，在实施例1或2的基础上，对所述系统中的各模块的功能/参数做进一步限定：
资源调度模块1的事件处理周期不小于20ms。
数据存储模块2支持数据本地文件读写与网络数据库读写两种方式，数据存储模块2的读取速率不小于4096byte/s，数据存储速率不小于2048byte/s。
网络传输模块3支持基于tcp的指令传输和基于udp的数据传输，其中，udp传输速率不小于2048byte/s，tcp传输速率不小于1024byte/s。
视频解析模块4支持h264、h265、mpeg三种视频解码能力，支持标准onvif、rtsp以及网络相机私有视频协议。
图像处理模块5支持目标区域动态绘制、越界统计线动态绘制、目标跟踪框动态绘制、文字动态叠加，视频编码格式包括h264、h265、mpeg。
目标识别模块6支持目标最小像素为14*14px。
目标跟踪模块7支持目标最小像素5*5px。
目标检测模块8支持目标最小像素3*3px。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
1.一种用于视频监控的边缘计算与通信系统，其特征在于：它包括：资源调度模块(1)、数据存储模块(2)、网络传输模块(3)、视频解析模块(4)、边缘计算模块以及图像处理模块(5)；
所述边缘计算模块包括：目标识别模块(6)、目标跟踪模块(7)以及目标检测模块(8)；其中：所述目标识别模块(6)采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外hog特征加权求和方式对图像中移动物体的类型、位置进行识别；所述目标跟踪模块(7)采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；所述目标检测模块(8)采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；
所述资源调度模块(1)与所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述图像处理模块(5)建立数据连接；所述网络传输模块(3)与所述视频解析模块(4)建立数据连接；所述视频解析模块(4)与所述图像处理模块(5)、所述边缘计算模块建立数据连接；所述边缘计算模块与所述图像处理模块(5)建立数据连接；所述资源调度模块(1)用于对所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述边缘计算模块以及所述图像处理模块(5)进行触发；
当所述资源调度模块(1)触发所述网络传输模块(3)时，所述网络传输模块(3)激活网络相机(10)的数据传输服务以及所述视频解析模块(4)的指令传输服务，所述视频解析模块(4)向所述资源调度模块(1)注册视频更新事件，所述网络相机(10)通过所述网络传输模块(3)向所述视频解析模块(4)发送视频数据，所述视频解析模块(4)对视频数据进行解码，并将解码后的视频数据存入所述图像处理模块(5)；当所述资源调度模块(1)从客户端(9)接收到目标识别、目标跟踪、目标检测的指令时，所述资源调度模块(1)对所述边缘计算模块中的相应模块进行触发，所述目标识别模块(6)、所述目标跟踪模块(7)、所述目标检测模块(8)从所述视频解析模块(4)获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；所述图像处理模块(5)将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，所述图像处理模块(5)对编码后的视频数据进行存储并触发所述资源调度模块(1)中的图像更新事件，所述资源调度模块(1)将编码后的视频数据送至所述客户端(9)。
2.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述资源调度模块(1)包括：模块管理单元(1.1)、第一事件管理单元(1.2)、异常处理单元(1.3)以及日志记录单元(1.4)；所述模块管理单元(1.1)用于对所述通信系统中其它模块的功能进行管理；所述第一事件管理单元(1.2)用于根据事件对所述通信系统中其它模块进行调度；所述异常处理单元(1.3)用于收集并处理所述通信系统中其它模块中异常事件；所述日志记录单元(1.4)用于读取或写入所述通信系统中其它模块的各项参数。
3.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述数据存储模块(2)包括：数据存储单元(2.1)以及数据读取单元(2.2)；所述数据存储单元(2.1)与所述数据读取单元(2.2)分别用于所述通信系统数据的存储与读取。
4.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：网络传输模块(3)包括：数据传输单元(3.1)以及指令传输单元(3.2)；所述数据传输单元(3.1)用于传输所述网络相机(10)所发送的视频数据，所述指令传输单元(3.2)用于传输所述通信系统所发出的各项指令。
5.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述视频解析模块(4)包括：视频解码单元(4.1)以及第二事件管理单元(4.2)；所述视频解码单元(4.1)用于对所述网络传输模块(3)所传输的视频数据进行解码，并将解码后的视频数据存入所述图像处理模块(5)；所述第二事件管理单元(4.2)用于对本模块中的事件进行管理。
6.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述目标识别模块(6)包括：识别算法配置单元(6.1)、识别信息处理单元(6.2)以及第三事件管理单元(6.3)；所述识别算法配置单元(6.1)用于对接收/发送目标识别算法，所述识别信息处理单元(6.2)用于响应目标识别算法并对解码后的视频数据中的目标进行识别；所述第三事件管理单元(6.3)用于对本模块中的事件进行管理。
7.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述目标跟踪模块(7)包括：跟踪算法配置单元(7.1)、跟踪信息处理单元(7.2)以及第四事件管理单元(7.3)；所述跟踪算法配置单元(7.1)用于对接收/发送目标跟踪算法，所述跟踪信息处理单元(7.2)用于响应目标跟踪算法并对解码后的视频数据中的目标进行跟踪；所述第四事件管理单元(7.3)用于对本模块中的事件进行管理。
8.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述目标检测模块(8)包括：检测算法配置单元(8.1)、检测信息处理单元(8.2)以及第五事件管理单元(8.3)；所述检测算法配置单元(8.1)用于对接收/发送目标检测算法，所述检测信息处理单元(8.2)用于响应目标检测算法并对解码后的视频数据中的目标进行检测；所述第五事件管理单元(8.3)用于对本模块中的事件进行管理。
9.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述图像处理模块(5)包括：图像叠加单元(5.1)、图像编码单元(5.2)以及图像存储单元(5.3)；所述图像叠加单元(5.1)用于读取所述视频解析模块(4)中解码后的视频数据，并将所述目标识别模块(6)、所述目标跟踪模块(7)、所述目标检测模块(8)的目标识别、跟踪、检测的结果信息叠加至解码后的视频数据；所述图像编码单元(5.2)对叠加有结果信息的视频数据进行编码转换为视频传输数据；所述图像存储单元(5.3)用于对叠加有结果信息的视频数据进行存储。
10.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述边缘计算模块的数量为一个或一个以上。
技术总结