本说明书涉及通信技术领域,尤其涉及一种无线传输系统及发射控制装置。
背景技术:
在影视拍摄、商业拍摄等众多拍摄场景中,视频采集设备采集的视频可以通过无线传输技术发送给视频接收端,以便导演等对拍摄效果进行监控,并且调整拍摄策略。在某些大型的活动中,为了从多角度对被拍摄对象或被拍摄场景进行全方位的拍摄,通常需布置多个视频采集设备,由于被拍摄对象往往是运动的,因而,每个视频采集设备需配备一个摄影师,摄影师可以对视频采集设备进行控制和调节,以便对被拍摄对象进行跟踪拍摄。对于大部分拍摄场景,被拍摄对象相对单一,对视频采集设备的控制和调节的手段也相对固定,但是,拍摄时长却一般较长,有时长达4-5小时,这样摄影师需要长时间注视拍摄对象并适时对视频采集设备做出相应调整,由于拍摄调整本身操作都极为单调简单,很容易让人疲倦,并且一个视频采集设备配备一个摄影师,也十分消耗人力。
技术实现要素:
基于此,本说明书提供了一种无线传输系统及发射控制装置。
根据本说明书实施例的第一方面,提供一种无线传输系统,包括无线连接的发射控制装置和接收控制装置,所述发射控制装置包括第一视频接口单元、第一处理单元、视频编码单元和第一无线传输单元;
所述第一视频接口单元用于与外部的视频采集设备连接,获取所述视频采集设备采集的视频数据;
所述第一处理单元用于基于被拍摄对象的相关标识以及所述视频数据确定被拍摄对象的视频参数,跟踪并分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据;
所述视频编码单元用于将所述视频采集设备采集的视频数据压缩编码;
所述第一无线传输单元用于将所述压缩编码后的视频数据传输给所述接收控制装置;
所述接收控制装置包括第二处理单元和第二无线传输单元;
所述第二处理单元用于确定所述被拍摄对象的相关标识;
所述第二无线传输单元用于将所述相关标识发送给所述发射控制装置,以及接收所述发射控制装置传输的所述压缩编码后的视频数据并输出。
根据本说明书实施例的第二方面,提供一种发射控制装置,所述发射控制装置包括视频接口单元、处理单元、视频编码单元和无线传输单元;
所述视频接口单元用于与外部的视频采集设备连接,获取所述视频采集设备采集的视频数据;
所述处理单元用于基于被拍摄对象的相关标识以及所述视频数据确定被拍摄对象的视频参数,跟踪并分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据;
所述视频编码单元用于将所述视频采集设备采集的视频数据压缩编码;
所述无线传输单元用于将所述压缩编码后的视频数据传输给接收控制装置。
应用本说明书实施例方案,提供了一种无线传输系统,无线传输系统包括发射控制装置和接收控制装置,发射控制装置包括第一视频接口单元、第一处理单元和第一无线传输单元,发射控制装置通过第一视频接口单元与外部的视频采集设备连接,并获取视频采集设备的视频数据,然后通过第一处理单元根据被拍摄对象的相关标识识别出被拍摄对象的视频数据,并根据被拍摄对象的视频数据确定被拍摄对象的画质参数、位置参数等视频参数,对被拍摄对象的视频参数进行跟踪和分析,根据被拍摄对象的视频参数确定被拍摄对象当前的画质参数和位置否在合理的范围,然后生成相应的控制指令对视频采集设备进行控制,以实现自动对被拍摄对象跟踪拍摄。同时,发射控制装置也可以通过第一无线传输单元将采集的视频数据发送给接收控制装置,以便接收控制装置输出该视频数据,供用户查看。接收控制装置包括第二处理单元和第二无线传输单元,接收控制装置可以通过第二处理单元获取用户确定的被拍摄对象的相关标识,并通过第一无线传输单元发送给发射控制装置,实现用户远程控制发射控制装置对指定目标进行跟踪拍摄的目的,同时也可以通过第二无线传输单元接收发射控制装置发送的视频数据,以输出给用户。本说明书实施例提供的无线传输系统不仅可以实现自动控制视频采集设备对被拍摄对象进行跟踪拍摄,同时,也可以实现一人远程控制多台视频采集设备,大大节省了人力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本说明书一个实施例的一种多视频采集设备拍摄场景示意图。
图2是本说明书一个实施例的无线传输系统的示意图。
图3是本说明书一个实施例的被拍摄对象的位置参数的示意图。
图4是本说明书一个实施例的发射控制装置的结构示意图。
图5是本说明书一个实施例的接收控制装置的结构示意图。
图6是本说明书一个实施例的接收控制装置的结构示意图。
图7是本说明书一个实施例的发射控制装置的结构示意图。
图8是本说明书一个实施例的发射控制装置的结构示意图。
图9是本说明书一个实施例的发射控制装置的结构示意图。
图10是本说明书一个实施例的发射控制装置的结构示意图。
图11是本说明书一个实施例的发射控制装置的结构示意图。
图12是本说明书一个实施例的发射控制装置的结构示意图。
图13本说明书一个实施例的拍摄应用场景示意图。
图14是本说明书一个实施例的发射控制装置的结构示意图。
图15是本说明书一个实施例的接收控制装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在很多拍摄场景,比如晚会直播、会议直播、影视拍摄等,为了从多个角度对被拍摄对象进行拍摄,如图1所示,可以在拍摄现场的不同位置布置多台视频采集设备,每个视频采集设备配备一个摄影师,以实时关注被拍摄对象的当前状态并对视频采集设备做出适应性的调整,比如,调整视频采集设备的位置、光圈、被拍摄对象的构图以及其他拍摄参数。视频采集设备采集到视频数据后,可以通过无线传输技术将视频数据发送给视频接收端,以便导演等工作人员远程监控视频拍摄效果,并且实时调整拍摄策略。对于一些大型的活动,为了全方位地进行视频数据的采集,需要布置多台视频采集设备,虽然大多数场景下,被拍摄对象比较单一,对视频采集设备只需做一些简单的调整,但为了实时的控制每台视频采集设备,还是需要为每台视频采集设备配备一个摄影师,对于拍摄时间很长,且需要摄影师人数很多的场景,非常耗费人力。
基于此,本说明书实施例提供一种无线传输系统和一种发射控制装置,该发射控制装置可用于该无线传输系统,当然,也可以单独应用于其他场景。通过该无线传输系统,可以自动控制视频采集设备对被拍摄对象进行跟踪拍摄,同时导演也可以远程对视频采集设备进行控制,实现一人控制多台视频采集设备。
以下结合图2对该无线传输系统和发射控制装置进行详细的介绍。如图2所示,无线传输系统20包括无线连接的发射控制装置21和接收控制装置22,其中,一个接收控制装置22连接的发射控制装置21的数量不受限制,图中以发射控制装置21的数量为1个作为举例。发射控制装置21与外部的视频采集设备23连接,用于获取视频采集设备23采集的视频数据,根据待跟踪拍摄的被拍摄对象的相关标识确定被拍摄对象的视频数据,并根据被拍摄对象的视频数据确定被拍摄对象的视频参数,视频参数可以是被拍摄对象在视频画面呈现的各种参数,比如位置参数、画质参数等。确定被拍摄对象的视频参数后,可以跟踪并分析被拍摄对象的视频参数,比如,分析当前的画质参数,亮度是否符合要求,分析当前的被拍摄对象的位置是否处于视频画面的中心区域等,然后可以根据分析结果生成相应的控制指令,并根据该控制指令控制视频采集设备23采集视频数据,并且向接收控制装置22传输视频采集设备23采集的视频数据。
其中,被拍摄对象是指需要跟踪拍摄的目标对象,被拍摄对象可以是一个或多个。由于被拍摄对象通常是运动的,比如,被拍摄对象是某个演讲者,演讲者会在台上来回走动,因而,可以控制视频采集设备23对被拍摄对象进行跟踪拍摄。相关技术需要靠摄影师来控制视频采集设备23,而本说明书实施例可以采用发射控制装置21来自动实现对被拍摄对象的跟踪拍摄。发射控制装置21与视频采集设备23连接,其中,发射控制装置21可以通过物理接口与视频采集设备23连接,也可以通过无线通信技术连接。发射控制装置21可以从视频采集设备23获取视频采集设备23采集的视频数据,然后根据被拍摄对象的相关标识识别出被拍摄对象,根据被拍摄对象的视频数据确定被拍摄对象的视频参数,并对被拍摄对象的视频参数进行跟踪和分析,基于分析结果生成相应的控制指令,然后通过控制指令控制视频采集设备23采集视频数据。比如,根据被拍摄对象的视频参数分析得到被拍摄对象向左移动,则可以控制视频采集设备23像左移动,比如分析得到被拍摄对象走近镜头,则可以调整焦距,分析得到视频画面亮度太低,则可以调整视频采集设备23的光圈大小。
在某些实施例中,视频参数可以是被拍摄对象的位置参数或被拍摄对象的画质参数中的一种或多种。被拍摄对象的视频参数可以是被拍摄对象的画质参数,比如,视频画面的明亮度、对比度、曝光参数等,也可以是被拍摄对象在视频画面的位置参数,比如、被拍摄对象在视频画面的比例、在视频画面中的位置信息等。
在某些实施例中,被拍摄对象的位置参数可以是被拍摄对象的头部的位置参数,也可以是被拍摄对象身体部分的位置参数。其中,可以以视频画面的中心作为坐标原点建立坐标系,头部位置参数可以是被拍摄对象的头部中心的坐标以及头部在视频画面所占的图像区域的高度和宽度,身体部分的位置参数可以是被拍摄对象的身体中心的坐标以及整个人体在视频画面所占的图像区域的高度和宽度。在某些实施例中,如果被拍摄对象为人物,则被拍摄对象的视频参数可以包括被拍摄对象的人体位置参数、头部位置参数中的一种或多种。
在某些实施例中,为了更加方便的确定被拍摄对象的位置参数,可以在视频画面中确定两个矩形框,以下称为第一矩形框和第二矩形框,其中,第一矩形框为被摄对象整体构成的矩形框,第二矩形框为被拍摄对象的头部构成的矩形框。被拍摄对象的人体位置参数包括第一矩形框的中心的位置信息以及第一矩形框的宽度和高度,被拍摄对象的头部位置参数可以包括第二矩形框的中心的位置信息以及第二矩形框的宽度和高度。其中,第一矩形和第二矩形可以是通过ai识别算法对被拍摄对象进行目标检测时,算法自动标注的矩形框,当然也可以是通过其他方式确定的矩形框,本申请不做限制。为了更好的理解本说明书实施例中的第一矩形框和第二矩形框,以下结合图3具体说明,如图3所示,第一矩形框31为刚好包含视频画面30中的整个人体部分的矩形框,第二矩形框32为刚好包含视频画面30中的人头部分的矩形框。人体位置参数可以是第一矩形框31的中心a的坐标(x,y)以及第一矩形框的宽度l和高度h。而头部位置参数可以是第二矩形框32的中心a的坐标(x,y)和第二矩形框的宽度l和高度h。
当然,对于其他的被拍摄对象,也可以采用类似的方法来确定被拍摄对象的位置参数,并不局限于人物。通过对连续或间隔的多帧视频画面中的人体位置参数和头部位置参数进行分析,即可以确定被拍摄对象的动态位置信息,即被拍摄对象的运动轨迹。同时,通过对第二矩形框与整个视频画面的面积比进行调整、或对第一矩形框与整个视频画面的面积比进行调整,也可以对整个视频画面的构图进行调整。
在某些场景中,视频采集装置采集的视频图像可能包含多个目标对象,但是需要进行跟踪拍摄的被拍摄对象可能只是这个多个目标对象中指定的一个或几个。因而,发射控制装置21需先根据被拍摄对象的相关标识从多个目标对象中识别出被拍摄对象。被拍摄对象的相关标识可以是用于表征被拍摄对象唯一性的各种标识,可以是从视频画面中提取的被拍摄对象的特征、为被拍摄对象的设置的id等。其中,特征可以是表征被拍摄对象特点的各类特征,id可以是根据被拍摄对象的特征为其设置的编号等。以被拍摄对象为人物作为例子,当对被拍摄对象进行识别的ai识别算法精度较高时,相关标识可以是从目标拍摄对象中提取的人脸特征、人头部特征或人体特征中的一种或多种。当然,由于高精度的ai识别算法对设备的计算能力要求较高,而对于发射控制装置,大多数场景使用的是嵌入式设备,其计算能力较弱,无法使用高精度的ai识别算法,因而可以采用自行设计的目标识别检测算法,即提取视频画面中被拍摄对象所在的图像区域的像素特征作为被拍摄对象的特征,根据该像素特征来识别被拍摄对象。像素特征可以基于被拍摄对象所在的图像区域的像素点的亮度、像素点的色度、以及图像区域的轮廓得到,比如,可以是图像区域中像素点的色度、像素点的亮度及图像区域的轮廓信息做加权运算得到的特征。在某些场景,比如,被拍摄对象的移动速度很慢,或者处于静止状态时,也可以将被拍摄对象的位置参数作为其特征。通过这种方式,可以简化目标检测和识别算法,比较适用于计算能力较差的嵌入式设备。
当然,为了简化相关标识,可以为每个被拍摄对象设置一个编号,编号与被拍摄对象的特征绑定,通过编号来区分被拍摄对象。
被拍摄对象的相关标识可以在发射控制装置21一侧确定,也可以在接收控制装置22一侧确定。在某些拍摄场景中,如果被拍摄对象保持不变,则最初由摄影师将视频采集设备23的镜头对准被拍摄对象后,发射控制装置21则可以提取被拍摄对象的特征,为其设置编号,作为被拍摄对象的相关标识。在跟踪拍摄过程中,发射控制装置可以从每帧图像中识别出指定类型的目标对象,比如被拍摄对象为人物,则可以通过ai识别算法识别该帧图像中的所有人形目标,然后提取每个人形目标的特征,根据特征与编号的绑定关系确定每个人形目标的特征对应的编号,然后根据编号识别被拍摄对象。
在某些场景中,相关标识也可以由接收控制装置22确定,比如,由远程控制的导演确定被拍摄对象的相关标识后,通过接收控制装置发送给发射控制装置21。举个例子,视频采集设备23可能采集到多个目标对象的视频数据,而需跟踪拍摄的被拍摄对象仅为这多个目标对象中的其中一个或者若干个,这时,发射控制装置21可以对这些目标对象进行编号,以区分这些目标对象。发射控制装置21可以通过目标检测算法从视频数据中识别出这些目标对象,发射控制装置21检测的目标对象的类型可以根据拍摄需求预先设置,比如要跟踪拍摄的是人物,则可以检测视频数据中的所有人形目标对象,如果要跟踪拍摄的是其他的目标对象,则可以检测其他目标对象。检测出目标对象后,可以提取每个目标对象的特征,并为每个目标对象设置一个编号,其中,目标对象的编号与该目标对象的特征绑定,然后可以在视频数据中标记目标对象的编号,比如,用一个标注框框选目标对象,并在标注框中添加该目标对象的编号,然后再将这些标记后的视频数据发送给接收控制装置22,接收控制装置22可以将视频数据输出以显示给用户,用户可以从这些目标对象中确定出被拍摄对象,比如,用户可以根据视频画面中为各目标对象标记的编号,确定被拍摄对象的编号,然后通过接收控制装置22输入该编号,接收控制装置22确定用户选择的被拍摄对象的编号后,然后再将被拍摄对象的编号送给发射控制控制21。当然,在某些实施例中,如果接收控制装置22接收到的视频数据是未编号的,用户也可以直接通过接收控制装置22从目标对象中选择被拍摄对象,比如,可以通过框选工具框选出被拍摄对象,这时接收控制装置可以提取用户框选的被拍摄对象的特征,将特征发送给发射控制装置21,以便发射控制装置21根据特征识别出被拍摄对象。
发射装置21在接收到被拍摄对象的相关标识后,可以根据被拍摄对象的相关标识识别被拍摄对象的视频参数,在某些实施例中,相关标识可以是被拍摄对象对应的编号,则针对视频采集设备23采集的每一帧视频数据,发射控制装置21可以先根据视频数据检测出指定类型的目标对象,其中,目标对象包括被拍摄对象,指定类型的目标对象可以根据被拍摄对象的类型确定,比如,如果被拍摄对象为人物,则指定类型的目标对象也为人物,发射控制装置21可以检测出视频画面中所有的人形目标对象。检测出所有目标对象后,发射控制装置21可以确定每个目标对象的编号以及目标对象的视频参数,然后根据被拍摄对象的编号以及确定的目标对象的编号从目标对象中识别出被拍摄对象,并确定被拍摄对象的视频参数。
其中,在某些实施例中,目标对象的编号可以根据预先确定的编号与目标对象的特征的绑定关系或目标对象的动态位置信息中的一种或多种信息确定。比如,发射控制装置21检测出目标对象后,可以提取各目标对象的特征,然后根据预先确定的编号与目标对象的特征的绑定关系确定各目标对象的编号。当然,由于目标对象在每帧视频数据中的运动是非常缓慢的,因而,在某些实施例中,也可以根据目标对象的动态位置信息来确定目标对象的编号,比如,根据目标对象的运动轨迹即可以粗略地确定目标对象应该在视频画面的靠左的位置,而不是在靠右的位置。当然,为了确定的目标对象的编号更加准确,通常情况下,可以结合目标对象的特征以及目标对象的动态位置信息来共同确定目标对象的编号。
在某些实施例中,目标对象的特征包括:目标对象的头部特征、目标对象的身体特征和/或目标对象对应的图像区域的像素特征,目标对象对应的图像区域的像素特征可以根据该图像区域中像素点的色度、像素点亮度及图像区域的轮廓得到。比如目标对象为人物,则目标对象的特征可以是人脸特征、人头部特征或人体特征中的一种或多种。当然,在某些实施例中,在某些实施例中,如果对目标对象进行识别的设备的计算能力较差,比如嵌入式设备,也可以提取视频画面中目标对象所在的图像区域的像素特征作为被拍摄对象的特征,像素特征可以基于被拍摄对象所在的图像区域的像素点的亮度、像素点色度、图像区域的轮廓信息通过加权运算得到的特征,也可以是目标对象的位置参数等。
接收控制装置22既可以用来确定被拍摄对象的相关标识,并将相关标识通知给发射控制装置21,也可以用来将发射控制装置21传输的视频数据输出,以显示给用户。
在某些实施例中,接收控制装置22包括显示部件,则可以直接将视频数据显示给用户,比如,接收控制装置22可以是安装在终端设备上的app,可以通过app接收发射控制装置21发送的视频采集设备23采集的视频数据,并显示,同时用户也可以通过该app输入人机交互指令,发送给发射控制装置21,以便通过发射控制装置21对视频采集设备23进行控制。其中,人机交互指令可以是被拍摄对象的相关标识、对视频采集设备23的ccu(cameracontrolunit:摄像机控制单元)的远程控制指令,比如视频采集设备23的开关机、光圈调整、焦距调整等。
在某些实施例中,接收控制装置22可以通过物理接口连接视频接收端,比如,可以连接监控台或者视频切换台,然后将视频数据发送给监控台和视频切换台,同时也可以接收用户通过视频监控台发送的对视频采集设备23的控制指令。
在某些实施例中,接收控制装置22也可以通过无线传输技术将视频数据传输给视频接收端,视频接收端可以是个人手机、笔记本电脑等移动终端设备。比如,接收控制装置22可以是一独立的电子设备,接收控制装置22与安装于移动终端设备的app无线通信,移动终端设备的app以通过接收控制装置22从发射控制装置21接收视频数据并显示。用户可以通过app输入人机交互指令,并通过接收控制装置22发送给发射控制装置21,以通过发射控制装置21对视频采集设备23进行控制。其中,一个接收控制装置22可以与一个或者多个发射控制装置21通信连接,而每个发射控制装置21都可以连接一个视频采集设备23,这样便可以实现一个人控制多台视频采集设备。
在某些实施例中,安装有用于接收视频数据的app的移动终端设备、发射控制装置21与接收控制装置22两两之间可以通过wifi通道连接,其中,接收控制装置22工作于ap模式,发射控制装置21与安装有该app的移动终端设备工作于station模式。接收控制装置22开启wifi热点,发射控制装置21与安装有该app的移动终端设备搜索接收控制装置22的ssid,通过预先设置的密码与其建立wifi连接。发射控制装置21通过建立的wifi连接将视频数据传输至app,以便用户观看。app将用户输入的人机交互指令传输给发射控制装置21,以便远程实现对视频采集设备23的控制。
通过该无线传输系统,发射控制装置21可以通过识别被拍摄对象,确定被拍摄对象的视频参数并对被拍摄对象的视频参数进行分析和跟踪,根据分析结果自动控制视频采集设备23对被拍摄对象进行跟踪拍摄,同时,导演也可以通过该无线传输系统传输控制指令,以便对视频采集设备23进行远程控制,只需一个导演便可以控制多台视频采集设备23,大大节省了人力资源。
其中,发射控制装置21的内部结构示意图如图4所示,包括第一视频接口单元210、第一处理单元211、视频编码单元212和第一无线传输单元213,第一视频接口单元210与外部的视频采集设备23连接,用于获取视频采集设备23采集的视频数据,第一视频接口单元210将视频数据传输给第一处理单元211和视频编码单元212,第一处理单元211可以根据被拍摄对象的相关标识识别被拍摄对象,并根据被拍摄对象的视频数据确定被拍摄对象的视频参数,对被拍摄对象的视频参数进行跟踪和分析,比如,可以确定被拍摄对象的位置参数和画质参数,根据对被拍摄对象的位置参数和画质参数的跟踪和分析结果生成控制指令,然后根据控制指令控制视频采集设备23对被拍摄对象进行跟踪拍摄。视频编码单元212将视频采集设备23采集的视频数据进行压缩编码处理,然后通过第一无线传输单元213将压缩编码后的视频数据传输给接收控制装置22。同时,第一处理单元211也可以将确定的被拍摄对象的视频参数通过第一无线传输单元213发送给接收控制装置22或者视频编码单元212。视频编码单元212将视频采集设备23采集的视频数据进行压缩编码处理,然后通过第一无线传输单元213将压缩编码后的视频数据传输给接收控制装置22。
相对应的,接收控制装置22的结构示意图如图5所示,包括第二处理单元221和第二无线传输单元220,第二处理单元221用于确定被拍摄对象的相关标识,并通过第二无线传输单元220将相关标识发送给发射控制装置21,以及接收发射控制装置21传输的压缩编码后的视频数据并输出。
在某些实施例,发射控制装置21的第一视频接口210的视频通道数量与视频采集设备23的视频通道数量相对应。比如,视频采集设备23包括hdmi标准视频数据和sdi标准视频数据,则发射控制装置21的第一视频接口210也包括hdmi接口和sdi接口,以便从视频采集设备23接收不同格式的数据。
在某些实施例中,接收控制装置22可以先将接收到的编码后的数据进行解码后再输出,因而,接收控制装置22还包括视频解码单元222和第二视频接口单元223,如图6所示,视频解码单元223将从发射控制装置21接收到视频数据进行解压缩解码,然后通过第二视频接口单元223输出,比如,第二视频接口单元223可以是sdi接口或者hdmi接口,通过第二视频接口单元223将视频数据输出给监控台或视频切换台。在某些实施例中,第二处理单元221和视频解码单元223可以集成在一个芯片上,比如可以是一个集成了cpu功能和h264/h265编解码功能的芯片。
在某些实施例中,如果接收控制装置22只与一个发射控制装置21连接,则视频解码单元223接收到数据为单通道的视频数据,只需对单通道的视频数据进行解码。在某些实施例中,如果接收控制装置22与多个发射控制装置21连接,则视频解码单元223接收到的视频数据为多通道的视频数据,视频解码单元223可以具有多通道解码能力,同时对不同的发射控制装置21发送过来的视频数据进行解码,并输出给监控台或者视频切换台。其中,接收控制装置22的第二视频接口单元223输出的视频通道数量与发射控制装置21发送的视频通道数量相对应。
在某些实施例中,如图7所示,所述第一处理单元211包括ai处理子单元211a、dsp子单元211b、中央处理子单元211c,ai处理子单元211a可以从第一视频接口单元210获取视频采集设备23采集的视频数据,从视频数据中检测指定类型的目标对象,其中,指定类型的目标对象包含被拍摄对象,指定类型的目标对象根据被拍摄对象预先设置,比如,如果被拍摄对象为人物,则指定类型的目标对象为人形目标对象,ai处理子单元211a则可以根据预设的目标检测算法检测视频画面中的所有人形目标对象。目标对象的检测可以采用通用的目标检测算法,比如可以根据机器学习算法来识别视频画面中的人形目标,完成目标对象的检测,当然也可以采用自行设计的目标检测和识别算法来完成对目标对象的检测。ai处理子单元211a确定视频数据中的目标对象后,可以将确定的目标对象以及目标对象的视频数据发送给dsp子单元211b,dsp子单元211b可以根据目标对象的视频数据确定目标对象的编号以及目标对象的视频参数,然后将目标对象的编号和视频参数发送给中央处理子单元211c。中央处理子单元211可以根据被拍摄对象的编号以及各目标对象的编号从目标对象中识别出被拍摄对象,并确定被拍摄对象的视频参数,分析被拍摄对象的视频参数,生成控制指令,根据生成的控制指令控制视频采集设备23采集视频数据。其中,dsp子单元211b可以是dsp图像处理芯片,dsp图像处理芯片上可以集成自行设计的算法,实现对目标对象的编号和目标对象视频参数的确定,中央处理子单元211c可以是cpu,通过cpu来完成被拍摄对象的确定、控制指令的生成、以及对视频采集设备的控制。
其中,dsp子单元211b在接收到ai处理子单元检测的第一帧视频数据中的目标对象后,可以从目标对象的视频数据中提取各目标对象的特征,该特征可以是目标对象的人脸特征、人头特征、身体特征,或者是基于目标对象的图像区域的亮度、色度、对比度以及轮廓加权得到的像素特征,并且为各目标对象设置一个编号,并确定编号与目标对象的特征的绑定关系,并存储,以便后续为目标对象编号。同时,dsp子单元211b也可以对各目标对象的视频数据进行分析,得到各目标对象的视频参数,比如曝光度、亮度等画质参数,以及各目标对象的位置信息,比如各目标对象的第一矩形框的中心的坐标、宽度和高度、第二矩形框的中心的坐标、宽度和高度。然后,可以通过数据表的方式将各目标对象的编号、特征和视频参数对应存储,并发送给中央处理子单元211c。当再次接收到ai处理子单元检测的第二帧、第三帧及之后的视频帧的目标对象时,dsp子单元211b可以先确定各目标对象的编号。在某些实施例中,目标对象的编号可以根据预先确定的编号和目标对象的特征的绑定关系确定,比如,dsp子单元211b提取各目标对象的特征,根据预先存储的目标对象的编号和特征的绑定关系确定各目标对象的编号,当然,通常目标对象移动速度比较慢,比如对于1080p60s的视频,帧与帧之间的时间间隔为16.7ms,因而还可以用目标对象的动态位置信息来辅助各目标对象编号的判定。比如,可以确定各目标对动态位置信息,然后可以结合预先确定的目标对象的编号和特征的绑定关系以及各目标对象的动态位置信息确定各目标对象的编号。当然,如果检测到新的目标对象,则重新为该目标对象设置编号。dsp子单元211b每分析一帧视频帧中的目标对象,都可以确定该视频帧中各目标对象的编号、特征以及视频参数,然后可以更新记录各目标对象的编号、特征和视频参数对应关系的数据表,将新的视频帧中各目标对象的视频参数更新到数据表中。dsp子单元211b可以将各目标对象的编号、特征和视频参数以数据表的形式按一定时间间隔发送给中央处理子单元211c,比如可以每更新一次则发送,或者每隔一定时间段发送。
在某些实施例中,目标对象的动态位置信息可以根据多帧视频画面中的目标对象对应的第一矩形框的中心的位置信息和/或第二矩形框的中心的位置信息得到。第一矩形区域为整个目标对象构成的矩形区域,第二矩形区域为目标对象头部构成的矩形区域,具体可参考图3的描述,在此不再赘述。多帧视频画面可以是连续的多帧视频画面,也可以是间隔的多帧视频画面,可以根据实际需求灵活设置。
中央处理子单元211c可以从接收控制装置22接收用户输入的被拍摄对象的编号,然后根据被拍摄对象的编号和从dsp子单元211b获取的记录各目标对象的编号以及视频参数的数据表,从目标对象中确定出被拍摄对象,然后确定被拍摄对象视频参数,对被拍摄对象的视频参数进行分析,比如曝光是否合理、构图比例是否符合要求等,并根据分析结构生成控制指令,对视频采集设备23进行控制。
在某些实施例中,如图8所示,发射控制装置21还包括视频处理单元214,视频处理单元214从所述第一接口单元210接收视频数据,并将视频数据进行处理后输出给ai处理子单元211a。比如,对视频数据进行格式转换、图像增强等处理,然后再输出给ai处理子单元211a。在某些实施例中,视频处理单元214可以是fpga芯片。
在某些实施例中,视频编码单元212、ai处理子单元211a、dsp处理子单元211b、中央处理子单元211c可以是三个独立的功能单元,在某些实施例中,视频编码单元212、ai处理子单元211a、dsp处理子单元211b、中央处理子单元211c也可以集成在一个芯片上。
发射控制装置21可以通过一些设备来对视频采集设备23进行控制,比如,可以通过ccu来控制视频采集设备23的光圈大小、开关机、焦距、录制功能等,可以通过云台等设备去控制视频采集设备23的位置,比如,控制视频采集设备23左右移动、前后移动、转动等。为了更好地实现对视频采集设备23的控制,在某些实施例中,如图9所示,无线传输系统20还包括受控设备24,受控设备24与视频采集设备23通信连接,同时还与发射控制装置21的中央处理子单元211c通信连接,受控设备24基于中央处理子单元211c生成的控制指令控制视频采集设备23采集视频数据。其中,受控设备24与视频采集设备23可以通过物理接口连接,也可以通过无线通信技术连接。
在某些实施例中,如图10所示,受控设备24包括ccu单元241,发射控制装置21包括与中央处理子单元211c连接的ccu扩展接口214,通过所述ccu扩展接口214与ccu单元241连接,中央处理子单元211c生成控制指令后,通过ccu扩展接口214发送至ccu单元241,以便ccu单元241对视频采集设备23进行控制,以对视频采集设备23采集的画面进行调节。在某些实施例中,发射控制装置21根据对被拍摄对象的视频参数的分析结果生成的控制指令主要用于控制ccu调整视频采集设备23的参数,参数包括变焦控制参数、调整光圈大小的参数、录制控制参数、开关机控制参数中的一种或者多种。通过控制指令对视频采集设备23采集的视频画面进行调节,比如光圈的调节、镜头变焦的控制,视频采集设备23的开关机,视频采集设备23的录制控制,录制控制为启动视频采集设备23内部的存储录制。
在某些实施例中,用于控制ccu调整视频采集设备23的参数的受控指令可以根据跟踪并分析被拍摄对象的画质参数生成,也可以基于被拍摄对象在当前视频画面中的比例与指定构图中定义的比例的比对结果生成,或者同时基于被拍摄对象的画质参数以及被拍摄对象在在当前视频画面中的比例与指定构图中定义的比例的比对结果生成。比如,可以根据采集的视频画面的明亮度、对比度、饱和度生成受控指令,对视频采集设备23进行调节,以采集得到画质效果更好的图像。此外,为了拍摄得到的视频画面有较好的构图效果,被拍摄对象在视频画面中的比例也十分关键,比如,被拍摄对象占视频画面的1/2,还是占1/5,视频画面显示被拍摄对象的全身还是半身,这些都直接影响视频画面的效果。其中,指定构图为预先设置好构图模式的构图,指定构图中定义了被拍摄对象在整个视频画面的位置信息和构图比例,以被拍摄对象为人物为例,参考图3,指定构图中定义的构图比例可以是被拍摄对象的第一矩形框31与视频画面30的面积比以及第二矩形框32与视频画面30的面积比,指定构图中定义的被拍摄对象的位置信息可以是被拍摄对象第一矩形框31的中心和第二矩形框32的中心与视频画面30中指定位置的偏移范围,比如,可以是与视频画面30的中心的位置偏移范围。在对视频采集设备23进行调节时,可以将指定构图中定义的被拍摄对象在整个视频画面的位置信息和构图比例作为参考,实现对视频采集设备23的自动调节。根据近景拍摄和远景拍摄场景中的不同需求,用户可以自行设置指定构图中的被拍摄对象与视频画面的比例,以及被拍摄对象的中心与视频画面中指定位置的偏移范围。
在某些实施例中,指定构图可以预先由用户预先配置好,然后存储在发射控制装置21中,当然,在某些实施例中,指定构图也可以通过人机交互指令由接收控制装置22发送给发射控制装置21。
在对视频采集设备23的参数进行调节的过程中,调整光圈大小的参数是十分重要的参数,直接影响采集的图像的明暗度、饱和度和对比度等。因此,在某些实施例中,用于调整光圈大小的参数的受控指令可以根据视频数据的亮度直方图或者曝光系数等画质参数生成。发射控制装置21可以根据被拍摄对象的相关标识识别出被拍摄对象,确定被拍摄对象的视频数据,然后对视频数据进行实时的亮度分析,得到被拍摄对象的亮度直方图或者曝光系数,并根据亮度直方图和曝光系数生成控制指令,以控制ccu调节视频采集设备23的光圈,可以通过ccu动态调整光圈大小实现视频画面曝光值保持在合理范围。
变焦参数也是在拍摄过程中需要调节的一个重要的参数。焦距的调节主要是影响被拍摄对象在画面中的构图,比如,被拍摄对象是全身还是半身,在画面中的占比是多少等。因而,在某些实施例中,用于控制变焦控制参数的控制指令可以根据被拍摄对象在当前视频画面的比例与指定构图中定义的比例的比对结果确定。比如,当人物头部在视频画面的比例相比于指定构图中定义的比例超过一定范围,则可以调整焦距参数,以确保在合理的范围。在某些实施例中,被拍摄对象在当前视频画面的比例可以是被拍摄对象的第一矩形框与视频画面的面积比、或者第二矩形框与视频画面的面积比中的一种或多种,即被拍摄对象头部在视频画面的占比,或者身体在视频画面的占比。由于被拍摄对象通常是运动的,为了可以实时的跟踪运动的被拍摄对象,以确保被拍摄对象在视频画面中,或者在视频画面的固定某个位置,因而需要控制视频采集设备23随着被拍摄对象的运动方向运动。在某些实施例中,如图11,受控设备24还可以包括云台242,视频采集设备23可以搭载在云台242上,通过云台242带动视频采集设备23运动。云台242与发射控制装置21的中央处理子单元211b连接,接收中央处理子单元211b发送的控制指令,根据控制指令带动视频采集设备23运动。
由于专业的视频采集设备23体积较大,重量也较重,因而,要求云台242具有较好的承重能力,以及具有较快的转速和较高的精度。在某些实施例中,如图12云台242包括电机运动控制单元242a、与所述电机运动控制单元242连接的水平伺服电机驱动单元242b和垂直伺服电机驱动单元242c,电机运动控制单元242a与发射控制装置21的中央处理子单元211c连接,中央处理子单元211c将生成的控制指令发送给电机运动控制单元242a,所述控制指令用于指示所述电机运动控制单元242a控制所述水平伺服电机驱动单元242b驱动视频采集设备23在水平面转动,以及控制垂直伺服电机驱动单元242c驱动视频采集设备23在垂直转面滚动转动,以便采集的被拍摄对象在视频画面的位置符合指定构图中定义的被拍摄对象的位置范围。
受控设备24可以只包括ccu241,或者只包括云台242,也可以同时包括ccu241和云台242,具体可以根据实际使用场景设置。在某些实施例中,受控设备24与发射控制装置21可以在物理上集成为一体,即受控设备24与发射控制装置21集成为一个设备。比如,可以将发射控制装置21、ccu241以及云台242一体化,集成为一个设备。当然,在某些实施例中,受控设备24与发射控制装置21也可以相互独立。比如,发射控制装置21、ccu241以及云台242为三个独立的设备,通过物理接口互相连接。
控制云台242运动的控制指令可以根据被拍摄对象在当前视频画面的位置信息与指定构图中定义的位置信息的比对结果获得。比如,指定构图定义了被拍摄对象在视频画面中的位置范围,在确定被拍摄对象在当前视频画面的位置信息后,如果发现被拍摄对象超出定义的位置范围,则可以通过云台对视频采集设备23的位置进行调整,比如左右移动或者上下移动视频采集设备23。
指定构图可以采用中心构图的模式,即被拍摄对象位于视频画面的中心位置,当然,也可以采用其他的构图模式。在某些实施例中,被拍摄对象在当前视频画面的位置信息包括:第一矩形框的中心相对于视频画面中指定位置的位置偏移量和/或第二矩形框的中心相对于视频画面中指定位置的位置偏移量。其中,如果是采用中心构图的模式,则指定位置可以是是视频画面的中心位置,而指定构图中定义的被拍摄对象的位置信息可以是被拍摄对象中心偏移视频画面中心的范围,当被拍摄对象的中心相对于当前视频画面的位置偏移量超出定义的范围,则通过云台对视频采集设备23的位置进行调整,以确定被拍摄对象尽量位于视频画面的中心。
在某些实施例中,被拍摄对象也有可能出现被遮挡、丢失或者缺失等异常。比如,被拍摄对象被某个物体遮挡,导致发射控制装置21无法识别到被拍摄对象,造成目标跟踪丢失。这时,可能需要人为进行调节。所以,发射控制装置21还用于检测到被拍摄对象的异常状态,并向所述接收控制装置发送异常提示信息,以便接收控制装置22将异常提示信息输出给用户,比如输出给远程监控的导演,以便导演进行异常处理。异常状态包括被拍摄对象出现重叠、或被拍摄对象被遮挡、或被拍摄对象丢失。发射控制装置21如果在视频画面中无法检测到被拍摄对象,即提取的所有目标对象的特征都与被拍摄对象的特征不匹配,则说明被拍摄对象丢失,如果检测到被拍摄对象的第一矩形框和第二矩形框的面积变小了,则有可能被拍摄对象被遮挡,这时,可以间隔一定时间段后再进行检测,如果还是出现异常状态,则可以向接收控制装置发出异常提示信息,以提示远程监控的导演对异常情况进行处理。
在某些实施例中,发射控制装置21可以通过无线传输技术将采集的视频数据发送给接收控制装置22,接收控制装置22也可以将用户输入的一些人机交互指令发送给发射控制装置21。比如,在某些实施例中,接收控制装置22可以包括人机交互界面,可以直接将接收到的视频数据通过人机交互界面显示给用户,当然用户也可以通过人机交互界面输入指令对发射控制装置进行控制。
在某些实施例中,接收控制装置22还可以与监控台和视频切换台连接,将视频数据发送给监控台,以便导演在监控台中监控视频,或者接收导演通过监控台发送的控制指令,然后将控制指令发送给发射控制装置21,以便导演远程控制视频采集设备23。而视频切换台在接收到接收控制装置的22输出的视频数据后,可以直接进行后期的视频制作。其中,无线通信技术可以是蓝牙技术、wifi技术、zigbee等无线通信技术。当然,考虑到传输距离可能较远,视频数据量较大,通常采用wifi传输技术。
在某些实施中,被拍摄对象的数量有多个,发射控制装置21还用于配置这多个被拍摄对象的相关标识,并发送给接收控制装置22,被拍摄对象的相关标识包括主被拍摄对象的相关标识和其他被拍摄对象的相关标识,接收控制装置22用于确定主被拍摄对象的相关标识,并通知给发射控制装置21。比如,视频采集设备采集的视频换面中可能包含多个被拍摄对象,因而发射控制装置21可以通过提取被拍摄对象的特征,根据被拍摄对象的特征为每个被拍摄对象设置唯一的编号,然后将视频数据和视频数据中每个被拍摄对象的对应的编号发送给接收控制装置22,以便显示给用户,用户看到视频数据后,可以确定主被拍摄对象的编号,接收控制装置22将用户确定的主被拍摄对象的编号发送给发射控制装置,以便在接下来的拍摄过程中,发射控制装置21根据主被拍摄对象的相关标识识别主被拍摄对象,然后控制视频采集设备23对主被拍摄对象进行跟踪拍摄。
在某些实施例中,拍摄过程中的跟踪拍摄对象会发生变化,比如有多个表演者分别进行表演,当前正在表演的表演者即为主被拍摄对象,视频采集设备23可以对当前表演者进行跟踪拍摄,这个表演者表演完后,则要换成下一个表演者表演,因而可以将当前的主被拍摄对象替换成下一个表演者,以便视频采集设备23对下一个表演者进行跟踪拍摄。主被拍摄对象的替换可以通过远程监控的用户输入的控制指令来实现。发射控制装置21将当前的主被拍摄对象的视频参数的跟踪结果或分析结果发送给接收控制装置22,以显示给远程监控的用户,用户可以通过接收控制装置22预先配置目标跟踪策略,接收控制装置22在接收到发射控制装置21发送的跟踪结果或分析结果后,可以根据用户配置的目标跟踪策略决定是否替换主被拍摄对象,并将替换后的主拍摄对象的相关标识发送给发射控制装置,以便发射控制装置对替换后的主被拍摄对象进行跟踪拍摄。
在某些实施例中,发射控制装置21将视频数据发送给接收控制装置22后,一方面,接收控制装置22可以将视频数据输出给视频切换台,以便在视频切换台对视频进行后期的视频制作,视频制作要求视频数据比较清晰。另一方面,接收控制装置22还可以将视频数据输出给工作人员的设备,比如导演的设备,该设备可以是独立的设备,也可以是安装在终端上的app,以便工作人员查看视频。对于工作人员查看的视频数据,对视频的清晰度要求不高,只需工作人员可以清晰的知道当前的主被拍摄对象是谁,主被拍摄对象是否被遮挡或者丢失等。所以,在某些实施例中,发射控制装置21在将视频数据输出给接收控制装置22之前,还可以先将视频采集设备23采集的视频数据编码成高速率码流和低速率码流,并对低速率码流的视频数据进行标记,将高速率码流和带标记的低速率码流分别发送给接收控制装置22。其中,对低速率的视频数据进行标记可以是对视频数据中的各被拍摄对象的编号进行标记,以便用户在查看到被拍摄对象带编号的视频数据后,可以通过输入编号来控制发射控制装置21替换跟踪对象,比如可以将视频画面中的各目标对象用标注框框出,并在框内添加编号。当然,也可以在视频数据中添加一些参数,比如、对比度、饱和度、构图比例等,以便用户可以根据这些参数确定是否需要调整拍摄策略。其中,对视频数据进行标记的工作可由视频编码单元212来实现,dsp处理子单元可以将确定的各目标对象的编号、特征和视频参数发送给视频编码单元212,以便视频编码单元212根据确定的视频参数对视频数据进行标记。
在某些实施例中,无线传输系统可以采用多发多收无线传输技术,一个接收控制装置22可以和多个发射控制控制21和多个安装有app的移动终端连接,发射控制控制21和接收控制装置22均采用高性能wifi传输技术。接收控制装置22采用4*4mimo802.11wifi传输基带,工作于ap模式,可设置一个独立ssid,管理和控制整个无线bss网络,可提供充分传输带宽,支持多路高清视频流传输,降低传输延时。发射控制控制21和安装有app的移动终端设备工作于station模式,其中,发射控制控制21同样采用高性能mimo设计,支持高清视频码流传输。
在某些实施例中,无线传输系统支持及兼容802.11mu-mimo和wifiwmm,对不同station设备和不同传输业务类型优先级进行管理,保障传输可靠性和业务延时。例如,系统优先保证发射控制装置21的高码流视频数据传输优先级,采用加强误码及丢帧保护机制,保证高码流视频数据的传输质量和低传输延时,对于ccu和云台控制信息等实时性及可靠性要求最高的低速数据,采用突发传输及纠错编码机制,既确保传输可靠性和实时性,又不会对系统传输带宽造成过度负担。
在某些实施例中,发射控制装置21也可以包括人机交互组件,用户可以通过人机交互组件输入人机交互指令,对发射控制装置进行控制。比如,发射控制装置21也可包括一个人机交互界面,用户可以通过该界面输入控制指令。
在某些实施例中,接收控制装置22还可以与tally终端建立连接,并进行数据的传输。tally终端可以以字符或指示灯的形式出现在视频采集设备23、视频采集设备23的寻像器和电视墙上等系统节点,分别给主持人、和演播室制作人员予以视觉提示来协调各个岗位的工作人员,及时了解拍摄过程的进展状态。
此外,本说明书实施例还提供了一种发射控制装置,该发射控制装置可用于上述实施例中的无线传输系统,当然,也可以单独应用于其他场景。比如,该发射控制装置与视频采集设备连接,单独对视频采集设备进行控制。
其中,所述发射控制装置包括视频接口单元、处理单元、视频编码单元和无线传输单元;所述视频接口单元用于与外部的视频采集设备连接,获取所述视频采集设备采集的视频数据;所述处理单元用于基于被拍摄对象的相关标识以及所述视频数据确定被拍摄对象的视频参数,跟踪并分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据;所述视频编码单元用于将所述视频采集设备采集的视频数据压缩编码;所述无线传输单元用于将所述压缩编码后的视频数据传输给接收控制装置。
在某些实施例中,所述处理单元包括:
ai处理子单元,用于从所述视频数据中检测指定类型的目标对象,所述目标对象包括所述被拍摄对象;
dsp子单元,用于确定所述目标对象的编号以及所述目标对象的视频参数;
中央处理子单元,基于所述被拍摄对象的编号以及所述目标对象的编号从所述目标对象中识别所述被拍摄对象,并确定所述被拍摄对象的视频参数,分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据。
在某些实施例中,所述目标对象的编号基于编号与目标对象的特征的绑定关系和/或目标对象的动态位置信息确定。
在某些实施例中,所述目标对象的特征包括:所述目标对象的头部特征、所述目标对象的身体特征和/或所述目标对象对应的图像区域的像素特征,所述像素特征基于所述图像区域中像素点的色度、像素点的亮度及所述图像区域的轮廓得到。
在某些实施例中,所述被拍摄对象的视频参数包括所述被拍摄对象的位置参数和/或所述被拍摄对象的画质参数。
在某些实施例中,所述视频编码单元还用于将所述视频采集设备采集的视频数据编码成高速率码流和低速率码流,并对所述低速率码流的视频参数数据进行标记;
所述无线传输单元还用于将所述高速率码流和带标记的低速率码流输出给所述接收控制装置,以及接收所述接收控制装置发送的所述被拍摄对象的相关标识,并发送给所述中央处理子单元。
在某些实施例中,所述视频编码单元、所述中央处理子单元、所述ai处理子单元和所述dsp子单元为四个独立的功能单元或集成在一个芯片上。
在某些实施例中,所述控制装置还包括视频处理单元,所述视频处理单元用于从所述接口单元接收所述视频数据,并所述视频数据进行处理后输出给所述ai处理子单元。
在某些实施例中,所述中央处理子单元用于将所述受控指令发送给受控设备,通过所述受控设备控制所述视频。
在某些实施例中,所述受控设备包ccu单元,所述发射控制装置包括与所述中央处理子单元连接的ccu扩展控制接口,通过所述ccu扩展接口与所述ccu单元连接。
在某些实施例中,所述受控设备包括云台,所述视频采集设备被搭载于所述云台上。
在某些实施例中,所述云台包括电机运动控制单元、与所述电机运动控制单元连接的水平伺服电机驱动单元和垂直伺服电机驱动单元,所述电机运动控制单元与所述中央处理子单元连接,用于从所述中央处理子单元接收所述控制指令,所述控制指令用于指示所述电机运动控制单元控制所述水平伺服电机驱动单元驱动所述视频采集设备在水平面转移动,以及控制所述垂直伺服电机驱动单元驱动所述视频采集设备在垂直面滚动转移动。
在某些实施例中,所述受控设备与所述控制装置在物理上集成为一体或相互独立。
在某些实施例中,所述视频接口单元的视频通道数量与所述视频采集设备的视频通道数量对应。
其中,所述发射控制装置的具体功能细节和实现方式可参考上述无线传输系统中的描述,在此不在赘述。
为了进一步解释本说明书实施例提供的无线传输系统,以下以一个具体的实施例加以解释。
针对一些大型活动的拍摄,通常会在不同的位置布置多台摄像装置,以便从不同的角度对活动现场进行拍摄,摄像装置拍摄的视频数据可以传输给不同的视频接收端,以便用户对采集的视频数据进行查看。比如,视频接收端可以是监控台或者视频切换台,以便远程监控的导演根据视频效果调整拍摄策略,视频接收端还可以是用户的个人终端,以便通过个人终端就可以直接查看视频。相关技术中,通常每个摄像装置会配备一个摄影师,通过摄影师来控制摄像装置对被拍摄对象进行跟踪控制,同时,还会配备一个导演,导演可以远程监控拍摄的视频,并作出相应的调整。为了减少人力消耗,本说明书实施例提供一种无线传输系统,可以实现控制摄像装置对拍摄对象自动跟踪拍摄,无需配备摄影师,同时导演也可以远程控制摄像装置,实现一个导演便可以控制多台摄像装置,大大节约了人力。
图13为本说明书实施例的应用场景示意图,无线传输系统包括无线连接的发射控制装置41和接收控制装置42,发射控制装置41的数量可以是一个或多个,图中以2个为例。发射控制装置41与摄像装置43通过物理接口连接,获取摄像装置43采集的视频数据,然后发送给接收控制装置42,接收控制装置42可以连接监控台45以及视频切换台46,接收控制装置42可以将视频数据发送给监控台45,以便导演通过监控台45监看视频,同时,导演也可以通过监控台45发送控制指令,对摄像装置43进行控制。接收控制装置42可以将视频数据发送给视频切换台46,以便对视频数据进行后期的制作或处理。此外,接收控制装置42还可以无线视频接收端44无线连接,无线视频接收端44可以是安装在终端设备的app,该app可以从接收控制装置42接收视频数据并显示给用户,同时,也可以接收用户通过app输入的控制指令,对摄像装置43进行控制。其中,发射控制装置41,接收控制装置42和无线视频接收端44可以通过wifi通道连接,接收控制装置42工作于ap模式,发射控制装置41和无线视频接收端44工作于station模式。
以下分别介绍发射控制装置41、接收控制装置42的内部结构以及工作流程。
1、发射控制装置
发射控制装置41的结构示意图如图14所示,现结合图14介绍其处理流程:
发射控制装置41的接口电路部分包括sdi接收器410、hdmi接收器411和fpga芯片412,fpga芯片412用于对视频信号进行处理及总线选择,摄像装置43通过sdi接口430和hdmi接口431输出sdi和hdmi标准视频接口信号,通过sdi视频接收器410和hdmi视频接收器411转换成标准数字并行视频,信号格式为bt1120或mipi,送入后端fpga芯片412完成格式转换等视频信号处理以及选择一路视频信号给到后级ai处理单元414。
ai处理单元414主要完成视频图像中指定类型的目标对象的识别,比如,被拍摄对象为人物,则识别出视频图像中所有的人形目标,并将识别的人形目标发送给dsp处理单元4110,dsp处理单元4110主要用于提取人形目标的特征以及确定各人形目标的画质参数和位置参数等,并为人形目标设置编号,其中,编号与人形目标的特征绑定。针对连续的多帧视频图像,dsp处理单元4110可以根据ai处理单元414识别的人形目标确定各帧视频图像中的人形目标的编号、提取人形目标的特征,确定各人形目标的动态位置信息、画质参数、在视频画面的占比等视频参数。然后以数据表的形式发送给视频编码单元413和cpu415,同时cpu415可对算法初始参数进行设定。
视频编码单元413接收fpga芯片412输出的视频信号后,对视频信号进行压缩编码处理,视频编码单元413具有同时高低双码流编码能力。其中,制作内容视频采用高码流压缩方式,保证视频质量指标满足直播制作要求,比如,输出给视频切换台46的视频采用高码流编码。低码流则用于辅助监看,视频质量要求较低,主要用于用户交互,比如,输出给监控台45和视频接收端44的视频可以采用低码流编码。视频编码单元413根据dsp处理单元4110输出的数据表,可对视频图像进行标记,比如,用矩形框框出视频图像中人形目标,并添加编号、标记参数等,标记的视频用于低码流压缩,用于用户交互监看。
cpu415主要负责所有功能单元的管理,控制,接口扩展,业务功能实现,用户交互功能实现,以及电源管理等。比如,cpu415可以从接收控制装置42接收用户输入的被拍摄对象的编号,在接收到dsp处理单元4110的输出的数据表后,可以根据数据表中的各人形目标的编号以及接收到的被拍摄对象的编号从人形目标中确定被拍摄对象,并确定被拍摄对象的动态位置信息、画质参数、在视频画面的占比等视频参数,然后与预设的构图模式中定义的参数进行比较,根据比较结果生成控制指令对摄像装置43进行控制。比如,可以通过ccu扩展控制接口418控制摄像装置43,实现对摄像装置43开关机控制、光圈大小的调节、焦距的调节,录制控制等。发射控制装置41还包括云台417,摄像装置43搭载与云台417上,云台417包括电机运动控制单元417a、伺服电机驱动单元417b、水平转动电机417c和垂直转动电机417d。cpu415也可以根据ai处理单元414的输出结果,通过电机运动控制单元417控制伺服电机驱动单元418驱动水平转动电机和垂直转动电机转动,以带动摄像装置43运动,实现对被拍摄对象的跟踪拍摄。
wifi传输单元416主要完成视频码流、云台控制信号以及ccu控制信号的传输,通常采用mimo多天线技术,传输带宽和传输距离满足摄像直播类应用需求。视频编码单元413完成对视频信号的高低码流编码后,将编码后的视频信号发送给wifi传输单元416,通过天线传输给接收控制装置42。wifi传输单元416也可以接收控制装置42发送的用户通过监控台45和视频接收端46输入的控制指令,然后发送给cpu415,以便cpu415控制云台和ccu。
发射控制装置41还包括其他配件419,其他配件包括tally灯显示,按键,lcd屏幕,电源及电池管理电路、天线、外壳及安装配件等。
具体实现时,上述ai处理单元414、dsp处理单元4110、视频编码处理单元413和cpu415可以是分立芯片或模块,也可以是具有相关能力的高集成独立芯片。
2、接收控制装置42
接收控制装置42的结构示意图如图15所示,现结合图15介绍其处理流程:
接收控制装置42的wifi传输单元424作为网络中心控制单元,可和多个发射控制装置41及视频接收端44保持无线通信连接,并分发来自无线发射控制装置41的低编码流到视频接收端44。
wifi传输单元424接收到视频数据后,发送给soc芯片423,soc芯片423用于完成视频压缩解码,soc芯片423具有多通道解码能力,可同时对多个发射控制装置41发出高视频码流进行解码,解码后视频通过fpga芯片422输出,fpga芯片422可以多通道输出视频数据。soc芯片423还用于对包括网络和视频在内的所有系统应用及用户应用进行管理。在某些实施例中soc芯片可以是集成了cpu和h264/h265编解码功能的集成芯片。
fpga芯片422完成数字视频信号格式转换,图像增强,辅助数据和并行视频总线分发等,通过sdi发送器420和hdmi发送器421输出至视频切换台46的sdi视频接口460和hdmi视频接口461,其中,视频接口电路通道数量和视频发射端数量相对应。
此外,soc芯片423通过扩展控制接口425连接视频切换台的tally接口425和ccu控制面板427。用于接收tally控制信号和ccu控制信号,以发送发射控制装置41。
接收控制装置42还包括配件426,配件426包括按键,lcd屏幕,电源及电池管理电路,天线、外壳及安装配件等。
视频接收端44运行专用app,主要完成如下几项功能:
1.支持低码流视频解码,配合相关软件视频分析功能,可作为一个移动监看终端使用。
2.解码后视频可叠加有ai处理单元的处理标记,用户可方便观察ai处理单元的处理结果,同时可对ai处理单元执行的算法的参数进行设置调节以及与ai处理单元交进行交互,比如,从多个目标对象中选择被拍摄对象。
3.app还可集成摄像机ccu控制功能,用户可无线远程操控摄像装置及对ccu控制算法参数进行设置调节。
4.app也可集成云台控制功能,用户可无线远程操控云台及对云台控制算法参数进行设置调节。
本实施例提供的无线传输系统,具有以下优势:
1.提出一种面向专业拍摄场景的无线传输系统,实现将ai识别和目标跟踪技术,无线高清视频传输技术,云台电机伺服控制技术,摄像机ccu控制技术一体化融合,可以实现自动对拍摄对象进行跟踪拍摄,可有效降低拍摄场景中的人力投入,节约拍摄成本。
2.系统可支持多发多收无线网络配置,一套无线传输系统解决多台摄像装置的自动拍摄、多通道的视频数据的无线传输、现场制作及多人监看应用需求。
3系统还支持移动智能终端app视频监看以及app人机交互,用户可快速便捷掌控拍摄现场。
以上实施例中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
本领域技术人员在考虑说明书及实践这里公开的说明书后,将容易想到本说明书实施例的其它实施方案。本说明书实施例旨在涵盖本说明书实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书实施例的一般性原理并包括本说明书实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书实施例的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书实施例的范围仅由所附的权利要求来限制。
以上所述仅为本说明书实施例的较佳实施例而已,并不用以限制本说明书实施例,凡在本说明书实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书实施例保护的范围之内。
1.一种无线传输系统,其特征在于,包括无线连接的发射控制装置和接收控制装置,所述发射控制装置包括第一视频接口单元、第一处理单元、视频编码单元和第一无线传输单元;
所述第一视频接口单元用于与外部的视频采集设备连接,获取所述视频采集设备采集的视频数据;
所述第一处理单元用于基于被拍摄对象的相关标识以及所述视频数据确定被拍摄对象的视频参数,跟踪并分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据;
所述视频编码单元用于将所述视频采集设备采集的视频数据压缩编码;
所述第一无线传输单元用于将所述压缩编码后的视频数据传输给所述接收控制装置;
所述接收控制装置包括第二处理单元和第二无线传输单元;
所述第二处理单元用于确定所述被拍摄对象的相关标识;
所述第二无线传输单元用于将所述相关标识发送给所述发射控制装置,以及接收所述发射控制装置传输的所述压缩编码后的视频数据并输出。
2.根据权利要求1所述的无线传输系统,其特征在于,所述第一处理单元包括:
ai处理子单元,用于从所述视频数据中检测指定类型的目标对象,所述目标对象包括所述被拍摄对象;
dsp子单元,用于确定所述目标对象的编号以及所述目标对象的视频参数;
中央处理子单元,基于所述被拍摄对象的编号以及所述目标对象的编号从所述目标对象中识别所述被拍摄对象,并确定所述被拍摄对象的视频参数,分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据。
3.根据权利要求2所述的无线传输系统,其特征在于,其特征在于,所述目标对象的编号基于编号与目标对象的特征的绑定关系和/或目标对象的动态位置信息确定。
4.根据权利要求3所述的发射控制装置,其特征在于,所述目标对象的特征包括:所述目标对象的头部特征、所述目标对象的身体特征和/或所述目标对象对应的图像区域的像素特征,所述像素特征基于所述图像区域中像素点的色度、像素点的亮度及所述图像区域的轮廓得到。
5.根据权利要求1或2所述的无线传输系统,其特征在于,所述视频参数包括位置参数和/或画质参数。
6.根据权利要求2所述的无线传输系统,其特征在于,所述视频编码单元还用于将所述视频采集设备采集的视频数据编码成高速率码流和低速率码流,并对所述低速率码流的视频参数数据进行标记,所述第一无线传输单元还用于将所述高速率码流和带标记的低速率码流发送给所述接收控制装置,以及接收所述接收控制装置发送的所述被拍摄对象的相关标识,并发送给所述中央处理子单元。
7.根据权利要求1所述的无线传输系统,其特征在于,所述接收控制装置包括第二视频接口单元和视频解码单元,
所述视频解码单元用于将所接收到视频数据解压缩解码,所接收的视频数据包括单通道的视频数据或多通道的视频数据;
所述第二视频接口单元用于将解压缩解码后的视频数据输出。
8.根据权利要求2所述的无线传输系统,其特征在于,所述视频编码单元、所述中央处理子单元、所述ai处理子单元和所述dsp子单元为四个独立的功能单元或集成在一个芯片上。
9.根据权利要求2所述的无线传输系统,其特征在于,所述发射控制装置还包括视频处理单元,所述视频处理单元用于从所述第一接口单元接收所述视频数据,并将所述视频数据进行处理后输出给所述ai处理子单元。
10.根据权利要求2所述的无线传输系统,其特征在于,所述中央处理子单元用于将所述受控指令发送给受控设备,通过所述受控设备控制所述视频采集设备采集视频数据。
11.根据权利要求10所述的无线传输系统,其特征在于,所述受控设备包ccu单元,所述发射控制装置包括与所述中央处理子单元连接的ccu扩展接口,通过所述ccu扩展接口与所述ccu单元连接。
12.根据权利要求10所述的无线传输系统,其特征在于,所述受控设备包括云台,所述视频采集设备被搭载于所述云台上。
13.根据权利要求12所述的无线传输系统,其特征在于,所述云台包括电机运动控制单元、与所述电机运动控制单元连接的水平伺服电机驱动单元和垂直伺服电机驱动单元,所述电机运动控制单元与所述中央处理子单元连接,用于从所述中央处理子单元接收所述控制指令,所述控制指令用于指示所述电机运动控制单元控制所述水平伺服电机驱动单元驱动所述视频采集设备在水平面转动,以及控制所述垂直伺服电机驱动单元驱动所述视频采集设备在垂直面滚动转动。
14.根据权利要求1所述的无线传输系统,其特征在于,所述第一视频接口单元的视频通道数量与所述视频采集设备的视频通道数量对应。
15.根据权利要求1所述的无线传输系统,其特征在于,所述受控设备与所述发射控制装置在物理上集成为一体或相互独立。
16.一种发射控制装置,所述发射控制装置包括视频接口单元、处理单元、视频编码单元和无线传输单元;
所述视频接口单元用于与外部的视频采集设备连接,获取所述视频采集设备采集的视频数据;
所述处理单元用于基于被拍摄对象的相关标识以及所述视频数据确定被拍摄对象的视频参数,跟踪并分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据;
所述视频编码单元用于将所述视频采集设备采集的视频数据压缩编码;
所述无线传输单元用于将所述压缩编码后的视频数据传输给接收控制装置。
17.根据权利要求16所述的发射控制装置,其特征在于,所述处理单元包括:
ai处理子单元,用于从所述视频数据中检测指定类型的目标对象,所述目标对象包括所述被拍摄对象;
dsp子单元,用于确定所述目标对象的编号以及所述目标对象的视频参数;
中央处理子单元,基于所述被拍摄对象的编号以及所述目标对象的编号从所述目标对象中识别所述被拍摄对象,并确定所述被拍摄对象的视频参数,分析所述被拍摄对象的视频参数,生成控制指令,基于所述控制指令控制所述视频采集设备采集视频数据。
18.根据权利要求17所述的发射控制装置,其特征在于,所述目标对象的编号基于编号与目标对象的特征的绑定关系和/或目标对象的动态位置信息确定。
19.根据权利要求18所述的发射控制装置,其特征在于,所述目标对象的特征包括:所述目标对象的头部特征、所述目标对象的身体特征和/或所述目标对象对应的图像区域的像素特征,所述像素特征基于所述图像区域中像素点的色度、像素点的亮度及所述图像区域的轮廓得到。
20.根据权利要求16或17所述的发射控制装置,其特征在于,所述被拍摄对象的视频参数包括所述被拍摄对象的位置参数和/或所述被拍摄对象的画质参数。
21.根据权利要求17所述的发射控制装置,其特征在于,所述视频编码单元还用于将所述视频采集设备采集的视频数据编码成高速率码流和低速率码流,并对所述低速率码流的视频参数数据进行标记;
所述无线传输单元还用于将所述高速率码流和带标记的低速率码流输出给所述接收控制装置,以及接收所述接收控制装置发送的所述被拍摄对象的相关标识,并发送给所述中央处理子单元。
22.根据权利要求21所述的发射控制装置,其特征在于,所述视频编码单元、所述中央处理子单元、所述ai处理子单元和所述dsp子单元为四个独立的功能单元或集成在一个芯片上。
23.根据权利要求17所述的发射控制装置,其特征在于,所述控制装置还包括视频处理单元,所述视频处理单元用于从所述接口单元接收所述视频数据,并所述视频数据进行处理后输出给所述ai处理子单元。
24.根据权利要求17所述的发射控制装置,其特征在于,所述中央处理子单元用于将所述受控指令发送给受控设备,通过所述受控设备控制所述视频。
25.根据权利要求17所述的发射控制装置,其特征在于,所述受控设备包ccu单元,所述发射控制装置包括与所述中央处理子单元连接的ccu扩展控制接口,通过所述ccu扩展接口与所述ccu单元连接。
26.根据权利要求17所述的发射控制装置,其特征在于,所述受控设备包括云台,所述视频采集设备被搭载于所述云台上。
27.根据权利要求26所述的发射控制装置,其特征在于,所述云台包括电机运动控制单元、与所述电机运动控制单元连接的水平伺服电机驱动单元和垂直伺服电机驱动单元,所述电机运动控制单元与所述中央处理子单元连接,用于从所述中央处理子单元接收所述控制指令,所述控制指令用于指示所述电机运动控制单元控制所述水平伺服电机驱动单元驱动所述视频采集设备在水平面转移动,以及控制所述垂直伺服电机驱动单元驱动所述视频采集设备在垂直面滚动转移动。
28.根据权利要求24所述的发射控制装置,其特征在于,所述受控设备与所述控制装置在物理上集成为一体或相互独立。
技术总结