本发明涉及计算机技术领域,特别涉及一种电视墙服务器的rtp报文转发方法以及装置。
背景技术:
电视墙服务器是突破传统mcu(视频会议中多点控制单元/视频会议系统)多分屏模式在显示点数和清晰度上的各种局限性,为用户彻底解决了多画面同时显示的问题,使用户在低带宽、大点数会议中仍然可以观看到高清晰度的多画面显示。
电视墙服务器要求我们根据用户配置把视频会议中多路rtp视频流分别转发至相应的媒体子卡进行处理,媒体子卡完成包过滤、解码、字幕合成等流程处理后通过hdmi通道输出画面显示,最终实现多路高清画面显示。但随着会议点数的增加、rtp视频流量越来越大的情况下,多路rtp视频流需要根据用户配置快速、准确、完整的转发至对应的媒体子卡处理成为电视墙服务器的一大难题。
技术实现要素:
本发明要解决的技术问题,在于提供一种电视墙服务器的rtp报文转发方法以及装置,保证整个电视墙服务器的实时性、准确性以及稳定性。
第一方面,本发明提供了一种方法,包括:
步骤1、电视墙服务器添加mcu会议终端信息;
步骤2、电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定;
步骤3、电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
步骤4、将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
步骤5、媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
步骤6、电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将会议终端信息、媒体端口与媒体子卡作为条件配置报文转发规则;
步骤7、根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示。
进一步地,所述步骤1中会议终端信息包括会议终端号码、终端ip地址以及终端流类型。
进一步地,所述步骤2进一步具体为:电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存。
进一步地,所述步骤6进一步具体为:电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡。
进一步地,还包括步骤8、电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
第二方面,本发明提供了一装置,包括:
添加模块,电视墙服务器添加mcu会议终端信息;
绑定模块,电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定;
提取模块,电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
发送模块,将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
创建模块,媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
规则模块,电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将会议终端信息、媒体端口与媒体子卡作为条件配置报文转发规则;
转发模块,根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示。
进一步地,所述添加模块中会议终端信息包括会议终端号码、终端ip地址以及终端流类型。
进一步地,所述绑定模块进一步具体为:电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存。
进一步地,所述规则模块进一步具体为:电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡。
进一步地,还包括删除模块,电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的方法以及装置,实现了将视频会议中的多路rtp流快速、准确、完整的转发至相应的媒体子卡进行相应的处理,确保媒体子卡只会接收到对应的rtp流以及少量配置交互报文,减少了媒体子卡的工作量,最终保证整个电视墙服务器的实时性、准确性以及稳定性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明电视墙服务器rtp报文转发方法流程图。
图2为本发明用户页面终端和媒体子卡通道绑定关系示意图。
图3为本发明电视墙服务器rtp转发规则示意图。
具体实施方式
本申请实施例通过提供一种方法以及装置,本发明可将大点数视频会议中接收到的多路rtp视频流快速、准确、完整的转发到相应的媒体子卡进行相应的处理,确保媒体子卡只会接收到对应的rtp流以及少量配置交互报文,减少了媒体子卡的工作量,最终保证整个电视墙服务器的实时性、准确性以及稳定性。
本申请实施例中的技术方案,总体思路如下:1、电视墙服务器开发了一套用户配置ui页面,用户通过该配置页面添加会议终端,添加内容包含终端号码、终端ip地址、以及终端主流或者辅流;2、终端号码添加完成后,用户通过配置页面将终端号码和指定媒体子卡的指定hdmi通道进行绑定,完成绑定后,后续视频会议中该终端的视频流将被转发到电视墙绑定媒体子卡的hdmi通道输出显示;3、电视墙服务器接收到视频会议中某个终端的sip(会话初始化协议,用于建立语音/视频通话)报文,解析并提取sip报文携带的sdp(会话描述协议,保存会话中协商的媒体信息)信息、提取协商的媒体端口port。4、电视墙将提取到的该终端的sdp媒体描述信息、媒体端口port以及绑定的hdmi通道号(n)下发给与该终端绑定的媒体子卡。5、媒体子卡收到电视墙服务器下发的媒体描述sdp信息后进行sdp解析,提取视频rtp流解码显示所需的相关参数;接收到目的端口为port以及hdmi通道号n添加对应关系,该对应关系用于指示该媒体子卡在后续接收到目的端口为port的rtp报文流将交给序号为n的hdmi通道解码输出显示;媒体子卡解析完成以后,将解析结果上报给电视墙服务器。6、电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口port、终端的ip地址以及与该终端绑定的媒体子卡mac地址(m_mac)作为条件配置报文转发规则,该规则表明了从某终端ip地址发出并且目的端口为port的rtp流报文将被转发至mac地址m_mac的媒体子卡。7、媒体子卡接收到电视墙服务器转发的rtp报文流后根据配置的port和hdmi通道号对应关系决定收到的rtp流该由哪个hdmi通道解码输出显示。8、电视墙服务器接收到某个终端的bye报文,删除该终端的报文转发规则以及相关记录,媒体子卡将不会再接收到该终端的rtp视频流。
如图1所示,为实现电视墙服务器的rtp报文转发方法,本发明所述方法如下:
步骤1、用户通过电视墙服务器用户配置ui页面添加mcu会议终端号码,包含终端号码、终端ip地址、终端流类型(主流:与mcu终端连接的摄像机的视频信号;辅流:与视频会议终端连接的计算机信号,比如一些会议需要共享一些计算机信号,比如发言者的ppt,word等)。
步骤2、用户通过电视墙服务器用户配置页面将会议终端号码和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码的号码、ip地址、流类型以及媒体子卡的编号、mac地址和hdmi编号记录成一条数据保存至数据库以及内存,该绑定关系表明该会议终端号码的主流或辅流将被电视墙服务器转发至与之绑定的媒体子卡进行解码处理,并且媒体子卡处理完成后将在与之绑定的某个hdmi通道输出画面显示,如图2所示。
步骤3、电视墙服务器从内核勾取协议类型为sip的报文,并将sip报文发送给电视墙服务器上层进行报文解析(保证上层只会处理会议相关的sip报文,减少电视墙服务器工作量),电视墙服务器上层匹配sip报文的方法(匹配sip报文200ok的ack确认响应,该ack响应携带了mcu和mcu终端协商的媒体信息)、终端号码以及终端ip地址,匹配成功后(终端的号码及ip,在这里上层收到sip报文以后,首先匹配sip报文方法,然后匹配sip报文携带的终端号码以及ip地址,如果匹配到终端号码以及ip,则进行sdp提取保存和下发),解析提取sip报文携带的sdp信息,主要提取主流和辅流的sdp媒体描述信息以及媒体端口。
步骤4、终端号码的sip报文主流和辅流sdp媒体描述信息及媒体端口提取完成后,将媒体描述信息、媒体端口以及与该终端绑定的hdmi通道号下发给和该终端绑定的媒体子卡。
步骤5、媒体子卡收到电视墙服务器下发的sdp媒体描述信息后进行sdp解析,提取rtp流解码显示所需的相关参数(解码方式、帧率等)并创建解码器,并与接收到媒体端口和hdmi通道号添加对应关系,该对应关系表明媒体子卡在后续接收到该目的端口的rtp报文流将交给对应的解码器进行解码处理,并且解码处理完成后将在对应的hdmi通道输出画面显示;媒体子卡解析完成以后,将解析结果上报给电视墙服务器。
步骤6、电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则。该规则表明了从该终端发出的rtp流报文将被转发至指定mac地址的媒体子卡进行处理(由于会议建立过程完成了媒体端口协商,因此该终端发出的rtp视频流目的端口为我们提取到的媒体端口)。该规则通过匹配报文的源ip地址以及目的端口(具体实现方式是:添加规则时把终端ip和媒体端口作为key计算hash值并保存,收到rtp报文时也提取报文的源ip和目的端口进行hash计算,然后去查询记录),完成匹配后修改报文的目的mac地址为规则的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡,如图3所示。
步骤7、媒体子卡接收到电视墙服务器转发的rtp报文后,通过报文的目的端口查找对应的解码器和hdmi通道号,并将rtp交给该解码器进行解码处理;解码器处理完成后将处理后的媒体画面交给对应的hdmi通道输出显示。
步骤8、电视墙服务器上层接收到某终端方法为bye的sip报文后,删除与该终端对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。当有新的会议视频建立时,重复以上流程,实现对电视墙服务器中的rtp流快速、准确、完整的转发。
实施例一
本实施例提供一种方法,包括;步骤1、电视墙服务器添加mcu会议终端信息,所述会议终端信息包括会议终端号码、终端ip地址以及终端流类型;
步骤2、电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存;
步骤3、电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
步骤4、将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
步骤5、媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
步骤6、电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡;
步骤7、根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示;
步骤8、电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
基于同一发明构思,本申请还提供了与实施例一中的方法对应的装置,详见实施例二。
实施例二
在本实施例中提供了一种装置,包括:
添加模块,电视墙服务器添加mcu会议终端信息,所述会议终端信息包括会议终端号码、终端ip地址以及终端流类型;
绑定模块,电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存;
提取模块,电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
发送模块,将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
创建模块,媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
规则模块,电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡;
转发模块,根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示;
删除模块,电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
由于本发明实施例二所介绍的装置,为实施本发明实施例一的方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。
1.一种电视墙服务器的rtp报文转发方法,其特征在于:包括:
步骤1、电视墙服务器添加mcu会议终端信息;
步骤2、电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定;
步骤3、电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
步骤4、将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
步骤5、媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
步骤6、电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将会议终端信息、媒体端口与媒体子卡作为条件配置报文转发规则;
步骤7、根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示。
2.根据权利要求1所述的一种电视墙服务器的rtp报文转发方法,其特征在于:所述步骤1中会议终端信息包括会议终端号码、终端ip地址以及终端流类型。
3.根据权利要求2所述的一种电视墙服务器的rtp报文转发方法,其特征在于:所述步骤2进一步具体为:电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存。
4.根据权利要求2所述的一种电视墙服务器的rtp报文转发方法,其特征在于:所述步骤6进一步具体为:电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡。
5.根据权利要求1所述的一种电视墙服务器的rtp报文转发方法,其特征在于:还包括步骤8、电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
6.一种电视墙服务器的rtp报文转发装置,其特征在于:包括:
添加模块,电视墙服务器添加mcu会议终端信息;
绑定模块,电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定;
提取模块,电视墙服务器从内核勾取协议类型为sip报文;之后解析接收到的sip报文,提取主流和辅流的sdp媒体描述信息以及媒体端口;
发送模块,将主流和辅流的sdp媒体描述信息以及媒体端口通过网络交互发送至对应的媒体子卡;
创建模块,媒体子卡将主流和辅流的sdp媒体描述信息进行sdp解析,提取rtp流解码显示所需要的参数,并创建解码器,设置解码器与媒体端口以及所述hdmi通道的对应关系;
规则模块,电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将会议终端信息、媒体端口与媒体子卡作为条件配置报文转发规则;
转发模块,根据所述条件配置报文转发规则电视墙服务器将rtp报文转发至对应的媒体子卡上,之后通过rtp报文的媒体端口查找对应的解码器和hdmi通道,将rtp报文通过解码器解码后,通过hdmi通道输出进行显示。
7.根据权利要求6所述的一种电视墙服务器的rtp报文转发装置,其特征在于:所述添加模块中会议终端信息包括会议终端号码、终端ip地址以及终端流类型。
8.根据权利要求7所述的一种电视墙服务器的rtp报文转发装置,其特征在于:所述绑定模块进一步具体为:电视墙服务器将会议终端信息和指定媒体子卡的指定hdmi通道进行绑定,该绑定将会议终端号码、终端ip地址、终端流类型、媒体子卡的编号、媒体子卡的mac地址和hdmi编号记录成一条数据保存至数据库以及内存。
9.根据权利要求7所述的一种电视墙服务器的rtp报文转发装置,其特征在于:所述规则模块进一步具体为:电视墙服务器接收到媒体子卡上报的sdp解析完成响应后,将提取的媒体端口、终端ip地址以及与该终端绑定的媒体子卡mac地址作为条件配置报文转发规则,所述条件配置报文转发规则通过匹配报文的源ip地址以及目的端口,完成匹配后修改报文的目的mac地址为规则中的媒体子卡mac地址,最终该报文将被转发至指定的媒体子卡。
10.根据权利要求6所述的一种电视墙服务器的rtp报文转发装置,其特征在于:还包括删除模块,电视墙服务器接收到bye的sip报文后,删除与对应终端所对应的报文转发规则,后续媒体子卡将不会再接收到该终端的rtp视频流。
技术总结