本发明涉及计算机，尤其涉及一种多路径视频传输调度方法、设备及程序产品。
背景技术：
1、随着网络技术的发展以及人们对互联网需求的增加，传统的单路径传输的缺点逐渐显露，带宽利用率低、拥塞风险高、可靠性低、适应性差等缺点对网络传输造成许多不利影响。为克服单路径传输的缺陷，多路径视频传输技术开始兴起。多路径视频传输算法同时采用多条链路，在调度器的调度下进行传输。多路径视频传输能够适应网络拓扑结构的变化，保证数据传输的高效性和稳定性，但由于网络环境的高度动态性、传输链路的高度异构性等因素，多路径调度算法的设计面临极大挑战。
2、传统的多路径调度算法，例如基于阻塞估计的调度器(blocking estimation-based scheduler，blest)、基于强化学习的调度器(reinforcement learning basedscheduler，reles)和滑动多路径调度器(slide together multipath scheduler，stms)等，要么只考虑了传输层的性能指标，缺乏对用户体验质量(quality of experience，qoe)的关注；要么是人工设计规则来响应网络变化，却由于互联网的高度动态性，无法及时响应网络环境的变化，导致无法在多流实时视频传输系统中满足用户体验质量需求的问题。
技术实现思路
1、鉴于此，本发明实施例提供了一种多路径视频传输调度方法、设备及程序产品，以消除或改善现有技术中存在的一个或更多个缺陷。能够解决无法及时响应网络环境的变化，导致无法在多流实时视频传输系统中满足用户体验质量需求的问题。
2、本发明的一个方面提供了一种多路径视频传输调度方法，方法用于在目标网络的多路径视频传输调度装置上运行，目标网络中还包括视频转发服务器、上游节点和下游节点，上游节点与下游节点之间建立有n条传输子流，n为大于1的整数；多路径视频传输调度装置运行有强化学习智能体，强化学习智能体用于调度控制n条传输子流；该方法包括以下步骤：
3、通过强化学习智能体获取n条传输子流中的每条传输子流在当前时刻下对应的传输层状态信息和应用层质量信息；
4、获取预先构建的多层神经网络模型，输入传输层状态信息，通过多层神经网络模型基于传输层状态信息，得到n条传输子流的流量平均值和流量标准差，将流量平均值和流量标准差映射到[0，1]范围内，得到一个1×n的动作矩阵；动作矩阵用于指示每条传输子流增强层数据的发送比例；增强层数据是视频转发服务器将原始视频数据编码为m个质量级别数据后，将每个质量级别数据视为一层数据分别计算相邻层数据之间的残差信息，得到m-1个残差信息并将m-1个残差信息编码后得到的；m为大于1的整数；
5、按照动作矩阵指示的增强层数据的发送比例调度控制n条传输子流；
6、根据传输层状态信息和应用层质量信息计算传输子流调度奖励值；通过强化学习智能体，以最大化未来传输子流调度奖励值之和为优化目标对多层神经网络模型进行训练和参数更新直至收敛。
7、可选地，按照动作矩阵指示的增强层数据的发送比例调度控制n条传输子流，包括：
8、将基础层数据平均分配给n条传输子流传输至下游节点，以使下游节点在接收到基础层数据后将基础层数据解码播放视频；
9、按照发送比例将增强层数据分配给n条传输子流传输，以使下游节点在接收到增强层数据后解码增强层数据增强播放视频的质量。
10、可选地，以最大化未来传输子流调度奖励值之和为优化目标对多层神经网络模型进行训练和参数更新直至收敛，包括：
11、构建优化目标函数，表达式为：
12、
13、式中，st表示t时刻对应的传输层状态信息；rt表示t时刻对应的传输子流调度奖励值；γ为模糊系数，h(π(·|st))表示在当前状态空间st中所有动作概率的熵；α为调节系数，用于调节h(π(·|st))的重要程度。
14、可选地，传输层状态信息包括吞吐率、延迟或者丢包率；应用层质量信息包括应用层帧率或者峰值信噪比；根据传输层状态信息和应用层质量信息计算传输子流调度奖励值，计算式为：
15、
16、式中，表示在t时刻对应的n条传输子流丢包率的平均值；表示在t时刻对应的n条传输子流的平均吞吐率；表示在t时刻对应的应用层平均帧率；表示在t时刻对应的应用层峰值信噪比；sum(at-1)表示在t-1时刻对应的n条传输子流的流量控制总量；表示在t时刻对应的n条传输子流的平均延迟。
17、可选地，sum(at-1)对应的安全区间为[0，2n/3]。
18、可选地，多层神经网络模型模型包括输入层、第一全连接层、第二全连接层、第三全连接层和第四全连接层；输入层用于接传输层状态信息；第一全连接层、第二全连接层和第三全连接层的输出结果通过relu激活函数进行处理；第四全连接层用于输出动作矩阵。
19、本发明的另一方面提供了一种多路径视频传输调度装置，该装置包括：
20、信息获取模块，用于通过强化学习智能体获取n条传输子流中的每条传输子流在当前时刻下对应的传输层状态信息和应用层质量信息；
21、信息输入模块，用于获取预先构建的多层神经网络模型，输入传输层状态信息，通过多层神经网络模型基于传输层状态信息，得到n条传输子流的流量平均值和流量标准差，将流量平均值和流量标准差映射到[0,1]范围内，得到一个1×n的动作矩阵；动作矩阵用于指示每条传输子流增强层数据的发送比例；增强层数据是视频转发服务器将原始视频数据编码为m个质量级别数据后，将每个质量级别数据视为一层数据分别计算相邻层数据之间的残差信息，得到m-1个残差信息并将m-1个残差信息编码后得到的；m为大于1的整数；
22、动作决策模块，用于按照动作矩阵指示的增强层数据的发送比例调度控制n条传输子流；
23、模型奖励模块，用于根据传输层状态信息和应用层质量信息计算传输子流调度奖励值；通过强化学习智能体，以最大化未来传输子流调度奖励值之和为优化目标对多层神经网络模型进行训练和参数更新直至收敛。
24、本发明的另一方面提供了一种电子设备，包括处理器、存储器及存储在存储器上的计算机程序/指令，其特征在于，处理器用于执行计算机程序/指令，当计算机程序/指令被执行时该电子设备实现前述多路径视频传输调度方法的步骤。
25、本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现前述多路径视频传输调度方法的步骤。
26、本发明的另一方面提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现前述多路径视频传输调度方法的步骤。
27、本发明的多路径视频传输调度方法、设备及程序产品，能够解决传统多路径视频传输调度方法无法及时响应网络环境的变化，导致无法在多流实时视频传输系统中满足用户体验质量需求的问题；通过将上一时刻的传输子流状态以及视频质量输入多层神经网络模型来计算各个传输子流下一时刻传输的增强层数据的比例，能够避免网络动态性和异构性的影响，使得各传输子流能够尽量同时到达下游节点，且能够迅速响应网络条件的变化，自适应地调整各个传输子流的数据量，实现专注于目标网络中多条传输子流的调度过程，使得多流传输过程能够充分利用网络带宽，且能够适应高度动态的网络环境，大幅度提升实时视频传输的用户体验质量；同时，基于不同下游节点的网络状况调整传输的增强层数据的发送比例，使得下游节点能够生成不同质量的视频，满足用户多样化的体验指令需求。
28、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
29、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
1.一种多路径视频传输调度方法，其特征在于，所述方法用于在目标网络中的多路径视频传输调度装置上运行，所述目标网络中还包括视频转发服务器、上游节点和下游节点，所述上游节点与所述下游节点之间建立有n条传输子流，所述n为大于1的整数；所述多路径视频传输调度装置运行有强化学习智能体，所述强化学习智能体用于调度控制所述n条传输子流；该方法包括以下步骤：
2.根据权利要求1所述的多路径视频传输调度方法，其特征在于，所述按照所述动作矩阵指示的增强层数据的发送比例调度控制所述n条传输子流，包括：
3.根据权利要求1所述的多路径视频传输调度方法，其特征在于，所述以最大化未来传输子流调度奖励值之和为优化目标对所述多层神经网络模型进行训练和参数更新直至收敛，包括：
4.根据权利要求1所述的多路径视频传输调度方法，其特征在于，所述传输层状态信息包括吞吐率、延迟或者丢包率；所述应用层质量信息包括应用层帧率或者峰值信噪比；所述根据所述传输层状态信息和所述应用层质量信息计算传输子流调度奖励值，计算式为：
5.根据权利要求4所述的多路径视频传输调度方法，其特征在于，所述sum(at-1)对应的安全区间为[0，2n/3]。
6.根据权利要求1所述的多路径视频传输调度方法，其特征在于，所述多层神经网络模型模型包括输入层、第一全连接层、第二全连接层、第三全连接层和第四全连接层；所述输入层用于接所述传输层状态信息；所述第一全连接层、所述第二全连接层和所述第三全连接层的输出结果通过relu激活函数进行处理；所述第四全连接层用于输出所述动作矩阵。
7.一种多路径视频传输调度装置，其特征在于，该装置包括：
8.一种电子设备，包括处理器、存储器及存储在存储器上的计算机程序/指令，其特征在于，所述处理器用于执行所述计算机程序/指令，当所述计算机程序/指令被执行时该电子设备实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
