本申请涉及数据处理领域,特别地公开了一种基于时间窗口的资源处理方法、资源处理装置、机器可读介质以及系统。
背景技术:
对资源尤其是对数据流的计算是一种新的数据处理方式,能实时对大规模的数据流进行处理分析呈现,为系统提供即时的数据价值,被广泛应用于金融服务、网络监控、电信数据管理、web应用、生产制造、传感检测等领域。其中,流计算中常用的操作是对一定时间间隔内的数据进行统计。
目前,流计算中,在对具有时间属性的资源进行处理时,可以将该资源分配至时间窗口内进行处理,但是,该分配任务往往是随机的,会造成时间窗口的利用率不高。
技术实现要素:
本申请实施例提供了一种基于时间窗口的资源处理方法,包括:
配置窗口池中的时间窗口的属性,时间窗口用于处理包含时间信息的资源,属性包括时间维度和数量阈值;
根据时间窗口的属性和资源的时间信息,将资源分配到窗口池中的时间窗口中由处理器进行处理,其中,时间窗口中处理的资源的时间信息与时间窗口的时间维度一致,并且,资源分配到时间窗口前,时间窗口中处理的资源数量未达到数量阈值。
可选地,还包括:
时间窗口的属性还包括处理周期,处理周期包括时间窗口的开始时间和/或结束时间。
可选地,还包括:
在时间窗口的处理周期内,无法处理完资源的情况下,将资源分配至窗口池中时间维度与资源的时间信息一致的其他时间窗口继续处理。
可选地,还包括:
在时间窗口的处理周期内,无法处理完资源的情况下,根据资源的时间信息和时间窗口的处理周期得到资源的剩余处理时间,
将资源分配至窗口池中时间维度与资源的剩余处理时间一致的其他时间窗口继续处理。
可选地,还包括:
在时间窗口的处理周期内,无法处理完资源的情况下,且窗口池中不存在其他时间窗口时,创建时间维度与资源的时间信息一致的时间窗口,将资源分配至时间窗口后,继续处理资源。
可选地,还包括:
在一个时间段内,同一窗口池中配置有时间维度相同的至少两个时间窗口。
可选地,还包括:
通过通信方式,读取配置文件,用于对配置窗口池中的时间窗口的属性。
本申请还提供了一种基于时间窗口的资源处理装置,包括:
配置模块,用于配置窗口池中的时间窗口的属性,所述时间窗口用于处理包含时间信息的资源,属性包括时间维度和数量阈值;
处理模块,用于根据时间窗口的属性和资源的时间信息,将资源分配到窗口池中的时间窗口中由处理器进行处理,其中,时间窗口中处理的资源的时间信息与时间窗口的时间维度一致,并且,资源分配到时间窗口前,时间窗口中处理的资源数量未达到数量阈值。
可选地,还包括:
配置模块用于对时间窗口配置处理周期的属性,处理周期包括时间窗口的开始时间和/或结束时间。
可选地,还包括:
处理模块用于在时间窗口的处理周期内,无法处理完资源的情况下,将资源分配至窗口池中时间维度与资源的时间信息一致的其他时间窗口继续处理。
可选地,还包括:
处理模块用于在时间窗口的处理周期内,无法处理完资源的情况下,根据资源的时间信息和时间窗口的处理周期得到资源的剩余处理时间;
处理模块用于将资源分配至窗口池中时间维度与资源的剩余处理时间一致的其他时间窗口继续处理。
可选地,还包括:
处理模块用于在时间窗口的处理周期内,无法处理完资源的情况下,且窗口池中不存在其他时间窗口时,创建时间维度与资源的时间信息一致的时间窗口,将资源分配至时间窗口后,继续处理资源。
可选地,还包括:
配置模块用于在一个时间段内,同一窗口池中配置有时间维度相同的至少两个时间窗口。
可选地,还包括:
配置模块用于通过通信方式,读取配置文件,用于对配置窗口池中的时间窗口的属性。
本申请还提供了一种机器可读介质,机器可读介质上存储有指令,该指令在机器上执行时使机器执行上述基于时间窗口的资源处理方法。
本申请实施例还提供了一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行上述的基于时间窗口的资源处理方法。
本发明提供的基于时间窗口的资源处理方法、资源处理装置、机器可读介质以及系统,对基于时间的资源进行统一的,灵活的,统计和限制。
附图说明
图1根据本申请的一些实施例,示出了一种基于时间窗口的资源处理方法的流程示意图。
图2根据本申请的一些实施例,示出了一种基于时间窗口的资源处理装置的结构示意图。
图3根据本申请的一些实施例,示出了一种包含时间窗口的窗口池的结构示意图。
图4根据本申请的一些实施例,示出了一种包含时间窗口的窗口池的结构示意图。
图5根据本申请的一些实施例,示出了一种包含时间窗口的窗口池的结构示意图。
图6根据本申请的一些实施例,示出了一种系统的框图。
图7根据本申请一些实施例,示出了一种片上系统(soc)的框图。
具体实施例
可以理解,如本文所使用的,术语“模块””可以指代或者包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件,或者可以作为这些硬件组件的一部分。
可以理解,在本申请各实施例中,处理器可以是微处理器(例如cpu、gpu等)、数字信号处理器、微控制器等,和/或其任何组合。根据另一个方面,所述处理器可以是单核处理器,多核处理器等,和/或其任何组合。
下面将结合附图对本申请的实施例作进一步地详细描述。
在本发明的实施例中提到的资源包括但不限于是数据流,通常,数据流是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合,可以应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。
在本发明的实施例中提到的时间窗口,通常是能够根据指定的单位长度来处理带有时间属性的数据流,同时还能计算窗口内的数据流的数据指标,包括但不限于基于flink技术以及spark技术开发的时间窗口。
根据本申请的一些实施例公开了以及一种基于时间窗口的资源处理方法、资源处理装置、机器可读介质以及系统。
首先参考图1,图1示出了根据本发明的一个实施例的基于时间窗口的资源处理方法的流程图。如图1所示,包括:
步骤101:配置窗口池中的时间窗口的属性,时间窗口用于处理包含时间信息的资源,属性包括时间维度和数量阈值;
步骤102:根据时间窗口的属性和资源的时间信息,将资源分配到窗口池中的时间窗口中由处理器进行处理,其中,时间窗口中处理的资源的时间信息与时间窗口的时间维度一致,并且,资源分配到时间窗口前,时间窗口中处理的资源数量未达到数量阈值。
首先,配置包含时间窗口的窗口池,时间窗口包含数量阈值,也可以称作为统计参数、时间维度。这里,时间窗口的属性还包括处理周期,处理周期包括时间窗口的开始时间和/或结束时间。
通常,时间窗口可为具有固定时间段的固定时间窗口,或者具有可变时间段的滑动时间窗口。滑动时间窗口能够调节时间窗口的起始(或开始)时间,使得处理资源在时间上更早执行,同时仍然保持时间确定性。本发明的实施例中,提供了固定时间窗口的方法,该时间窗口按照时间维度建立,并且具有处理周期,这里处理周期也可以理解为生命周期。
具体地,时间维度时一种时间段,如小时,天;处理周期,是时间窗口处理资源的生命周期,处理周期包括时间窗口的开始时间和/或结束时间。例如,以1小时为单位的时间窗口,其处理周期也是1小时,处理周期通过在该时间窗口创建的时刻开始计算。
其中,对于多个时间窗口和多个窗口池,可以实现时间维度上的分片,然后根据时间维度的不同对应不同的窗口池,将属于同一个时间维度的时间窗口划分在同一窗口池中,并可以获取到同一窗口池对应的多个时间窗口标识,从而实现处理维度上的分片。
具体地,数量阈值是指分别统计窗口池内的各个时间窗口内处理资源的数量,例如,在一个时间窗口1内对10个资源进行处理,则时间窗口1的数量阈值为10,在时间窗口2内对20个资源进行处理,则时间窗口2的数量阈值为20。统计对资源处理的数据,该数据可以是在处理资源完成后得到的用于表示处理情况的数据。示例性的,上述的服务表现数据,包括但不限于如下的至少一项,需要注意的是,这里的数据都是以时间窗口为统计单位。时间窗口内对资源的处理量:例如,在某个时间窗口内,对10个资源进行了处理;该时间窗口内的数量阈值为10。
具体地,本发明的实施例中,资源也是带有时间信息属性的,该时间信息属性可以但不限于与时间窗口的时间维度一一对应,如小时,天等。将与时间窗口的时间维度对应的带有时间信息属性的资源,分配至时间窗口进行处理。
接着,在时间窗口的处理周期内,无法处理完资源的情况下,将资源分配至窗口池中时间维度与资源的时间信息一致的其他时间窗口继续处理。
具体地,时间窗口处理包含时间信息属性的资源的同时,统计资源的数量至数量阈值,当数量阈值到达该时间窗口处理资源数量的上限时,该时间窗口被认为无法再处理更多的资源。数量阈值被配置为统计同一个时间窗口中正进行处理的资源的数量,同时记录该时间窗口能够处理所属资源的最大数量。
具体地,如上文所述,时间窗口同时并发能够处理的资源有数量限制,例如,时间窗口1能够处理资源的限制数为10,那么,当时间窗口1内正在处理10个资源时,对于一个新产生的且时间信息属性与时间窗口1的时间维度相同的资源,这时如果窗口池中存在与时间窗口1的时间维度相同的时间窗口2,且时间窗口2的资源的限制数没有到达阈值的情况下,窗口池会将该资源分配给该时间窗口2进行处理。
例如,如图3所示,若配置时间窗口生成的时间(开始时间)为09:01:15,时间窗口的时间维度为1小时,已经有10个资源处于当前时间窗口内进行处理。此时,第11个资源产生后,窗口池会将该待处理资源分配至另一时间窗口中进行处理。
在时间窗口的处理周期内,无法处理完资源的情况下,根据资源的时间信息和时间窗口的处理周期得到资源的剩余处理时间;将资源分配至窗口池中时间维度与资源的剩余处理时间一致的其他时间窗口继续处理。
具体地,当时间窗口的处理周期结束时,时间窗口将资源切换至窗口池包含的另一空闲窗口中进行处理,同时,将时间窗口的数量阈值更新至另一空闲窗口的数量阈值。当前时间窗口将资源切换至空闲窗口中进行处理时,当前时间窗口的数量阈值更新至空闲窗口的数量阈值。
具体地,在当前时间窗口接收到产生时间在当前时间窗口的处理周期之内的待处理资源,且当前时间窗口的处理周期结束时,该待处理资源尚未被处理完毕,在该当前时间窗口关闭前,即可将待处理资源切换、传递至窗口池中的一个空闲窗口中,有助于提高时间窗口处理资源的完整性。
具体地,若配置时间窗口生成的时间(开始时间)为09:01:15,时间窗口的时间维度为1小时,已经有10个资源处于当前时间窗口内进行处理。当前时间为10:01:15,上述时间窗口内尚存在未处理结束的资源,即待处理资源的生命周期大于当前时间窗口的结束时间(处理周期),即10:01:15,则窗口池会选择在另一个时间窗口中接收的尚未处理完成的资源进程处理。
例如,如图4所示,待处理资源为10:20生成的需要1小时的时间维度处理的资源,窗口池内配置有两个时间窗口1,其时间维度也是1小时,当前时间窗口1的生命周期为(10:00,11:00),空闲窗口2的生命周期为(10:30,11:30),待处理资源进入当前时间窗口1进行处理,当时间到达11:00时,当前时间窗口1将待处理资源切换至空闲窗口2继续处理,同时,将更新空闲窗口2的数量阈值。
优选地,在资源无法被时间窗口处理完的情况下,且窗口池中不存在其他时间窗口时,创建时间维度与资源的时间信息一致的时间窗口,将该资源分配至该新创建的时间窗口内继续处理资源。
例如,如图5所示,待处理资源为10:20生成的需要1小时的时间维度处理的资源,窗口池内配置有一个时间窗口1,其时间维度也是1小时,时间窗口1为当前时间窗口(10:00,11:00),待处理资源进入当前时间窗口1进行处理,当时间到达11:00时,当前时间窗口1的生命周期结束将被回收,窗口池内会生成一个时间窗口2(11:00,12:00),待处理资源切换至时间窗口2继续处理,同时,将更新时间窗口2的数量阈值。
优选地,在一个时间段内,同一窗口池中配置有时间维度相同的至少两个时间窗口。
具体地,本发明的一个实施例中,窗口池将配置至少一个当前窗口和至少一个空闲窗口。该当前窗口和空闲窗口的属性,即,数量阈值、时间维度和处理周期可以是相同的。
例如,待处理资源为10:20生成的需要1小时的时间维度处理的资源,窗口池内初始配置有两个时间窗口1,其时间维度也是1小时,当前时间窗口1为(10:00,11:00),空闲窗口2为(10:00,11:00)。
具体地,在当前时间窗口接收到产生时间归在当前时间窗口的处理周期之内的待处理资源,且当前时间窗口的处理周期结束时,该待处理资源尚未被处理完毕,在该当前时间窗口关闭前,即可将待处理资源切换、传递至窗口池中的一个空闲窗口中,有助于提高时间窗口处理资源的完整性。
可选地,通过通信方式,读取配置文件,用于对配置窗口池中的时间窗口的属性。
其中,可以通过本地加载或者远程加载中的一种方式,读取至少一个配置文件,用于对时间窗口配置数量阈值、时间维度和处理周期;当配置文件发生修改后,实时加载配置文件配置时间窗口。
通常,配置时间窗口的方式包括但不限于通过预置的动态配置文件和动态配置参数,系统读取动态配置文件和动态配置参数;获取时间窗口的设置信息,确定与该设置信息对应的时间窗口的参数;根据动态配置文件和目标变量生成时间窗口。
通常,基于时间窗口的系统的效率会依赖于很多条件,如计算硬件、网络带宽、数据库、文件系统等,在系统内,每种硬件软件也是不同的或者有限的。在服务链路上,随着调用量的增加,某一时间窗口的容量到达极限,导致整体链路的耗时增加,上层系统的负载也会相应的增加,整体服务容量就出现了瓶颈。如果调用量继续增加,整体的调用成功率会急剧下滑;同时由于时间窗口的占用,系统提供的其他服务能力也会急剧下滑,最终导致整个系统无法提供有效服务。
基于上面的描述,下面具体介绍一种基于时间窗口的资源处理装置中各模块的主要工作流程。
根据本申请的一些实施例,结合上述基于时间窗口的资源处理方法对资源处理方法的描述,对于资源处理装置的工作流程,上述资源处理方法中描述的技术细节在此流程中依然适用,为了避免重复,有些在此次不再赘述。如图2所示,具体地,包括:
本申请还提供了一种基于时间窗口的资源处理装置,其特征在于,包括:
配置模块201,用于配置窗口池中的时间窗口的属性,时间窗口用于处理包含时间信息的资源,属性包括时间维度和数量阈值;
处理模块202,用于根据时间窗口的属性和资源的时间信息,将资源分配到窗口池中的时间窗口中由处理器进行处理,其中,时间窗口中处理的资源的时间信息与时间窗口的时间维度一致,并且,资源分配到时间窗口前,时间窗口中处理的资源数量未达到数量阈值。
具体地,配置模块201用于配置包含时间窗口的窗口池,时间窗口包含数量阈值,也可以称作为统计参数、时间维度。这里,时间窗口的属性还包括处理周期,处理周期包括时间窗口的开始时间和/或结束时间。
具体地,配置模块201配置的时间窗口的数量阈值是指分别统计窗口池内的各个时间窗口内处理资源的数量,例如,在一个时间窗口1内对10个资源进行处理,则时间窗口1的数量阈值为10,在时间窗口2对20个资源进行处理,则时间窗口1的数量阈值为20。统计对资源处理的数据,该数据可以是在处理资源完成后得到的用于表示处理情况的数据。示例性的,上述的服务表现数据,包括但不限于如下的至少一项,需要注意的是,这里的数据都是以时间窗口为统计单位。时间窗口内对资源的处理量:例如,在某个时间窗口内,对10个资源进行了处理;该时间窗口内的数量阈值为10。
配置模块201还用于对时间窗口配置处理周期的属性,处理周期包括时间窗口的开始时间和/或结束时间。
处理模块202用于将与时间窗口的时间维度对应的带有时间信息属性的资源,分配至时间窗口进行处理。
处理模块202还用于在时间窗口的处理周期内,无法处理完资源的情况下,将资源分配至窗口池中时间维度与资源的时间信息一致的其他时间窗口继续处理。
具体地,处理模块202分配时间窗口处理包含时间信息属性的资源的同时,统计资源的数量至数量阈值,当数量阈值到达该时间窗口处理资源数量的上限时,该时间窗口被认为无法再处理更多的资源。数量阈值被配置为统计同一个时间窗口中正进行处理的资源的数量,同时记录该时间窗口能够处理所属资源的最大数量。
处理模块202用于在时间窗口的处理周期内,无法处理完资源的情况下,根据资源的时间信息和时间窗口的处理周期得到资源的剩余处理时间,之后将资源分配至窗口池中时间维度与资源的剩余处理时间一致的其他时间窗口继续处理。
处理模块202在时间窗口的处理周期内,无法处理完资源的情况下,根据资源的时间信息和时间窗口的处理周期得到资源的剩余处理时间;将资源分配至窗口池中时间维度与资源的剩余处理时间一致的其他时间窗口。将资源分配至时间窗口后,继续处理。
具体地,当时间窗口的处理周期结束时,处理模块202分配时间窗口将资源切换至窗口池包含的另一空闲窗口中处理,同时,将时间窗口的数量阈值更新至另一空闲窗口的数量阈值。当前时间窗口将资源切换至空闲窗口中处理时,当前时间窗口的数量阈值更新至空闲窗口的数量阈值。
处理模块202在时间窗口的处理周期内,无法处理完资源的情况下,且窗口池中不存在其他时间窗口时,创建时间维度与资源的时间信息一致的时间窗口继续处理资源。
具体地,窗口池中配置有11:00生成的1小时的时间维度处理的时间窗口1,当时间到达12:00时,当前时间窗口1的生命周期结束将被回收,窗口池内会生成一个时间窗口2的生命周期(11:00,12:00),待处理资源切换至时间窗口2继续处理,同时,将更新时间窗口2的数量阈值。
配置模块201用于在一个时间段内,同一窗口池中配置有时间维度相同的至少两个时间窗口。
具体地,配置模块201于窗口池中配置至少一个当前窗口和至少一个空闲窗口。该当前窗口和空闲窗口的属性,即,数量阈值、时间维度和处理周期可以是相同的。
配置模块201用于通过通信方式,读取配置文件,用于对配置窗口池中的时间窗口的属性。
具体地,配置模块201可以通过本地加载或者远程加载中的一种方式,读取至少一个配置文件,用于对时间窗口配置数量阈值、时间维度和处理周期;当配置文件发生修改后,实时加载配置文件配置时间窗口。
本申请还提供了一种机器可读介质,机器可读介质上存储有指令,该指令在机器上执行时使机器执行上述基于时间窗口的资源处理方法。
本申请实施例还提供了一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行上述的基于时间窗口的资源处理方法。
现在参考图6,所示为根据本申请的一个实施例的系统600的框图。图6示意性地示出了根据多个实施例的示例系统600。在一个实施例中,系统600可以包括一个或多个处理器604,与处理器604中的至少一个连接的系统控制逻辑608,与系统控制逻辑608连接的系统内存612,与系统控制逻辑608连接的非易失性存储器(nvm)616,以及与系统控制逻辑608连接的网络接口620。
在一些实施例中,处理器604可以包括一个或多个单核或多核处理器。在一些实施例中,处理器604可以包括通用处理器和专用处理器(例如,图形处理器,应用处理器,基带处理器等)的任意组合。在系统600采用enb(evolvednodeb,增强型基站)或ran(radioaccessnetwork,无线接入网)控制器的实施例中,处理器604可以被配置为执行各种符合的实施例,例如,如图1所示的多个实施例中的一个或多个。
在一些实施例中,系统控制逻辑608可以包括任意合适的接口控制器,以向处理器604中的至少一个和/或与系统控制逻辑608通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中,系统控制逻辑608可以包括一个或多个存储器控制器,以提供连接到系统内存612的接口。系统内存612可以用于加载以及存储数据和/或指令。在一些实施例中系统600的内存612可以包括任意合适的易失性存储器,例如合适的动态随机存取存储器(dram)。
nvm/存储器616可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中,nvm/存储器616可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备,例如hdd(harddiskdrive,硬盘驱动器),cd(compactdisc,光盘)驱动器,dvd(digitalversatiledisc,数字通用光盘)驱动器中的至少一个。
nvm/存储器616可以包括安装系统600的装置上的一部分存储资源,或者它可以由设备访问,但不一定是设备的一部分。例如,可以经由网络接口620通过网络访问nvm/存储616。
特别地,系统内存612和nvm/存储器616可以分别包括:指令624的暂时副本和永久副本。指令624可以包括:由处理器604中的至少一个执行时导致系统600实施如图1所示的方法的指令。在一些实施例中,指令624、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑608,网络接口620和/或处理器604中。
网络接口620可以包括收发器,用于为系统600提供无线电接口,进而通过一个或多个网络与任意其他合适的设备(如前端模块,天线等)进行通信。在一些实施例中,网络接口620可以集成于系统600的其他组件。例如,网络接口620可以集成于处理器604的,系统内存612,nvm/存储器616,和具有指令的固件设备(未示出)中的至少一种,当处理器604中的至少一个执行所述指令时,系统600实现如图1所示的方法。
网络接口620可以进一步包括任意合适的硬件和/或固件,以提供多输入多输出无线电接口。例如,网络接口620可以是网络适配器,无线网络适配器,电话调制解调器和/或无线调制解调器。
在一个实施例中,处理器604中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑封装在一起,以形成系统封装(sip)。在一个实施例中,处理器604中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑集成在同一管芯上,以形成片上系统(soc)。
系统600可以进一步包括:输入/输出(i/o)设备632。i/o设备632可以包括用户界面,使得用户能够与系统600进行交互;外围组件接口的设计使得外围组件也能够与系统600交互。在一些实施例中,系统600还包括传感器,用于确定与系统600相关的环境条件和位置信息的至少一种。
在一些实施例中,用户界面可包括但不限于显示器(例如,液晶显示器,触摸屏显示器等),扬声器,麦克风,一个或多个相机(例如,静止图像照相机和/或摄像机),手电筒(例如,发光二极管闪光灯)和键盘。
在一些实施例中,外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
在一些实施例中,传感器可包括但不限于陀螺仪传感器,加速度计,近程传感器,环境光线传感器和定位单元。定位单元还可以是网络接口620的一部分或与网络接口620交互,以与定位网络的组件(例如,全球定位系统(gps)卫星)进行通信。
根据本申请的实施例,图7示出了一种soc(systemonchip,片上系统)700的框图。在图7中,相似的部件具有同样的附图标记。另外,虚线框是更先进的soc的可选特征。在图7中,soc700包括:互连单元750,其被耦合至应用处理器715;系统代理单元770;总线控制器单元780;集成存储器控制器单元740;一组或一个或多个协处理器720,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(sram)单元730;直接存储器存取(dma)单元760。在一个实施例中,协处理器720包括专用处理器,诸如例如网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
1.一种基于时间窗口的资源处理方法,其特征在于,包括:
配置窗口池中的时间窗口的属性,所述时间窗口用于处理包含时间信息的资源,所述属性包括时间维度和数量阈值;
根据所述时间窗口的属性和所述资源的时间信息,将所述资源分配到所述窗口池中的时间窗口中由处理器进行处理,其中,所述时间窗口中处理的资源的时间信息与所述时间窗口的时间维度一致,并且,所述资源分配到所述时间窗口前,所述时间窗口中处理的资源数量未达到所述数量阈值。
2.根据权利要求1所述的资源处理方法,其特征在于,还包括:
所述时间窗口的属性还包括处理周期,所述处理周期包括所述时间窗口的开始时间和/或结束时间。
3.根据权利要求2所述的资源处理方法,其特征在于,还包括:
在所述时间窗口的所述处理周期内,无法处理完所述资源的情况下,将所述资源分配至所述窗口池中时间维度与所述资源的时间信息一致的其他时间窗口继续处理。
4.根据权利要求3所述的资源处理方法,其特征在于,还包括:
在所述时间窗口的所述处理周期内,无法处理完所述资源的情况下,根据所述资源的时间信息和所述时间窗口的处理周期得到所述资源的剩余处理时间;
将所述资源分配至所述窗口池中时间维度与所述资源的剩余处理时间一致的其他时间窗口继续处理。
5.根据权利要求3所述的资源处理方法,其特征在于,还包括:
在所述时间窗口的所述处理周期内,无法处理完所述资源的情况下,且所述窗口池中不存在其他时间窗口时,创建时间维度与所述资源的时间信息一致的时间窗口,将所述资源分配至所述时间窗口后,继续处理所述资源。
6.根据权利要求1所述的资源处理方法,其特征在于,还包括:
在一个时间段内,同一所述窗口池中配置有所述时间维度相同的至少两个所述时间窗口。
7.根据权利要求1所述的资源处理方法,其特征在于,还包括:
通过通信方式,读取配置文件,用于对配置所述窗口池中的时间窗口的属性。
8.一种基于时间窗口的资源处理装置,其特征在于,包括:
配置模块,用于配置窗口池中的时间窗口的属性,所述时间窗口用于处理包含时间信息的资源,所述属性包括时间维度和数量阈值;
处理模块,用于根据所述时间窗口的属性和所述资源的时间信息,将所述资源分配到所述窗口池中的时间窗口中由处理器进行处理,其中,所述时间窗口中处理的资源的时间信息与所述时间窗口的时间维度一致,并且,所述资源分配到所述时间窗口前,所述时间窗口中处理的资源数量未达到所述数量阈值。
9.一种机器可读介质,其特征在于,所述机器可读介质上存储有指令,该指令在机器上执行时使机器执行权力要求1至7中任一项所述的基于时间窗口的资源处理方法。
10.一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行权利要求1至7中任一项所述的基于时间窗口的资源处理方法。
技术总结