数据处理方法、装置、计算机设备和存储介质与流程

专利2022-06-29  71


本申请涉及大数据领域,尤其涉及一种数据处理方法、数据处理装置、计算机设备和存储有计算机可读指令的存储介质。



背景技术:

业内前端异常和埋点数据上传均是进行实时上传,也就是只要存在异常或埋点数据都需要进行上传,然后便会调用相应的程序或者线程来实现对数据的上传。

这样的处理方式,虽然在一定程度上保证了数据的实时性,但是由于是进行数据的实时上传,使得会频繁进行程序或者线程的调用来完成数据的上传,这样在一定程度上增加了服务器的工作负担,频繁的接收请求指令也大大增加了服务器的请求压力。



技术实现要素:

本申请提供了一种数据处理方法、数据处理装置、计算机设备及存储介质,以减少对服务器的频繁请求,提高服务器的运行稳定性。

第一方面,本申请提供了一种数据处理方法,所述数据处理方法包括:

当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;

若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;

根据进行比较得到的比较结果确定对应的操作指令;

基于所述操作指令对所述待处理数据进行处理。

第二方面,本申请还提供了一种数据处理装置,所述数据处理装置包括:

接口确认模块,用于当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;

大小比较模块,用于若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;

指令确定模块,用于根据进行比较得到的比较结果确定对应的操作指令;

数据处理模块,用于基于所述操作指令对所述待处理数据进行处理。

第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据处理方法。

第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的数据处理方法。

本申请公开了一种数据处理方法中,在对前端异常和埋点数据进行处理时,首先判断当前浏览器是否支持标准接口,在确定支持标准接口时直接进行上传,而在不支持标准接口时将根据待处理数据的数据大小确定当前对应的处理方式,具体地处理当时包括直接存储在关联的目标服务器的本地存储中,以及对预先所存储的数据信息进行调整且将待处理数据存储在临时存储器中,进而在满足存储条件时将其存储在本地存储中。实现了对数据进行统一处理,减少频繁的请求,提高服务器的运行稳定性。

附图说明

为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中数据处理方法的流程示意图;

图2为另一个实施例中数据处理方法的流程示意图;

图3为一个实施例中得到预设阈值的步骤的流程示意图;

图4为又一个实施例中数据处理方法的流程示意图;

图5为为一个实施例中数据处理装置的示意性框图;

图6为一个实施例中计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。

应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

请参阅图1,图1为一个实施例中数据处理方法的流程示意图。该数据处理方法用于提高对web前段埋点数据的处理效率以及降低数据服务器的请求压力。

如图1所示,该数据处理方法具体包括:

步骤s10、当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口。

当接收到待处理的数据时,首先确定与处理装置关联的目标浏览器是否支持标准接口。具体地,处理装置与相应的浏览器所关联,用于检测浏览器是否需要进行数据处理操作。在确定存在需要进行处理的待处理数据时,首先确定所关联的目标浏览器是否支持相对应的标准接口。

在确定所关联的目标浏览器是否支持相对应的标准接口时,根据实际的确定结果来对待处理数据进行处理。具体地,当确定目标浏览器支持标准接口时,可以直接将待处理数据进行上传,当确定目标浏览器不支持标准接口时,那么将对待处理数据进行相应的处理。

在实际应用中,标准接口实际上是beacon接口,beacon接口为web服务器调度异步和非阻塞请求。在判断浏览器是否支持beacon接口时,通过相应的地址信息来进行判断确定,具体可以通过navigator.sendbeacon的地址信息是否为undefined来作为判断依据,如果navigator.sendbeacon的地址信息不为undefined,则说明当前关联的服务器支持beacon接口,否则不支持beacon接口。

进一步地,在需要进行数据处理时,需要预先得到需要进行处理的数据,具体地,当检测到埋点采集到的数据时,获取所述埋点所采集到的数据作为待上传数据;或,当检测到运行异常时,获取所采集到的异常数据作为待上传数据。

在实际应用中,待处理数据的得到方式包括利用埋点进行的数据采集以及异常数据的获取,其中,当检测到埋点采集到的数据时,获取埋点所采集到的数据作为待处理数据;当检测到运行异常时,获取所采集到的异常数据作为待处理数据。

埋点就是在应用服务器中的每一个页面中都嵌入一个数据记录采集点,用户在访问页面时数据记录采集点将会收集用户访问行为日志,其中所采集到的用户访问行为日志即为待处理数据。

步骤s20、若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较。

其中,预设阈值具体指目标浏览器当前可以进行存储的数据量的最大值。

在确定目标浏览器不支持标准接口时,此时确定不可以直接把待处理数据上传至所关联的服务器中,需要进行相应的操作之后才能进行数据的上传,具体地,将待处理数据的数据量与预设阈值进行比较,然后根据得到的比较结果对待处理数据进行相应的处理,以在进行处理之后完成数据的上传。

在实际应用中,在确定navigator.sendbeacon的地址信息为undefined时,说明浏览器不支持beacon接口,即目标浏览器不支持标准接口,此时将读取待处理数据的数据量,以将所得到的数据量与预设阈值进行比较,然后不同的比较结果对应得这不同的数据处理方式。具体地,进行比较之后所得到的比较结果分为两类,一个是待处理数据的数据量小于或者等于预设阈值,另一个是待处理数据的数据量大于预设阈值,而对于不同的比较结果,对应的处理方式有所不同。

另外,若确定所述目标浏览器支持所述标准接口,则将待处理数据上传至关联的服务器。

具体地,当确定目标浏览器支持标准接口时,直接将待处理数据上传至所关联的服务器中进行存储。具体地,在确定navigator.sendbeacon的地址信息不为undefined时,说明浏览器支持beacon接口,此时将会直接把接收到的待处理数据上传至所关联的服务器中进行存储,以便于后期进行数据分析处理。

步骤s30、根据进行比较得到的比较结果确定对应的操作指令。

在将待处理数据的数据量与预设阈值进行比较之后,得到相应的比较结果,然后根据所得到的比较结果得到相应的操作指令。

具体地,所得到的比较结果包括有待处理数据的数据量小于或者等于预设阈值,以及待处理数据的数据量大于预设阈值。若待处理数据的数据量小于或者等于预设阈值,则说明此时目标浏览器的本地存储器的存储空间的空间值支持将待处理数据进行存储,此时将会将待处理数据存储在目标浏览器的本地存储中,那么在此种比较结果之下的控制指令则是进行数据存储的指令信息;若待处理数据的数据量大于预设阈值,则说明此时目标浏览器的本地存储器的存储空间的空间值不支持将待处理数据进行存储,此时则需要进行后续的相关操作处理,以完成对待处理数据的存储。

在不可以直接将待处理数据存储在目标浏览器的本地存储中时,需要确定出现不可存储情况的原因,具体为确定为什么待处理数据的数据量大于预设阈值,进而根据所得到的原因信息进行后续的相关操作,那么此时所得到的控制指令为进行信息确定的指令信息。

具体地,在进行信息确认时,主要确定是否需要对预设阈值进行更新。由于在实际应用中,存在服务器变更的情况,但是预先所存储的浏览器中的预设阈值是针对于某一个特定的服务器而言,也就是说,在服务器变更时,预设阈值可能会发生相应的改变,因此预设阈值也会随着服务器的变更进行相应的更新。

步骤s40、基于所述操作指令对所述待处理数据进行处理。

在得到对待处理数据的操作指令之后,将会根据所得到的操作指令对待处理数据进行相应的处理。具体地,进行相应的处理包括对待处理数据进行存储的操作,以及对某些已经存储的数据进行上传操作,同时将待处理数据进行存储。

具体地,在根据所得到的操作指令对待处理数据进行处理时,包括:若所述操作指令为数据存储指令,则将所述待处理数据存储在所述目标浏览器的本地存储器中;若所述操作指令为信息确认指令,则将所述目标浏览器的本地存储器中的数据上传至与所述目标浏览器关联的服务器中,并将所述待处理数据存储在所述目标浏览器的本地存储器中。

当确定所得到的操作指令为数据存储指令时,说明当前目标浏览器的存储空间可以存储需要进行上传的数据,此时将会把待处理数据存储在本地存储器中。

在实际应用中,业内前端异常和埋点数据上传均是实时上传,但是如果只要在接收到数据时便进行数据的上传,显然会更加对目标服务器的工作压力。由于浏览器的本地存储中可以用于存储相应的数据信息,因此在一定的情况下,可以将数据进行存储,在存储的数据量达到一定的情况时在进行数据的统一批量上传,这样可以在一定程度上减小服务器的工作压力。

另外,当确定所得到的操作指令为信息确认指令时,首先获取预先存在在本地存储器中的数据,然后对本地存储器中的数据进行编码,将进行编码之后的数据上传至关联服务器,同时将本地存储器中的数据进行删除,以进行空间释放,最后将待处理数据存储在本地存储器中。

具体地,在操作指令为信息确认指令时,说明此时浏览器的本地存储中没有足够的内存空间将待处理数据进行处理,因此将会将预先存储在本地存储中的数据上传至关联服务器中,以使得本地存储中存在一定的存储空间对待处理数据进行存储。同时在将预先所存储有的数据进行上传时,是将数据从本地存储中进行删除,但是在浏览器没有进行关闭时,那么所记录的数据将会存储在一个临时存储器中(js上下文中),而在浏览器被关闭时,存储在临时存储器中的数据将会被删除。

在上述数据处理方法中,在对前端异常和埋点数据进行处理时,首先判断当前浏览器是否支持标准接口,在确定支持标准接口时直接进行上传,而在不支持标准接口时将根据待处理数据的数据量确定当前对应的处理方式,具体地处理当时包括直接存储在关联的目标服务器的本地存储中,以及对预先所存储的数据信息进行调整且将待处理数据存储在临时存储器中,进而在满足存储条件时将其存储在本地存储中。实现了对数据进行统一处理,减少频繁的请求,提高服务器的运行稳定性。

进一步地,参照图2,图2为另一个实施例中数据处理方法的流程示意图。

具体地,该数据处理方法还包括:

步骤s01、计算得到与所述目标浏览器关联的服务器支持的目标url长度值。

步骤s02、计算得到所述目标浏览器的本地存储器的存储空间的空间值。

步骤s03、按照预设规则将所述目标url长度值与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值。

其中,url为统一资源定位符。

预设阈值是存储在浏览器中,是对待处理数据进行处理的判断依据,由于数据的最终上传是需要上传至相应的服务器,因此预设阈值的具体数值与所关联服务器所支持的目标url长度值有一定的关系,同时还与数据生成的主体有关,即与所关联的浏览器的本地存储器的存储空间的空间值有关。因此在得到存储在浏览器中的预设阈值时,需要根据目标服务器所支持的目标url长度值以及当前所使用的目标浏览器的本地存储器的存储空间的空间值来进行确定。

具体地,在计算得到目标服务器所支持的目标url长度值时,假定异常堆栈信息最长数据量为1kb,给出批量数量设置接口,如果批量数量设置为10,则程序随机生成一个10*1kb的ascii字符串。其中,异常堆栈信息最长数据量是根据服务器的实际性能得到的,批量数据的数量也可以设定为其他数量,具体可以依据服务器的性能进行设定。

然后,将给定长度的字符串作为向服务器发送进行数据索取的请求的参数通过可扩展超文本传输请求方法调用数据批量上传的接口。

接着,将会根据所发出的请求指令接收服务器发送的反馈信息,进而根据所接收到的反馈信息进行后续处理。当反馈信息为字符串长度过长时,则选取字符串1/2的长度继续请求,如果依然过长,则选取剩余长度1/2 1/4的长度继续请求,如果还是过长则选取剩余长度的1/2 1/4 1/8的长度继续请求,以此类推,当接收到的反馈信息为数据长度过短时,将当前长度增加初始长度和当前长度差值的1/2后继续请求,如果依然过短,则继续将当前长度增加初始长度和当前长度差值的1/2 1/4,继续请求,如果还是过短,则继续将当前长度增加初始长度和当前长度差值的1/2 1/4 1/8,以此类推,直到最终检测到的过长和过短的长度差值小于100(某一设定值)时,则选取过短长度为目标服务器支持的目标url长度值。

检测长度变动的差值公式为1/2 1/22 1/23 ... 1/2n,其中,n为连续多次过长或过短的次数,连续过长或多短只要被打破,则n重置为1。

在计算得到目标浏览器的本地存储的存储空间大小时,可以同样采用计算得到目标服务器支持的目标url长度的方式进行计算得到。具体地,随机生成1kb*n的ascii字符串,将这个字符串作为值,“__tracking_data_gauge__”作为标识符(也可以换其他的不与其他本地存储标识符冲突的字符串)设置到浏览器本地存储中。如果设置后抛出存储内容大小超过存储容量的异常,则说明字符串长度过长;如果不抛出异常的说明长度过短,此时将按照计算得到目标服务器支持的目标url长度值的方式进行处理,以得到目标浏览器的本地存储的存储空间的空间值。

在得到目标服务器支持的目标url长度值以及目标浏览器的本地存储的存储空间的空间值之后,将会根据空间值与目标url长度值得到相应的预设阈值,以将得到的预设阈值存储在对应的浏览器中。

进一步地,参照图3,图3为一个实施例中得到预设阈值的步骤的流程示意图。

具体地,步骤s03,按照预设规则将所述目标url长度与所述存储空间大小进行对比,以根据得到的对比结果得到所述预设阈值,包括:

步骤s031、根据所述存储空间的空间值得到进行比较的目标空间值。

步骤s032、将所述目标空间值与所述目标url长度值进行比较。

步骤s033、若所述目标空间值小于所述目标url长度值,则确定所述目标空间值为所述预设阈值。

步骤s034、若所述目标空间值等于所述目标url长度值,则确定所述目标空间值或所述目标url长度值为所述预设阈值。

步骤s035、若所述目标空间值大于所述目标url长度值,则确定所述目标url长度值为所述预设阈值。

在得到用于进行判断的预设阈值时,需要根据关联的目标浏览器以及目标服务器的自身性能来决定。具体地,在得到预设阈值时,首先根据所得到的存储空间的空间值得到进行比较的目标空间值,然后将所得到的目标空间值与所得到的目标url长度值进行比较,进而根据所得到的比较结果确定预设阈值的具体数值。

在实际应用中,在按照预设规则将存储空间的空间值与目标url长度值进行比较时,不是直接将存储空间的空间值与目标url长度值进行对比,而是根据存储空间大小得到合适的进行比较的数值,进而再与目标url长度值进行对比。比如,可以将存储空间的空间值的百分之十与目标url长度值进行比较,然后将数值较小的作为预设阈值进行存储,进而根据所得到的比较结果来确定所存储的预设阈值。若目标url长度值小于存储空间的空间值的百分之十,则将目标url长度值对应得数值作为数据大小对应的预设阈值,反之则将存储空间的空间值的百分之十对应得数值作为数据大小对应的预设阈值。

目标空间值是根据本地存储器的存储空间的空间值得到的,在上描述中,可以将目标空间值设置为存储空间大小的百分之十,同样的还可以设置为其他的比例,具体根据目标浏览器的本地存储器的实际状态确定。在实际应用中,由于埋点服务器不会频繁的变更,即与目标浏览器关联的目标服务器不会频繁变更,因此预设阈值的存储周期可以设置为三个月或者半年,然后时间超过存储周期之后进行自动的刷新调节。

即,在得到预设阈值之后,还包括:设定所述预设阈值的有效期限,当所述预设阈值的存储时间超过所设置的有效期限时,更新所述预设阈值。在进行更新时,按照上述所描述的方式进行计算确定,进而进行将重新计算得到的预设阈值进行存储,同时也设定有相应的有效期限。

需要说明的是,步骤s033、步骤s034以及步骤s035是三个并行的方案,也就是在实际应用过程中只会存在三个方案中的一种。

进一步地,参照图4,图4为又一个实施例中数据处理方法的流程示意图。

具体地,将所述目标浏览器的本地存储器中的已存储数据上传至所述目标服务器之后,该数据处理方法还包括:

步骤s50、当检测到所述已存储数据上传失败时,计算接收所述已存储数据的服务器的url长度值。

步骤s60、将所述url长度值与所述目标url长度值进行对比。

步骤s70、当所述url长度值与所述目标url长度值不相等时,将对接收所述待处理数据的服务器对应的预设阈值进行更新。

步骤s80、当所述url长度值与所述目标url长度值相等时,确定出所述已存储数据的数据量过大。

其中,已存储数据为已经存储在目标浏览器的本地存储器中的数据。

在实际的应用过程中,并不是所有的数据上传或者处理都可以正常进行,还可能由于系统或者处理器的变更导致数据处理失败的情况,因此在出现数据处理异常时,需要及时进行相应的反馈响应,以保证数据处理可以正常进行。

在一个实施例中,在确定目标浏览器的本地存储器的剩余空间不支持此次的数据存储时,需要将目标浏览器的本地存储器中所存储的数据进行上传。在进行数据上传时,将所存储的数据上传至所关联的服务器中,当检测到数据上传失败时,首先确定当前与目标浏览器相关联的服务器的相关信息,也就是确定进行数据接收的服务器是哪一个,然后计算接收已存储数据的服务器的url长度值,进而将计算所得到的url长度值与预先所记录的目标服务器的url长度值进行对比,以根据对比结果确定数据上传失败的原因。

在将计算所得到的url长度值与目标服务器的url长度值进行对比时,所得到的对比结果有两者相同以及两者不相同,两者相同即说明与目标浏览器相关联的目标服务器没有改变或者更换,对于两者不相同的情况,也就是说明由于后续的需求或者其他的原因,将与目标浏览器所关联的目标服务器进行得了更换,且没有及时的进行相关信息的更新。

一般情况下,不同服务器对应的url长度值是有所不同的,那么极可能是的预设阈值会有所变化,也就是可支持的数据存储的数据量大小有所不同。在检测到数据上传失败时,需要确定当前数据上传失败的原因是什么,具体根据当前计算得到的url长度值与目标服务器的url长度值的对比结果得到。

有上述描述可知,当计算得到的url长度值与目标服务器的url长度值不相同时,由于预设阈值是根据与浏览器关联的服务器的url长度值所确定,因此将会对预设阈值进行更新,进而在更新完成之后完成对已存储数据的处理,比如对已存储数据进行上传或者继续存储在浏览器的本地存储中;当计算得到的url长度值与目标服务器的url长度值相同时,说明当前进行上传的已存储数据的数据量过大,将会进行一定的操作以完成对已存储数据的处理。

在确定需要对预设阈值进行更新时,与上述描述中得到预设阈值的过程相同,根据此时计算得到的url长度值以及浏览器的存储空间大小重新进行判断,得到更新后的预设阈值。需要说明的是,此时所使用的方式与上述得到预设阈值的方式是一样的,比如若预设阈值时是将url长度值与存储空间大小的百分之十进行比较而得到的,那么此时在进行更新时,同样是将计算得到的url长度值与存储空间大小的百分之十进行比较以得到更新后的预设阈值。

进一步地,在确定计算得到的url长度值与目标服务器的url长度值相同时,确定此时进行上传的已存储数据的数据量过大,此时将会对已存储数据进行相应的处理以完成数据的上传,比如采用退避算法进行数据的上传,其中退避算法就是网络上的节点在发送数据冲突后,等待一定时间后再发,等待时间是随指数增长,若在进行处理之后数据上传依据失败,临时存储器中(js上下文中)将会失去所上传的数据。

然后,还将判断接收上传数据的服务器的存储空间大小与预设阈值之间的大小关系,比如判断接收上传数据的服务器的存储空间大小是否超过预设阈值的两倍,也可以是多倍,没有具体限制,如果超过了,则删除接收已存储数据的服务器中所存储的最旧的数据,以满足“删除数据大小=存储数据大小”即可,其中所删除的数据条数是动态计算的,数据的新旧可以依据数据存储的时间来确定。

请参阅图5,图5为一个实施例中数据处理装置的示意性框图,该数据处理装置用于执行前述的数据处理方法。

如图5所示,该数据处理装置100包括:

接口确认模块101,用于当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口。

大小比较模块102,用于若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较。

指令确定模块103,用于根据进行比较得到的比较结果确定对应的操作指令。

数据处理模块104,用于基于所述操作指令对所述待处理数据进行处理。

进一步地,在一个实施例中,所述数据处理装置100具体还用于:

当检测到埋点采集到的数据时,获取所述埋点所采集到的数据作为待处理数据;或,当检测到所述目标浏览器运行异常时,获取所采集到的异常数据作为待处理数据。

进一步地,在一个实施例中,所述数据处理装置100还包括:第一计算模块105、第二计算模块106以及阈值确定模块107。

第一计算模块105,用于计算得到与所述目标浏览器关联的目标服务器支持的目标url长度值;第二计算模块106,用于计算得到所述目标浏览器的本地存储器的存储空间的空间值;阈值确定模块107,用于按照预设规则将所述目标url长度值与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值。

进一步地,在一个实施例中,所述阈值确定模块107具体还用于:根据所述存储空间的空间值得到进行比较的目标空间值;将所述目标空间值与所述目标url长度值进行比较;若所述目标空间值小于所述目标url长度值,则确定所述目标空间值为所述预设阈值;若所述目标空间值等于所述目标url长度值,则确定所述目标空间值或所述目标url长度值为所述预设阈值;若所述目标空间值大于所述目标url长度值,则确定所述目标url长度值为所述预设阈值。

进一步地,在一个实施例中,所述指令确定模块103具体还用于:若所述数据量小于或者等于所述预设阈值,则确定所述操作指令为数据存储指令;若所述数据量大于所述预设阈值,则确定所述操作指令为信息确认指令。

进一步地,在一个实施例中,所述数据处理模块104具体还用于:若所述操作指令为数据存储指令,则将所述待处理数据存储在所述目标浏览器的本地存储器中;若所述操作指令为信息确认指令,则将所述目标浏览器的本地存储器中所存储的数据上传至与所述目标浏览器关联的服务器中,并将所述待处理数据存储在所述目标浏览器的本地存储器中。

进一步地,在一个实施例中,所述数据处理装置100还包括异常确定模块108。

异常确定模块108,用于当检测到所述已存储数据上传失败时,计算接收所述已存储数据的服务器的url长度值;将所述url长度值与目标url长度值进行对比;当所述url长度值与所述目标url长度值不相等时,将对接收所述待处理数据的服务器对应的预设阈值进行更新处理;当所述url长度值与所述目标url长度值相等时,确定所述已存储数据的数据量大小过大。

需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6,图6为一个实施例中计算机设备的结构示意性框图。该计算机设备可以是服务器。

参阅图6,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种数据处理方法。

处理器用于提供计算和控制能力,支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种数据处理方法。

该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

应当理解的是,处理器可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:

当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;根据进行比较得到的比较结果确定对应的操作指令;基于所述操作指令对所述待处理数据进行处理。

在一个实施例中,所述处理器在实现所述当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口之前,还用于实现:

当检测到埋点采集到的数据时,获取所述埋点所采集到的数据作为待处理数据;或,当检测到所述目标浏览器运行异常时,获取所采集到的异常数据作为待处理数据。

在一个实施例中,所述处理器在实现所述将所述数据大小与预设阈值进行比较之前,还用于实现:

计算得到与所述目标浏览器关联的服务器支持的目标url长度值;计算得到所述目标浏览器的本地存储器的存储空间的空间值;按照预设规则将所述目标url长度值与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值。

在一个实施例中,所述处理器在实现所述按照预设规则将所述目标url长度与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值时,还用于实现:

根据所述存储空间的空间值得到进行比较的目标空间值;将所述目标空间值与所述目标url长度值进行比较;若所述目标空间值小于所述目标url长度值,则确定所述目标空间值为所述预设阈值;若所述目标空间值等于所述目标url长度值,则确定所述目标空间值或所述目标url长度值为所述预设阈值;若所述目标空间值大于所述目标url长度值,则确定所述目标url长度值为所述预设阈值。

在一个实施例中,所述处理器在实现所述根据进行比较得到的比较结果得到对应的操作指令时,还用于实现:

若所述数据量小于或者等于所述预设阈值,则确定所述操作指令为数据存储指令;若所述数据量大于所述预设阈值,则确定所述操作指令为信息确认指令。

在一个实施例中,所述处理器在实现所述基于所述操作指令对所述待处理数据进行处理时,用于实现:

若所述操作指令为数据存储指令,则将所述待处理数据存储在所述目标浏览器的本地存储器中;若所述操作指令为信息确认指令,则将所述目标浏览器的本地存储器中所存储的数据上传至与所述目标浏览器关联的服务器中,并将所述待处理数据存储在所述目标浏览器的本地存储器中。

在一个实施例中,所述处理器在实现所述将所述目标浏览器的本地存储器中的已存储数据上传至所述目标浏览器关联的服务器中之后,还用于实现:

当检测到所述已存储数据上传失败时,计算接收所述已存储数据的服务器的url长度值;将所述url长度值与所述目标url长度值进行对比;当所述url长度值与所述目标url长度值不相等时,将接收所述已存储数据的服务器对应的预设阈值进行更新;当所述url长度值与所述目标url长度值相等时,确定出所述已存储数据的数据量过大。

本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项数据处理方法。

其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。


技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;

若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;

根据进行比较得到的比较结果确定对应的操作指令;

基于所述操作指令对所述待处理数据进行处理。

2.根据权利要求1所述的数据处理方法,其特征在于,所述当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口之前,还包括:

当检测到埋点采集到的数据时,获取所述埋点所采集到的数据作为待处理数据;或,

当检测到所述目标浏览器运行异常时,获取所采集到的异常数据作为待处理数据。

3.根据权利要求1所述的数据处理方法,其特征在于,在所述将所述数据大小与预设阈值进行比较之前,还包括:

计算得到与所述目标浏览器关联的服务器支持的目标url长度值;

计算得到所述目标浏览器的本地存储器的存储空间的空间值;

按照预设规则将所述目标url长度值与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值。

4.根据权利要求3所述的数据处理方法,其特征在于,所述按照预设规则将所述目标url长度与所述空间值进行对比,以根据得到的对比结果得到所述预设阈值,包括:

根据所述存储空间的空间值得到进行比较的目标空间值;

将所述目标空间值与所述目标url长度值进行比较;

若所述目标空间值小于所述目标url长度值,则确定所述目标空间值为所述预设阈值;

若所述目标空间值等于所述目标url长度值,则确定所述目标空间值或所述目标url长度值为所述预设阈值;

若所述目标空间值大于所述目标url长度值,则确定所述目标url长度值为所述预设阈值。

5.根据权利要求1所述的数据处理方法,其特征在于,所述根据进行比较得到的比较结果得到对应的操作指令,包括:

若所述数据量小于或者等于所述预设阈值,则确定所述操作指令为数据存储指令;

若所述数据量大于所述预设阈值,则确定所述操作指令为信息确认指令。

6.根据权利要求5所述的数据处理方法,其特征在于,所述基于所述操作指令对所述待处理数据进行处理,包括:

若所述操作指令为数据存储指令,则将所述待处理数据存储在所述目标浏览器的本地存储器中;

若所述操作指令为信息确认指令,则将所述目标浏览器的本地存储器中的已存储数据上传至与所述目标浏览器关联的服务器中,并将所述待处理数据存储在所述目标浏览器的本地存储器中。

7.根据权利要求6所述的数据处理方法,其特征在于,所述将所述目标浏览器的本地存储器中的已存储数据上传至所述目标浏览器关联的服务器中之后,还包括:

当检测到所述已存储数据上传失败时,计算接收所述已存储数据的服务器的url长度值;

将所述url长度值与所述目标url长度值进行对比;

当所述url长度值与所述目标url长度值不相等时,将接收所述已存储数据的服务器对应的预设阈值进行更新;

当所述url长度值与所述目标url长度值相等时,确定出所述已存储数据的数据量过大。

8.一种数据处理装置,其特征在于,所述数据处理装置包括:

接口确认模块,用于当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;

大小比较模块,用于若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;

指令确定模块,用于根据进行比较得到的比较结果确定对应的操作指令;

数据处理模块,用于基于所述操作指令对所述待处理数据进行处理。

9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述数据处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机可读指令被所述处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项所述数据处理方法的步骤。

技术总结
本申请公开了一种数据处理方法,涉及大数据领域,所述方法包括:当接收到待处理数据时,确定关联的目标浏览器是否支持标准接口;若确定所述目标浏览器不支持所述标准接口,则读取所述待处理数据的数据量,并将所述数据量与预设阈值进行比较;根据进行比较得到的比较结果确定对应的操作指令;基于所述操作指令对所述待处理数据进行处理。本申请还提供一种数据处理装置、计算机设备和存储介质。实现了对数据进行统一处理,减少频繁的请求,提高服务器的运行稳定性。

技术研发人员:饶怡骏
受保护的技术使用者:中国平安财产保险股份有限公司
技术研发日:2020.01.16
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-23028.html

最新回复(0)