一种数据处理方法、装置及电子设备与流程

专利2022-06-30  55


本说明书实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置及电子设备。



背景技术:

随着互联网应用的普及和人们日常对互联网的依赖,互联网数据的数据量呈现爆发式的增长。在对互联网数据的处理过程中,经常会遇到数据查询、统计、分析等情形,在这种情况下,需要频繁的在互联网的海量数据中查询原始数据。

现有技术中,可以通过在数据库中对存储的海量原始数据构建索引,利用索引对数据查询请求进行检索,来确定该数据查询请求对应的原始数据。



技术实现要素:

有鉴于此,本说明书实施例提供了一种数据处理方法、装置及电子设备,用于解决现有技术中难以在海量的互联网数据中快速准确的查询到原始数据的问题。

本说明书实施例采用下述技术方案:

本说明书实施例提供一种数据处理方法,包括:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

本说明书实施例还提供一种数据处理方法,包括:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

本说明书实施例还提供一种数据处理装置,包括:

提取模块,从各原始数据中分别提取对应的特征数据;

编码模块,对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建模块,构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

本说明书实施例还提供一种数据处理装置,包括:

接收模块,接收数据查询请求;

提取模块,从所述数据查询请求中提取对应的特征数据;

第一查询模块,利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

第二查询模块,根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

本说明书实施例还提供一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成至少一个处理器执行以下步骤:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

本说明书实施例还提供一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成至少一个处理器执行以下步骤:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:

通过对各原始数据进行预处理,确定各原始数据对应的特征数据和数据编码信息,并构建特征数据与数据编码信息之间的映射关系。在对数据查询请求进行查询时,通过确定该数据查询请求对应的特征数据,就可以快速查询到该特征数据对应的数据编码信息,从而可以进一步利用数据编码信息快速确定对应的原始数据。

通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

附图说明

此处所说明的附图用来提供对本说明书实施例的进一步理解,构成本说明书实施例的一部分,本说明书的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1为本说明书实施例提供的一种数据处理方法的流程示意图;

图2为本说明书实施例提供的一种数据处理方法的流程示意图;

图3为本说明书实施例提供的一种数据处理方法的流程示意图;

图4为本说明书实施例提供的一种数据处理方法的时序图;

图5为本说明书实施例提供的一种数据处理装置的结构示意图;

图6为本说明书实施例提供的一种数据处理装置的结构示意图。

具体实施方式

现有技术中,在从数据库存储的海量互联网数据中,查询数据查询请求对应的原始数据时,容易因为互联网数据的爆发式增长而导致查询性能急剧下降,无法对数据查询请求进行快速响应。

因此,本说明书实施例提供一种数据处理方法、装置及电子设备,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

为使本申请的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

以下结合附图,详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的一种数据处理方法的流程示意图,本说明书实施例以对原始数据的预处理为具体应用实施例。

s101:从各原始数据中分别提取对应的特征数据。

在本说明书实施例中,原始数据可以理解为在互联网中产生的原始数据,是由多个数据源发送给数据处理服务器的,其中,数据源可以是不同的服务器和/或数据库,原始数据具体可以是实时产生的数据或者是存储的离线数据,在此不做具体限定。

特征数据可以是指能够表明原始数据的数据属性的信息数据,具体可以是原始数据中携带的账户信息、用户信息、设备信息等实体数据,在此不做具体限定。

在具体应用场景中,特征数据可以是根据原始数据按照预设的属性规则确定的,在数据查询过程中,可以按照预设的规则,将数据查询请求的特征数据与已存的原始数据的特征数据进行匹配,进而可以确定数据查询请求对应的原始数据。在这种情况下,各原始数据的特征数据和数据查询请求的特征数据可以是一一对应的,在此不做具体限定。

作为另外一种应用实施例,特征数据还可以是根据已存的原始数据的数据特征预先设定好的,或者是根据数据查询请求的属性特征去匹配预设的特征数据,进而可以查询得到对应的原始数据。

在这种情况下,特征数据是预先设定的,可以对应至少一个原始数据,例如,对于应用平台a,用户在注册账户时,可以采用手机号、用户名、邮箱、身份信息、银行卡号等个人信息中的一种进行注册,在注册完成后,还可以在该账户中绑定其他个人信息来进行验证,以方便用户使用,在登录时,用户可以以注册的个人信息或者是绑定的个人信息进行登录,这些个人信息对于用户来说均是账户信息。

但是对于应用平台a,同一个用户的账户id是唯一设定的,上述个人信息均可以与该唯一的账户id进行匹配,当用户更换手机号等个人信息时,该账户id也不会改变,对于该用户在应用平台a产生的所有原始数据来说,即使各原始数据对应手机号、邮箱、身份证信息或者其他个人信息中的一种或者多种,特征数据均可以是该账户id。

作为一种应用实施例,从各原始数据中分别提取对应的特征数据,可以包括:

利用预设的属性规则确定各所述原始数据的属性特征;

根据确定的所述属性特征,从所述原始数据中确定与所述属性特征匹配的特征数据。

在本说明书实施例中,预设的属性规则可以是指预先设定的用于确定原始数据的属性特征的规则。属性特征可以理解为能够确定原始数据的数据类型的属性信息,根据该属性特征可以从原始数据中提取与该数据类型相匹配的特征数据,其中,属性特征具体可以是指用户个人信息中的用户信息属性、商业秘密中的秘密信息属性、商品信息的溯源数据属性或者其他属性特征,在此不做具体限定。

具体地,可以利用预设的属性规则对原始数据进行解析,从中确定原始数据的属性特征,例如,若原始数据是用户手机号及对应的交易数据,则可以确定该原始数据的属性特征为用户个人信息类型的数据,进而可以从该原始数据中提取用户手机号作为子特征。延续上例,就可以利用该用户手机号确定对应的账户id作为特征数据。

进一步地,根据确定的所述属性特征,从所述原始数据中确定与所述属性特征匹配的特征数据,可以包括:

根据确定的所述属性特征,从所述原始数据中提取与所述属性特征匹配的子特征;

根据提取的所述子特征确定与所述子特征对应的特征数据。

在具体应用场景中,可以从各原始数据中分别提取对应的特征数据,特征数据与各原始数据一一对应。但对于海量的原始数据,多个原始数据可能对应相同的属性特征,例如,同一个用户在应用平台a绑定的多种用户个人信息,对于该用户在应用平台a的各原始数据,可以分别以各原始数据中携带的用户个人信息作为特征数据。在这种情况下,为进一步提高查询效率,可以将该用户的多种用户个人信息作为子特征,多种用户个人信息均对应的唯一账户id作为特征数据,这样,在查询的过程中,可以进一步缩小查询数据范围。

进一步地,在从各原始数据中分别提取对应的特征数据之后,还可以包括:

根据所述特征数据判断对应的所述原始数据是否属于热点查询数据,所述热点查询数据是根据历史查询数据确定的;

若是,则将所述原始数据存储于缓存。

在本说明书实施例中,热点查询数据可以是指历史查询次数较多的数据,可以是利用历史查询数据的查询结果确定查询次数较多的原始数据,进而可以确定查询次数较多的特征数据对应的原始数据。通过对历史查询数据进行处理,将查询较为频繁的原始数据切分开,单独存储在缓存中,可以缓解数据库或者服务器的查询压力,提高查询效率。

具体地,可以将历史查询数据进行处理得到的特征数据集合为数据集,在预设时间段内,如每间隔15分钟,将相同数据类型的特征数据归并为一组,如将均是账户id的特征数据进行归并为一组。然后对每一组特征数据,统计各特征数据出现的次数,将出现次数达到阈值的特征数据对应的原始数据作为热点查询数据,并将热点查询数据存储在缓存中,以提高对热点查询数据的查询效率。

s103:对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息。

在本说明书实施例中,数据编码信息可以理解为原始数据的索引信息,预先构建原始数据的数据编码信息与特征数据之间的对应关系,可以在查询过程中,利用特征数据查询到对应的数据编码信息,从而可以避免对原始数据进行直接的全量查询,提高查询效率。

对应的,在对各原始数据进行编码的过程中,即构建了各原始数据与对应的数据编码信息之间的映射关系,在查询时,可以根据查询到的数据编码信息查询对应的原始数据。

作为一种应用实施例,对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息,可以包括:

根据各所述原始数据的存储路径,分别创建各所述原始数据的数据编码信息。

数据处理服务器可以对接收的各原始数据进行存储,在存储的过程中,可以按照预设的规则对原始数据进行分类存储,为提高查询效率,避免对海量的原始数据进行全量检索,可以按照原始数据的存储路径来构建该原始数据对应的数据编码信息,进而可以在数据查询时,可以根据数据编码信息确定对应的原始数据的存储路径,以快速得到该数据编码信息对应的原始数据。

作为另外一种应用实施例,根据确定的特征数据对各所述原始数据进行编码,可以包括:

根据确定的所述特征数据对各所述原始数据进行分类,得到至少一个类别的原始数据,以按照不同的类别对所述原始数据进行存储;

根据各所述原始数据所属的类别确定各所述原始数据的存储路径;

根据各所述原始数据的存储路径,分别创建各所述原始数据的数据编码信息。

通过根据特征数据分别对各原始数据进行分类,可以对海量的原始数据按照各自的类型分别进行存储,以将海量复杂的原始数据实现有序化存储,进而可以按照各原始数据所属的类别对各原始数据分别进行编码,以实现对原始数据的快速查询。

s105:构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

在本说明书实施例中,通过构建各原始数据的数据编码信息与特征数据之间的映射关系,可以降低占用查询系统的内存。在对数据查询请求进行查询时,可以先通过该映射关系,确定数据查询请求对应的数据编码信息,进而再利用该数据编码信息查询到对应的原始数据,避免对海量的原始数据直接进行查询,即使互联网数据爆发式增长,也不会影响查询性能。

本说明书实施例提供的一种数据处理方法,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

图2为本说明书实施例提供的一种数据处理方法的流程示意图。

s201:接收数据查询请求。

在本说明书实施例中,数据查询请求可以理解为需要从数据库中获取原始数据的查询请求,具体可以是对已泄露的数据的查询请求、商品数据溯源的查询请求或者其他数据查询请求,在此不做具体限定。

互联网在方便人们日常生活的同时,也给用户的信息安全造成了威胁,用户个人隐私信息等数据经常会发生泄露,为追溯泄露数据是如何泄露的,需要从互联网的海量数据中查询到泄露数据的原始数据源,以对泄露源头进行追溯,在这种情况下,可以以泄露的数据作为数据查询请求。

s203:从所述数据查询请求中提取对应的特征数据。

在本说明书实施例中,特征数据与上述实施例中的特征数据的含义相同,在此不再赘述。

作为一种应用实施例,从所述数据查询请求中提取对应的特征数据,可以包括:

利用预设的属性规则确定所述数据查询请求的属性特征;

根据确定的所述属性特征,从所述数据查询请求中确定与所述属性特征匹配的特征数据。

在本说明书实施例中,预设的属性规则可以是指预先设定的用于确定数据查询请求的属性特征的规则。属性特征可以理解为能够确定数据查询请求的数据类型的属性信息,根据该属性特征可以从数据查询请求中提取与该属性特征相匹配的特征数据。

具体地,可以利用预设的属性规则对数据查询请求进行解析,从中确定数据查询请求的属性特征,例如,若数据查询请求是泄露的用户手机号及对应的交易数据,则可以确定该数据查询请求的属性特征为用户个人信息类型的数据,进而可以从该数据查询请求中提取用户手机号作为子特征。延续上例,就可以利用该用户手机号确定对应的账户id作为对应的特征数据。

作为一种应用实施例,根据确定的所述属性特征,从所述数据查询请求中确定与所述属性特征匹配的特征数据,可以包括:

根据确定的所述属性特征,从所述数据查询请求中提取与所述属性特征匹配的子特征;

根据提取的所述子特征确定与所述子特征对应的特征数据。

在本说明书实施例中,子特征的含义与上述实施例中的子特征的含义相同,在此不再赘述。通过从数据查询请求中提取与属性特征相匹配的子特征,再进一步确定对应的特征数据,可以进一步缩小查询数据的范围,提高查询效率。

作为另外一种应用实施例,在从所述数据查询请求中提取对应的特征数据之后,还可以包括:

根据所述特征数据判断对应的所述原始数据是否属于热点查询数据,所述热点查询数据是根据历史查询数据确定的;

若是,则在缓存中对所述特征数据进行查询。

由于预先根据历史查询数据确定了热点查询数据,并将对应的原始数据存储于缓存,以实现对热点查询数据的快速响应,所以可以在确定特征数据后,先判断该特征数据对应的原始数据是否属于热点查询数据,若是,则可以直接在缓存中对特征数据进行查询。

s205:利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的。

在本说明书实施例中,数据编码信息与上述实施例中公开的数据编码信息的具体含义相同,均是各原始数据对应的索引信息,可以利用数据编码信息快速匹配到对应的原始数据,在此不再赘述。

通过预先构建原始数据的数据编码信息与特征数据之间的映射关系,可以在第一级查询过程中,利用特征数据快速地查询到对应的数据编码信息,从而可以避免对原始数据进行直接的全量查询,提高查询效率。

s207:根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

通过在对原始数据编码过程中,预先构建的数据编码信息与原始数据之间的对应关系,可以在进行第二级查询时,利用第一级查询过程中查询到的数据编码信息进行查询,快速地查询到数据编码信息对应的原始数据,即可得到数据查询请求对应的原始数据。

作为一种应用实施例,根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,可以包括:

根据所述数据编码信息确定存储路径;

利用所述存储路径查询与所述数据编码信息对应的原始数据。

通过利用查询到的数据编码信息,根据预先确定的数据编码信息与原始数据存储位置之间的对应关系,可以确定对应的原始数据的存储路径,就可以避免盲目的对数据编码信息进行查询,快速的得到数据编码信息对应的原始数据。

本说明书实施例提供的一种数据处理方法,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

图3为本说明书实施例提供的一种数据处理方法的流程示意图,本说明书实施例以对数据源的原始数据的处理为具体应用实施例。

s301:多个数据源模块分别向实时流计算引擎和分布式离线存储集群发送多个原始数据。

s303:分布式离线存储集群在对各所述原始数据进行离线存储的过程中,按照存储位置创建各所述原始数据对应的数据编码信息。

在这个过程中,即可得到数据编码信息和原始数据之间的对应关系。

s305:实时流计算引擎利用数据接入模块接收数据源模块发送的多个所述原始数据。

s307:实时流计算引擎利用数据解析模块对接收的多个所述原始数据进行解析,得到各所述原始数据中的子特征。

在本说明书实施例中,子特征可以是用户的个人隐私信息,如手机号、邮箱等敏感数据,在此不做具体限定。

数据解析模块可以采用正则匹配、自定义函数、结构化数据截取等方式,提取接收的各原始数据中的携带的特征数据。

s309:实时流计算引擎利用数据归一化模块根据解析得到的子特征与用户id之间的对应关系,确定各所述原始数据对应的用户id,得到各所述原始数据的用户id与数据编码信息之间的对应关系。

在本说明书实施例中,用户id即为上述实施例中的特征数据。

s311:归一化模块将特征数据与用户id之间的对应关系发送给分布式内存查询集群。

图4为本说明书实施例提供的一种数据处理方法的流程示意图,本说明书实施例以数据查询请求的两级查询为具体应用实施例。

s401:分布式内存查询集群接收数据查询请求。

其中,分布式内存集群中存储有从实时流计算引擎接收的各所述原始数据的用户id与数据编码信息之间的对应关系。

s403:分布式内存查询集群确定所述数据查询请求的属性特征。

s405:分布式内存查询集群根据所述属性特征,从所述数据查询请求中提取匹配的子特征。

s407:分布式内存查询集群根据提取的所述子特征,确定与所述子特征对应的用户id。

s409:分布式内存查询集群利用所述用户id,在用户id与数据编码信息之间的对应关系中查询与所述用户id对应的数据编码信息。

s411:分布式内存查询集群将查询到的所述数据编码信息发送给分布式离线快速检索引擎。

s413:分布式离线快速检索引擎利用接收到的所述数据编码信息,在分布是离线存储集群中查询与所述数据编码信息对应的原始数据。

本说明书实施例提供的一种数据处理方法,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

图5为本说明书实施例提供的一种数据处理装置的结构示意图。

提取模块501,从各原始数据中分别提取对应的特征数据;

编码模块502,对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建模块503,构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

本说明书实施例提供的一种数据处理装置,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

图6为本说明书实施例提供的一种数据处理装置的结构示意图。

接收模块601,接收数据查询请求;

提取模块602,从所述数据查询请求中提取对应的特征数据;

第一查询模块603,利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

第二查询模块604,根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

本说明书实施例提供的一种数据处理装置,通过预先构建原始数据的特征数据与数据编码信息之间的映射关系,可以在很大程度上减小需要查询的数据量,从而可以在对数据查询请求进行第一级查询时,快速的得到特征数据对应的数据编码信息,进而可以利用查询到的数据编码信息进行第二级查询,在海量原始数据中快速得到数据编码信息对应的原始数据,提升查询效率,实现对数据查询请求的快速响应。

基于同一发明构思,本说明书实施例还提供一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成由至少一个处理器执行以下步骤:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

其中,处理器的其他功能还可以参见上述实施例中记载的内容,这里不再一一赘述。

基于同一发明构思,本说明书实施例还提供一种计算机可读存储介质,包括与电子设备结合使用的程序,程序可被处理器执行以完成以下步骤:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

其中,处理器的其他功能还可以参见上述实施例中记载的内容,这里不再一一赘述。

基于同一发明构思,本说明书实施例还提供一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成由至少一个处理器执行以下步骤:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

其中,处理器的其他功能还可以参见上述实施例中记载的内容,这里不再一一赘述。

基于同一发明构思,本说明书实施例还提供一种计算机可读存储介质,包括与电子设备结合使用的程序,程序可被处理器执行以完成以下步骤:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

其中,处理器的其他功能还可以参见上述实施例中记载的内容,这里不再一一赘述。

在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(例如,对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray,fpga))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(hardwaredescriptionlanguage,hdl),而hdl也并非仅有一种,而是有许多种,如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等等,目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便,描述以上装置时以功能分为各种单元和/或各种模块分别描述。当然,在实施本申请时可以把各单元和/或各模块的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求保护范围之内。


技术特征:

1.一种数据处理方法,包括:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

2.如权利要求1所述的方法,从各原始数据中分别提取对应的特征数据,包括:

利用预设的属性规则确定各所述原始数据的属性特征;

根据确定的所述属性特征,从所述原始数据中确定与所述属性特征匹配的特征数据。

3.如权利要求2所述的方法,根据确定的所述属性特征,从所述原始数据中确定与所述属性特征匹配的特征数据,包括:

根据确定的所述属性特征,从所述原始数据中提取与所述属性特征匹配的子特征;

根据提取的所述子特征确定与所述子特征对应的特征数据。

4.如权利要求1所述的方法,在从各原始数据中分别提取对应的特征数据之后,还包括:

根据所述特征数据判断对应的所述原始数据是否属于热点查询数据,所述热点查询数据是根据历史查询数据确定的;

若是,则将所述原始数据存储于缓存。

5.如权利要求1所述的方法,对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息,包括:

根据各所述原始数据的存储路径,分别创建各所述原始数据的数据编码信息。

6.一种数据处理方法,包括:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

7.如权利要求6所述的方法,从所述数据查询请求中提取对应的特征数据,包括:

利用预设的属性规则确定所述数据查询请求的属性特征;

根据确定的所述属性特征,从所述数据查询请求中确定与所述属性特征匹配的特征数据。

8.如权利要求7所述的方法,根据确定的所述属性特征,从所述数据查询请求中确定与所述属性特征匹配的特征数据,包括:

根据确定的所述属性特征,从所述数据查询请求中提取与所述属性特征匹配的子特征;

根据提取的所述子特征确定与所述子特征对应的特征数据。

9.如权利要求6所述的方法,在从所述数据查询请求中提取对应的特征数据之后,还包括:

根据所述特征数据判断对应的所述原始数据是否属于热点查询数据,所述热点查询数据是根据历史查询数据确定的;

若是,则在缓存中对所述特征数据进行查询。

10.如权利要求6所述的方法,根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,包括:

根据所述数据编码信息确定存储路径;

利用所述存储路径查询与所述数据编码信息对应的原始数据。

11.一种数据处理装置,包括:

提取模块,从各原始数据中分别提取对应的特征数据;

编码模块,对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建模块,构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

12.一种数据处理装置,包括:

接收模块,接收数据查询请求;

提取模块,从所述数据查询请求中提取对应的特征数据;

第一查询模块,利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

第二查询模块,根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

13.一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成至少一个处理器执行以下步骤:

从各原始数据中分别提取对应的特征数据;

对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;

构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

14.一种电子设备,包括至少一个处理器及存储器,存储器存储有程序,并且被配置成至少一个处理器执行以下步骤:

接收数据查询请求;

从所述数据查询请求中提取对应的特征数据;

利用特征数据与数据编码信息之间的映射关系,查询所述特征数据对应的数据编码信息,所述映射关系是利用各原始数据的特征数据与数据编码信息构建的,各所述原始数据的特征数据是从各所述原始数据中提取的,各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的;

根据所述数据编码信息,查询与所述数据编码信息对应的原始数据,得到所述数据查询请求对应的原始数据。

技术总结
本说明书实施例公开了一种数据处理方法、装置及电子设备,从各原始数据中分别提取对应的特征数据;对各所述原始数据分别进行编码,得到各所述原始数据对应的数据编码信息;构建所述特征数据与所述数据编码信息之间的映射关系,以利用所述映射关系查询特征数据对应的原始数据。

技术研发人员:邓圆
受保护的技术使用者:支付宝(杭州)信息技术有限公司
技术研发日:2020.01.09
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-56984.html

最新回复(0)