金融数据特征选择和预测方法、装置、设备及存储介质与流程

专利2022-06-29  54


本发明涉及数据挖掘技术领域,具体而言,涉及一种金融数据特征选择和预测方法、装置、设备及存储介质。



背景技术:

在金融领域中,金融数据种类繁多,例如股票、期货、基金、贵金属、外汇等,为了能够及时、有效地获取金融领域的数据信息,并利用金融数据信息进行预测操作,为用户交易提供策略参考,从而量化交易,故此,急需要对金融数据进行快速、精确地识别处理,实时地读取、分析历史金融数据,形成参考建议,从而降低投资交易的风险性。

可见,如何提高金融数据挖掘技术的精确性、准确度和降低数据调用、处理的成本,其实际应用中的亟待处理的实际问题还有很多未提出具体的解决方案。



技术实现要素:

为了克服现有技术的不足提供了一种金融数据特征选择和预测方法、装置、设备及存储介质,本发明的具体技术方案如下:

本申请第一方面提供了一种金融数据特征选择和预测方法,所述方法包括:

根据金融数据处理标准,构建金融数据特征选择模型;

对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集;

针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

本发明第二方面提供了一种金融数据的预测装置,其特征在于,所述装置包括:

模型构建模块,用于根据金融数据处理标准,构建金融数据特征选择模型;

数据标准化处理模块,用于对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

输入模块,用于根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

预测特征集生成模块,用于根据金融数据预测要求,从所述待模型化处理金融数据中提取得到金融数据预测特征集;

预测模块,用于针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

本发明第三方面提供了一种金融数据的预测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述金融数据特征选择和预测方法。

本发明第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述金融数据特征选择和预测方法。

本发明所取得的有益效果包括:1、搜索速度快、可调参数少、易实现;2、数据特征的选择方法及系统大大提高了数据特征选择的精确度,缩短了获取数据特征的时间;3、解决在进行网络安全信息数据挖掘时,无法确保特征选择是否正确及最优的问题;4、解决现有数据挖掘中集中存储,而预测调用时高成本的问题。

附图说明

从以下结合附图的描述可以进一步理解本发明,将重点放在示出实施例的原理上。

图1是本发明实施例之一中金融数据特征选择方法的流程示意图;

图2是本发明实施例之一中另一金融数据特征选择方法的流程示意图;

图3是本发明实施例之一中金融数据的预测装置的结构框图;

图4是本发明实施例之一中金融数据的预测设备的结构框图;

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。对于本领域技术人员而言,在查阅以下详细描述之后,本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内,并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征,并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。

本发明为一种金融数据特征选择和预测方法、装置、设备及存储介质,根据附图1-4所示讲述以下实施例:

实施例一:

本实施例提供了一种金融数据特征选择和预测方法,所述方法包括:

s101:根据金融数据处理标准,构建金融数据特征选择模型;

s102:对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

s103:根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

s104:根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集;

s105:针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

可选的,所述根据金融数据处理标准,构建金融数据特征选择模型,包括:

根据金融数据选择要求,获取得到金融数据处理标准及处理标准内容信息,并基于所述处理标准内容,构建与所述金融数据选择要求相对应的金融数据特征选择模型,并完成所述金融数据特征选择模型的节点定义操作。

可选的,所述对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据,包括:

根据预设标准化数据格式规则对获取的金融数据进行标准化抽取和解析处理,并根据解析结果和所述金融数据选择要求对所述获取的金融数据进行代值标志化处理,得到标准化金融数据。

可选的,所述根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,包括:

根据所述代值匹配得到金融数据特征选择模型,并根据所述金融数据特征选择模型的节点定义协议解析所述标准化金融数据,截取与所述节点定义协议相适应的金融数据段,提取所述金融数据段的特征参数,并计算所述特征参数与所述节点定义协议中定义内容规定的金融数据段的特征参数的参数匹配值,

若所述参数匹配值大于或等于预设参数匹配值,则所述金融数据段有效;

若所述参数匹配值小于所述预设参数匹配值,则所述金融数据段无效,并采用补充解析识别协议进行补充解析识别处理。

可选的,所述采用补充解析识别协议进行补充解析识别处理,包括:

当所述金融数据段无效时,根据所述补充解析识别协议对无效金融数据段进行抽取和解析,输出指定格式的解析结果数据并提取所述无效金融数据段的数据特征信息并补充至所述节点定义协议中,完成所述节点定义协议的更新。

可选的,所述根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集,包括:

根据所述节点定义协议的定义内容和所述金融数据处理标准及处理标准内容信息匹配得到特征选择规则,并根据所述特征选择规则对所述待模型化处理金融数据进行特征选择处理,得到符合所述金融数据选择要求的第一金融数据特征集;

根据所述金融数据预测要求,获取得到金融数据预测指标,并根据所述金融数据预测指标对所述第一金融数据特征集进行数据过滤处理,得到金融数据预测特征集。

可选的,所述特征选择规则根据所述金融数据的特征信息,包括若干与所述金融数据的特征信息一一对应的子特征选择规则。

本实施例第二方面提供了一种金融数据的预测装置,其特征在于,所述装置包括:

模型构建模块,用于根据金融数据处理标准,构建金融数据特征选择模型;

数据标准化处理模块,用于对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

输入模块,用于根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

预测特征集生成模块,用于根据金融数据预测要求,从所述待模型化处理金融数据中提取得到金融数据预测特征集;

预测模块,用于针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

本实施例第三方面提供了一种金融数据的预测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述金融数据特征选择和预测方法。

本实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述金融数据特征选择和预测方法。

实施例二:

本实施例提供了一种金融数据特征选择和预测方法,包括:

s101:根据金融数据处理标准,构建金融数据特征选择模型。所述金融数据处理标准包含:金融数据转换规则:金融数据字段的映射、金融数据各个字段映射的自动匹配信息、金融数据字段的拆分方式、多个金融数据字段的转换规则运算等内容;金融数据校验规则:对金融数据各字段空值的处理、各个金融数据字段的约束定义、金融数据正确性和完整性定义等方面的校验规则定义;金融数据清洗规则:为了处理金融数据采用过程中可能出现的金融数据二义性、金融数据重复、金融数据不完整和违反业务规则等问题,且根据不同金融数据特征选择模型的构建定义,在金融数据采集时需要将有问题的金融数据记录进行过滤和清洗。

可选的,根据金融数据选择要求,获取得到金融数据处理标准及处理标准内容信息,并基于所述处理标准内容,构建与所述金融数据选择要求相对应的金融数据特征选择模型,并完成所述金融数据特征选择模型的节点定义操作。

s102:对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据。

可选的,根据预设标准化数据格式规则对获取的金融数据进行标准化抽取和解析处理,并根据解析结果和所述金融数据选择要求对所述获取的金融数据进行代值标志化处理,得到标准化金融数据。

其中,来自外部源的外部金融数据被提供到一个或多个外部数据库。外部数据库通过控制处理将外部金融数据提供给内部数据库。专用内部金融数据也被提供到内部数据库。计算处理单元向内部数据库请求金融数据,其可以是外部或内部金融数据。根据预定的专门算法处理金融数据以产生进一步的金融数据,该金融数据被提供到服务器处理单元以在用户界面中显示。可视化处理单元根据金融数据产生图形表示以在用户界面中显示,图形表示可存储在可视化处理单元中,从而当用户通过用户界面请求时在服务器处理单元的请求下将图形表示传输至服务器处理单元。优选地,可视化处理单元和/或计算处理单元可集成到服务器处理单元或形成服务器处理单元的一部分,这样可以根据金融数据在服务器处理单元中即时产生图形表示;

s103:根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

可选的,根据所述代值匹配得到金融数据特征选择模型,并根据所述金融数据特征选择模型的节点定义协议解析所述标准化金融数据,截取与所述节点定义协议相适应的金融数据段,提取所述金融数据段的特征参数,并计算所述特征参数与所述节点定义协议中定义内容规定的金融数据段的特征参数的参数匹配值,若所述参数匹配值大于或等于预设参数匹配值,则所述金融数据段有效;若所述参数匹配值小于所述预设参数匹配值,则所述金融数据段无效,并采用补充解析识别协议进行补充解析识别处理。

其中,所述采用补充解析识别协议进行补充解析识别处理,包括:当所述金融数据段无效时,根据所述补充解析识别协议对无效金融数据段进行抽取和解析,输出指定格式的解析结果数据并提取所述无效金融数据段的数据特征信息并补充至所述节点定义协议中,完成所述节点定义协议的更新。

s104:根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集。

具体的,所述根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集,包括:根据所述节点定义协议的定义内容和所述金融数据处理标准及处理标准内容信息匹配得到特征选择规则,并根据所述特征选择规则对所述待模型化处理金融数据进行特征选择处理,得到符合所述金融数据选择要求的第一金融数据特征集;根据所述金融数据预测要求,获取得到金融数据预测指标,并根据所述金融数据预测指标对所述第一金融数据特征集进行数据过滤处理,得到金融数据预测特征集。

其中,根据金融数据预测要求,从所述待模型化处理金融数据中提取得到金融数据预测特征集,同时还输入待处理的金融时间序列数据,将数据中每个时刻的值设定为一个样本,对金融时间序列数据进行预处理。数据源数据文件从金融系统、财经网页等中获取源数据文件。具体的,金融系统的核心数据库、海外数据库和其它数据库中存储有大量的数据文件,可以通过源数据文件获取模块从这些数据库中获取数据文件作为源数据文件,且对获取的源数据文件仅对这些源数据文件进行保存,而不做任何其它处理。因此,源数据文件获取模块保存这些源数据文件的时间可以设定在一个月左右,到期后即可清理,为新的源数据文件空出存储空间。到期的源数据文件可以被存储在扩展的存储介质中,例如磁带,以做备份,如果能结合大数据技术,可使用分布式廉价存储设备存储过期源数据文件,不必再备份到磁带。因为入库后的数据保存期限不易超过两年,如果有超过两年的数据需求,就不必再从磁带恢复,对历史数据的使用更便捷。对于很常用的数据如客户表、账户表、交易表,可考虑重点区别对待,专门设计在线保留更久的时间。另外,根据所述源数据文件获取的金融数据特征集则进行备份存储,以用于后期历史数据的调用,而无需再次获取该时间段的源数据文件,且无需再次进行金融数据特征选择,耗费再次选择的时间,从而大大地提高金融数据分析的效率。针对源数据和金融数据特征集一一对应分配类型标签,按照类型标签存储源数据,并记录源数据、所述类型标签、以及所述源数据和金融数据特征集的存储位置的对应关系。另外,所述源数据文件、待模型化处理金融数据和金融数据特征集分别存储于源数据存储区、标准数据存储区和选择特征存储区,以便于提高存储、调用的效率、整齐性。选择特征存储区存储数据完成之后,可以通过检索数据注册表轻松提供定位到所需要的数据,这相当于提供了一个统一数据服务界面,可以将数据需求不含糊的、唯一的映射到裸数据上,从而便于用户进行金融数据特征集数据的调取,金融数据的预测和可视化操作。

s105:针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

具体的,针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件,所述预设条件包括识别度达到预设的预测数据识别度,且当满足所述预设条件之后,继续识别依据同一特征选择规则获取的金融数据特征集中的金融数据中的第二金融数据预测特征集:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果,从而可以精确获知当日金融信息对未来金融市场发展趋势的看好度,以此作为依据应用到金融市场的发展趋势预测。其中,所述金融数据预测特征集可以为根据任一所述子特征选择规则对所述金融数据进行特征选择后存储的金融数据特征集,当获取到金融数据预测特征集时,可以把这些数据分为金融训练集和金融验证集,这两个数据集可以进行平分,即各占总数据量的50%,或者金融数据训练集的比重大一些,如60%。当对这些数据进行数据集划分以后,可以先对所述的金融数据预测特征集进行预处理,所述的预处理主要包括对金融数据进行重采样或缺失值处理,除此之外,还可包括字符特征处理和数据归一化处理,所述的重采样包括欠采样和过采样,欠采样指的是丢弃训练集中的一些负例,使得正负比例比重接近,当然在实际情况中,也要根据实际情况进行操作,有时候也可不严格按照正负比例相等的约束,如选择40%的负样本,以免丢弃更多的负样本,导致重要的信息丢失;过采样指的是对正例特征增加一些干扰,作为新的正例。缺失值处理指的是当数据集中发生数据值缺失时进行的必要处理,如预先设定缺失概率,当数据值的缺失率达到该缺失概率时,进行丢弃;或者使用中位数或者众数进行填补,其中数据集包含训练集和测试集,要用训练集中的均值去填补测试集中的缺失值,而不是用测试集的均值进行填补;或者使用随机森林预测缺失值,比如,我们需要预测某一列的缺失值,那么先把该列数据分成有值的部分y_train和缺失值部分,然后在有值的部分将该列外的特征定义为x_train,缺失值部分的所对应的新特征就是x_test。我们使用x_train进行训练,作为预测器输入的新特征,使用y_train作为预测的特征值,训练完之后,再使用x_test对缺失值进行预测填补。

针对所述金融数据特征选择和金融数据的预测,本发明可以训练svm模型和/或gbdt模型,并利用训练好的svm模型或gbdt模型进行预测。其中,预先采用节点定义协议选择获取的金融数据特征集输入至支持向量机和/或梯度迭代决策模型之中,训练得到金融数据特征选择模型或金融数据预测模型,包括从所述金融数据特征集中提取同一数据源的数据源特征、第一预设时间段内的金融数据的特征输入值支持向量机模型中,所述向量机模型采用回归模型,所述回归模型的核函数采用线性核。将所述支持向量机模型的输出与所述训练集中同一数据源在第二预设时间段内的金融数据特征进行比较,进而更新所述支持向量机模型的节点定义内容。所述第二预设时间段晚于所述第一预设时间段。针对所述向量机模型,迭代至所述支持向量机模型的参数收敛,符合预设节点定义内容和金融数据处理标准,得到第一金融数据特征选择模型或第一金融数据预测模型。

可选的,所述根据金融数据处理标准,构建金融数据特征选择模型,包括:s201:根据金融数据选择要求,获取得到金融数据处理标准及处理标准内容信息,并基于所述处理标准内容,构建与所述金融数据选择要求相对应的金融数据特征选择模型,并完成所述金融数据特征选择模型的节点定义操作。其中,所述金融数据处理标准根据不同的标准类型,可以分为若干类:(1)按金融业务活动分,将金融数据分为银行业务数据、证券业务数据、保险业务数据以及信托、咨询等方面的数据,其中银行业务数据又包括信贷、会计、储蓄、结算、利率等方面的数据;证券业务数据又包括行情、委托、成交、资金市场供求以及上市公司经营状态等方面的数据;保险业务数据又包括投保、理赔、投资等方面的数据。这些数据都从某一侧面反映了金融活动的特征、规律和运行状况;(2)按信息内容分,可以将金融数据分为金融系统内部数据和金融系统外部数据,其中,金融系统内部数据是指在金融机构各项业务活动中产生的数据,金融系统外部信息是指金融机构为开展好各项金融活动而面向全社会收集和储存的数据;(3)按获取信息的来源分,金融数据分为来自金融机构内部的数据、来自市场的数据和来自全社会的数据,其中,来自金融机构内部的数据是指在金融机构各项业务活动中产生的数据;来自市场的数据是指在市场竞争和交易过程中产生的数据;来自全社会的数据是指金融机构从政府、企业、事业单位、个人那里获取的数据,包括收入、经营、信用等方面的数据。根据不同的金融数据处理标准,一一构建金融数据特征选择模型,以便于在进行不同金融数据选择要求时,实时调度不同的金融数据选择模型来进行金融数据的处理,且根据不同的数据处理标准获取得到与之对应的金融数据特征选择模型的节点定义和节点之间的关系信息,并进行分类存储至存储单元中,所述存储单元为存储器,包括内部存储器和外部存储器,以便于通过设定的程序完成内外存储器的数据调用、更新、备份存储等操作,从而提高数据的处理效率和提高数据处理的适应性。重要的,所述节点定义还包括输入类型定义、概要定义、明细定义、财经数据定义和备份定义,针对不同的节点定义可以追加、编辑、削除,实时改变数据定义内容,之后传入数据库,数据库就会对所修改的字段进行重新定义。当再到已修改字段的操作时,相应的字段就会因修改而有新的限制,同时根据不同的选择可作不同的概要项目定义。具体的,所述节点定义内容与所述金融数据处理标准的内容一一对应,且根据不同的金融数据选择要求获取不同的金融数据选择模型和节点定义。

其中,所述对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据,包括:

s202:根据预设标准化数据格式规则对获取的金融数据进行标准化抽取和解析处理,并根据解析结果和所述金融数据选择要求对所述获取的金融数据进行代值标志化处理,得到标准化金融数据。其中所述代值标志为与所述金融数据选择要求相对应的特定标志数值序列号,且与所述标准化金融数据进行唯一绑定操作,使得在金融数据特征选择处理的各个阶段均可根据所述代值标志进行快速存储、改写、更新或其它数据处理操作。

具体的,所述根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,包括:

s203:为了更高效地匹配特定金融数据特征选择模型来进行金融数据的选择、预测操作,根据所述代值匹配得到金融数据特征选择模型,并根据所述金融数据特征选择模型的节点定义协议解析所述标准化金融数据,截取与所述节点定义协议相适应的金融数据段,提取所述金融数据段的特征参数,并计算所述特征参数与所述节点定义协议中定义内容规定的金融数据段的特征参数的参数匹配值,若所述参数匹配值大于或等于预设参数匹配值,则所述金融数据段有效;若所述参数匹配值小于所述预设参数匹配值,则所述金融数据段无效,并采用补充解析识别协议进行补充解析识别处理。其中,在计算所述参数匹配值时,可以通过金融数据段的特征参数与所述节点定义协议中定义内容规定的金融数据段的特征参数进行模糊匹配或精确匹配,并以匹配结果中的匹配度作为参数匹配值,所述匹配度为匹配所述金融数据段的特征参数的信息,如所述金融数据段的60%、70%、80%或100%。

其中,随着金融数据特征信息的变化,所述节点定义协议可能无法很好的解析识别金融数据,故需要通过补充解析识别协议进行解析识别进行金融数据的二次解析识别,并通过所述补充解析识别协议对所述节点定义协议进行完善,所述采用补充解析识别协议进行补充解析识别处理,包括:

当所述金融数据段无效时,根据所述补充解析识别协议对无效金融数据段进行抽取和解析,输出指定格式的解析结果数据并提取所述无效金融数据段的数据特征信息并补充至所述节点定义协议中,完成所述节点定义协议的更新。

具体的,所述根据所述金融数据特征选择模型和特征选择规则对所述待模型化处理金融数据进行选择,得到金融数据特征集,包括:

s204:根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集。

具体的,根据所述节点定义协议的定义内容和所述金融数据处理标准及处理标准内容信息匹配得到特征选择规则,并根据所述特征选择规则对所述待模型化处理金融数据进行特征选择处理,得到符合所述金融数据选择要求的第一金融数据特征集;

根据所述金融数据预测要求,获取得到金融数据预测指标,并根据所述金融数据预测指标对所述第一金融数据特征集进行数据过滤处理,得到金融数据预测特征集。

其中,根据所述特征选择规则按照节点定义将金融数据切分成多个单个的数据文件,并通过所述代值标志进行唯一标志并存储至统一类型的存储区汇总,且当进行金融数据预测分析时,可基于所述单个的数据文件所存储的存储区内的数据进行金融数据分析,或是根据所述节点定义调取多个存储区中的金融数据进行整合分析,如进行银行交易数据分析时,根据节点定义调取对应存储区中的数据信息。

另外,为了更高效、准确地完成符合金融数据选择要求的金融数据的筛选,所述特征选择规则根据所述金融数据的特征信息,包括若干与所述金融数据的特征信息一一对应的子特征选择规则。

s205:针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

其中,所述根据所述特征选择规则对所述待模型化处理金融数据进行特征选择处理,包括:根据所述子特征选择规则,对所述待模型化处理金融数据分别进行特征选择处理,且当前特征选择处理的时间点信息和子特征选择规则排序码,用于对获取的所述金融数据特征集进行标志存储处理。根据所述子特征选择规则,可以通过所述子特征选择规则排序调用对应特征选择存储的数据进行可视化操作,以便于根据金融数据的预测方法进行预警预测。

对应于上文实施例所述的方法,图3示出了本申请实施例提供的金融数据的预测装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。

参照图3,该装置包括:模型构建模块100、数据标准化处理模块200、输入模块300、预测特征集生成模块400、预测模块500。

所述模型构建模块100,用于根据金融数据处理标准,构建金融数据特征选择模型;

所述数据标准化处理模块200,用于对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

所述输入模块300,用于根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

所述预测特征集生成模块400,用于根据金融数据预测要求,从所述待模型化处理金融数据中提取得到金融数据预测特征集;

所述预测模块500,用于针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

参见图4,本申请实施例还提供了一种金融数据的预测设备4,包括:至少一个处理器40、存储器41以及存储在所述存储器41中并可在所述至少一个处理器42上运行的计算机程序42,所述处理器40执行所述计算机程序42时实现上述任意各个方法实施例中的步骤,例如图1所述的步骤s101至步骤s105。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块的功能,例如图3所示模块100至模块500的功能。

示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述金融数据的预测设备4中的执行过程。

本领域技术人员可以理解,图4仅仅是金融数据的预测设备的示例,并不构成金融数据的预测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述金融数据的预测设备还可以包括输入输出设备、总线等。

所述处理器40可以是中央处理单元(centralprocessingunit,cpu),该处理器40还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41在一些实施例中可以是所述金融数据的预测设备4的内部存储单元,例如金融数据的预测设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述金融数据的预测设备4的外部存储设备,例如所述金融数据的预测设备4上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,所述存储器41还可以既包括所述金融数据的预测设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。

本发明提供了一种金融数据特征选择和预测方法,其所可获得的有益技术效果包括:1、搜索速度快、可调参数少、易实现;2、数据特征的选择方法及系统大大提高了数据特征选择的精确度,缩短了获取数据特征的时间;3、解决在进行网络安全信息数据挖掘时,无法确保特征选择是否正确及最优的问题;4、解决现有数据挖掘中集中存储,而预测调用时高成本的问题。

虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。也就是说上面讨论的方法、系统和设备是示例,各种配置可以适当地省略、替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法和/或可以添加、省略和/或组合各种部件。而且,关于某些配置描述的特征可以以各种其他配置组合,如可以以类似的方式组合配置的不同方面和元素。此外,随着技术发展其中的元素可以更新,即许多元素是示例,并不限制本发明公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,可以在没有这些具体细节的情况下实践配置,例如已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节,以避免模糊配置。该描述仅提供示例配置,并且不限制权利要求的范围,适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本发明公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。

综上,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。


技术特征:

1.一种金融数据特征选择和预测方法,其特征在于,所述方法包括:

根据金融数据处理标准,构建金融数据特征选择模型;

对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集;

针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

2.如权利要求1所述的金融数据特征选择和预测方法,其特征在于,所述根据金融数据处理标准,构建金融数据特征选择模型,包括:

根据金融数据选择要求,获取得到金融数据处理标准及处理标准内容信息,并基于所述处理标准内容,构建与所述金融数据选择要求相对应的金融数据特征选择模型,并完成所述金融数据特征选择模型的节点定义操作。

3.如权利要求2所述的金融数据特征选择和预测方法,其特征在于,所述对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据,包括:

根据预设标准化数据格式规则对获取的金融数据进行标准化抽取和解析处理,并根据解析结果和所述金融数据选择要求对所述获取的金融数据进行代值标志化处理,得到标准化金融数据。

4.如权利要求3所述的金融数据特征选择和预测方法,其特征在于,所述根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据,包括:

根据所述代值匹配得到金融数据特征选择模型,并根据所述金融数据特征选择模型的节点定义协议解析所述标准化金融数据,截取与所述节点定义协议相适应的金融数据段,提取所述金融数据段的特征参数,并计算所述特征参数与所述节点定义协议中定义内容规定的金融数据段的特征参数的参数匹配值,

若所述参数匹配值大于或等于预设参数匹配值,则所述金融数据段有效;

若所述参数匹配值小于所述预设参数匹配值,则所述金融数据段无效,并采用补充解析识别协议进行补充解析识别处理。

5.如权利要求4所述的金融数据特征选择和预测方法,其特征在于,所述采用补充解析识别协议进行补充解析识别处理,包括:

当所述金融数据段无效时,根据所述补充解析识别协议对无效金融数据段进行抽取和解析,输出指定格式的解析结果数据并提取所述无效金融数据段的数据特征信息并补充至所述节点定义协议中,完成所述节点定义协议的更新。

6.如权利要求5所述的金融数据特征选择和预测方法,其特征在于,所述根据所述金融数据特征选择模型、特征选择规则和金融数据预测要求对所述待模型化处理金融数据进行选择,得到金融数据预测特征集,包括:

根据所述节点定义协议的定义内容和所述金融数据处理标准及处理标准内容信息匹配得到特征选择规则,并根据所述特征选择规则对所述待模型化处理金融数据进行特征选择处理,得到符合所述金融数据选择要求的第一金融数据特征集;

根据所述金融数据预测要求,获取得到金融数据预测指标,并根据所述金融数据预测指标对所述第一金融数据特征集进行数据过滤处理,得到金融数据预测特征集。

7.如权利要求6所述的金融数据特征选择和预测方法,其特征在于,所述特征选择规则根据所述金融数据的特征信息,包括若干与所述金融数据的特征信息一一对应的子特征选择规则。

8.一种金融数据的预测装置,其特征在于,所述装置包括:

模型构建模块,用于根据金融数据处理标准,构建金融数据特征选择模型;

数据标准化处理模块,用于对一个或多个数据源获取的金融数据进行标准化处理,得到标准化金融数据;

输入模块,用于根据所述标准化金融数据匹配相应金融数据特征选择模型,并由所述金融数据特征选择模型对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;

预测特征集生成模块,用于根据金融数据预测要求,从所述待模型化处理金融数据中提取得到金融数据预测特征集;

预测模块,用于针对至少一个金融数据预测特征集,从所述金融数据预测特征集中的第一金融数据开始识别,直到所述金融数据预测特征集中所有金融数据的特征参数满足预定条件:使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到所述待模型化处理金融数据中的各个待识别金融数据预测特征集的预测结果。

9.一种金融数据的预测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本发明提供了一种用于金融数据特征选择方法,包括:构建金融数据特征选择模型;对金融数据进行标准化处理得到标准化金融数据;根据所述标准化金融数据匹配相应金融数据特征选择模型,并对所述标准化金融数据进行输入处理,得到待模型化处理金融数据;根据所述金融数据特征选择模型和特征选择规则对所述待模型化处理金融数据进行选择,得到金融数据特征集;使用金融数据预测要求来对当前待识别金融数据预测进行预测,以得到预测结果。本发明可以解决在进行网络安全信息数据挖掘时,无法确保特征选择是否正确及最优和现有数据挖掘中集中存储,而预测调用时高成本的问题。

技术研发人员:覃业梅;雷振;钟阳宇
受保护的技术使用者:湖南工商大学
技术研发日:2020.01.03
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-50053.html

最新回复(0)