本发明实施例涉及数据分析,尤其涉及一种视图数据查询方法、装置、服务器及存储介质。
背景技术:
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
数据分析所需要的大量数据需要市场数据分析从业人员从bi(businessintelligence,商务智能)数据系统中获取,而从bi数据系统中获取数据需要特定的取数代码,这使得市场数据分析从业人员不仅要学习各种统计分析的方法,还需要学会sql类编程语言,每次取数时都需要定制化开发相应的取数代码,不仅提高了数据分析人员入行的门槛,也增加了取数的困难度和周期。
技术实现要素:
有鉴于此,本发明实施例提供一种视图数据查询方法、装置、服务器及存储介质,以降低数据分析人员获取数据的困难度,缩短取数周期。
第一方面,本发明实施例提供一种视图数据查询方法,包括:
确定待展示数据图的视图类型;
根据所述视图类型获确定视图基础配置项;
根据所述视图基础配置项生成数据库查询语句;
根据所述数据库查询语句查询所述待展示数据图的视图数据。
进一步的,所述视图基础配置项包括:指标、维度、粒度和过滤条件。
进一步的,根据所述视图基础配置项生成数据库查询语句包括:
判断是否接收到待展示数据图的视图查询请求;
若接收到所述视图查询请求,根据所述指标生成指标列表集合;
生成所述指标列表集合中的指标的元数据字段信息;
根据所述元数据字段信息生成sql指标语句;
根据所述维度生成sql维度语句;
根据所述过滤条件生成sql过滤语句。
进一步的,所述指标包括单指标和复合指标,根据所述指标生成指标列表集合包括:
若所述指标为单指标,则直接根据所述单指标生成指标列表集合;
若所述指标为复合指标,则将所述复合指标转化为对应的单指标后生成指标列表集合。
进一步的,根据所述数据库查询语句查询视图数据之后,还包括:
获取预设辅助属性;
根据所述预设辅助属性、所述视图基础配置项和所述视图类型展示所述待展示数据图的视图数据。
进一步的,所述预设辅助属性包括:预设视图数据展示条数和预设视图数据展示时间范围。
第二方面,本发明实施例提供一种视图数据查询装置,包括:
视图类型确定模块,用于确定待展示数据图的视图类型;
基础配置项确定模块,用于根据所述视图类型获确定视图基础配置项;
查询语句生成模块,用于根据所述视图基础配置项生成数据库查询语句;
视图数据查询模块,用于根据所述数据库查询语句查询所述待展示数据图的视图数据。
进一步的,所述视图基础配置项包括:指标、维度、粒度和过滤条件。
第三方面,本发明实施例提供一种服务器,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的视图数据查询方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例提供的视图数据查询方法。
本发明实施例提供的一种视图数据的查询方法通过确定待展示数据图的视图类型;根据所述视图类型获确定视图基础配置项;根据所述视图基础配置项生成数据库查询语句;根据所述数据库查询语句查询所述待展示数据图的视图数据。实现了根据用户的选择自动生成数据库的sparksql查询语句,数据分析从业人员不需要掌握sparksql代码的编写即可实现数据的查询,降低了数据分析从业人员获取数据的困难度,使得数据查询更加方便,取数周期缩短。
附图说明
图1为本发明实施例一提供的一种视图数据查询方法的流程示意图;
图2为本发明实施例二提供的一种视图数据查询方法的流程示意图;
图3为本发明实施例三提供的一种视图数据查询装置的结构示意图;
图4为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”、“批量”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种视图数据查询方法的流程示意图,本实施例可适用于通过自动生成数据的sql查询语句来查询数据。如图1所示,本发明实施例一提供的一种视图数据查询方法包括:
s110、确定待展示数据图的视图类型。
具体的,数据分析的最终结果一般通过图表展示,这种图表也叫做数据图或者数据视图。视图类型就表示用于展示数据的图表类型,例如,折线图、直方图、扇形图等等,待展示数据图的视图类型根据用户的选择而确定。
s120、根据所述视图类型获确定视图基础配置项。
具体的,视图基础配置项是指获取带展示数据图的数据时需要设置的参数,包括但不限于:指标、维度、粒度和过滤条件。指标是指对数据表中的数据类型进行逻辑计算而得到的结果,例如,数据类型包括销售额、退款总金额、卡票面支付金额、订单现金支付额等,逻辑计算包括sum(求和)、count(计数)、max(取最大值)、min(取最小值)、distinct(去重计数)等,指标为对销售额进行求和。维度是数据聚合(值合并来自不同数据源的数据)的一个依据,是对指标的一个限定范围,也可以看成是对指标的一个分类,例如,指标是销售额,维度可以是时间、商品id、商品名称、商品等级等待。粒度是指数据单位的细化或综合程度的级别,细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大,例如,粒度包括天、周、月、季度、年、全量等。过滤条件表示数据的筛选条件,例如分数>60、订单状态是已完成等等。
s130、根据所述视图基础配置项生成数据库查询语句。
具体的,数据库查询语句是指从数据库中获取数据的sparksql(structuredquerylanguage,结构化查询语言)语句。将指标、维度、粒度和过滤条件等设置都转化为sql语句,例如,将维度转化为sql中的groupby语句、将过滤条件转化为sql中的where语句等,从而可以从对应的数据库中获取数据。
s140、根据所述数据库查询语句查询所述待展示数据图的视图数据。
具体的,根据数据查询的sparksql语句自动从对应的数据库中查询待展示数据图的视图数据,完成视图数据的获取。
本发明实施例一提供的一种视图数据的查询方法通过确定待展示数据图的视图类型;根据所述视图类型获确定视图基础配置项;根据所述视图基础配置项生成数据库查询语句;根据所述数据库查询语句查询所述待展示数据图的视图数据。实现了根据用户的选择自动生成数据库的sparksql查询语句,数据分析从业人员不需要掌握sparksql代码的编写即可实现数据的查询,降低了数据分析从业人员获取数据的困难度,使得数据查询更加方便,取数周期缩短。
实施例二
图2为本发明实施例二提供的一种视图数据查询方法的流程示意图,本实施例是对上述是实施例进一步细化。如图2所示,本发明实施例二提供的一种视图数据查询方法包括:
s210、确定待展示数据图的视图类型。
具体的,数据分析的最终结果一般通过图表展示,这种图表也叫做数据图或者数据视图。视图类型就表示用于展示数据的图表类型,例如,折线图、直方图、扇形图等等,待展示数据图的视图类型根据用户的选择而确定。
s220、根据所述视图类型获确定视图基础配置项。
具体的,视图基础配置项是指获取带展示数据图的数据时需要设置的参数,包括但不限于:指标、维度、粒度和过滤条件。指标是指对数据表中的数据类型进行逻辑计算而得到的结果,例如,数据类型包括销售额、退款总金额、卡票面支付金额、订单现金支付额等,逻辑计算包括sum(求和)、count(计数)、max(取最大值)、min(取最小值)、distinct(去重计数)等,指标为对销售额进行求和。维度是数据聚合(值合并来自不同数据源的数据)的一个依据,是对指标的一个限定范围,也可以看成是对指标的一个分类,例如,指标是销售额,维度可以是时间、商品id、商品名称、商品等级等等。粒度是指数据单位的细化或综合程度的级别,细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大,例如,粒度包括天、周、月、季度、年、全量等。过滤条件表示数据的筛选条件,例如分数>60、订单状态是已完成等等。
s230、根据所述视图基础配置项生成数据库查询语句。
具体的,数据库查询语句是指从数据库中获取数据的sparksql(structuredquerylanguage,结构化查询语言)语句。将指标、维度、粒度和过滤条件等设置都转化为sql语句,例如,将维度转化为sql中的groupby语句、将过滤条件转化为sql中的where语句等,从而可以从对应的数据库中获取数据。
进一步的,一种根据所述视图基础配置项生成数据库查询语句的方法包括步骤s231~s236(图中未示出)。
s231、判断是否接收到待展示数据图的视图查询请求。
具体的,视图查询请求表示进行视图数据查询的请求,也叫做视图sql请求,当用户设置了视图类型和视图基础配置项之后,点击“确定”按钮,就相当于发出了视图查询请求。
s232、若接收到所述视图查询请求,根据所述指标生成指标列表集合。
具体的,一次数据查询的过程中,通常要查询的数据指标包括多个,而不同的指标对应的数据可能存储在不同的数据库中,指标列表集合则是将所有的指标及其对应的存储数据库形成一个列表,数据查询时可以按照该指标列表集合进行查询。
进一步的,指标包括单指标和复合指标,单指标是指对某一个数据类型进行某一种逻辑计算,复合指标是指用单指标进行加减乘除以及加权运算得到的指标。一种根据所述指标生成指标列表集合的方法包括步骤s232-1~s232-2(图中未示出)。
s232-1、若所述指标为单指标,则直接根据所述单指标生成指标列表集合。
s232-2、若所述指标为复合指标,则将所述复合指标转化为对应的单指标后生成指标列表集合。
具体的,指标列表集合中包括的指标均为单指标,若指标为复合指标,则需要将复合指标转化为对应的单指标后再添加到指标列表集合中。
s233、生成所述指标列表集合中的指标的元数据字段信息。
具体的,元数据字段信息表示了指标在数据库中的位置,指标列表集合中的每个指标都有其对应的元数据字段信息。
s234、根据所述元数据字段信息生成sql指标语句。
具体的,sql指标语句是数据查询的sparksql语句中用于确定指标位置的代码,根据指标的元数据字段信息生成。
s235、根据所述维度生成sql维度语句。
具体的,sql维度语句相当于sparksql语句中的groupby语句,例如,维度为商品id,sql维度语句可以表示为groupbycommodityid。
s236、根据所述过滤条件生成sql过滤语句。
具体的,sql过滤语句相当于sparksql语句中的where语句,例如,过滤条件为分数>60,sql过滤语句可以表示为wherescore>60。
s240、根据所述数据库查询语句查询所述待展示数据图的视图数据。
具体的,根据数据查询的sparksql语句自动从对应的数据库中查询待展示数据图的视图数据,完成视图数据的获取。
s250、获取预设辅助属性。
具体的,预设辅助属性是展示获取的视图数据的一些默认参数,包括但不限于:预设视图数据展示条数和预设视图数据展示时间范围,预设视图数据展示条数表示一个页面默认展示的数据条数,预设视图数据展示时间范围表示默认的展示某一时间范围内的数据。预设辅助属性也可以由用户设置。
s260、根据所述预设辅助属性、所述视图基础配置项和所述视图类型展示所述待展示数据图的视图数据。
具体的,根据用户选择的视图类型、设置的视图基础配置项和预设辅助属性,将获取的视图数据向用户展示,以供用户进行数据分析。
本发明实施例二提供的一种视图数据查询方法实现了根据用户的选择自动生成数据库的sparksql查询语句,数据分析从业人员不需要掌握sparksql代码的编写即可实现数据的查询,降低了数据分析从业人员获取数据的困难度,使得数据查询更加方便,取数周期缩短。
实施例三
图3为本发明实施例三提供的一种视图数据查询装置的结构示意图,本实施例可适用于通过自动生成数据的sql查询语句来查询数据。本实施例提供的视图数据查询装置可以实现本发明任意实施例提供的视图数据查询方法,具备实现方法的相应功能结构和有益效果,本实施例中未详尽描述的内容可参考本发明任意方法实施例的描述。
如图3所示,本发明实施例三提供的视图数据查询装置包括:视图类型确定模块310、基础配置项确定模块320、查询语句生成模块330和视图数据查询模块340。
视图类型确定模块310用于确定待展示数据图的视图类型;
基础配置项确定模块320用于根据所述视图类型获确定视图基础配置项;
查询语句生成模块330用于根据所述视图基础配置项生成数据库查询语句;
视图数据查询模块340用于根据所述数据库查询语句查询所述待展示数据图的视图数据。
所述视图基础配置项包括:指标、维度、粒度和过滤条件。
进一步的,查询语句生成模块330具体用于:判断是否接收到待展示数据图的视图查询请求;若接收到所述视图查询请求,根据所述指标生成指标列表集合;生成所述指标列表集合中的指标的元数据字段信息;根据所述元数据字段信息生成sql指标语句;根据所述维度生成sql维度语句;根据所述过滤条件生成sql过滤语句。
进一步的,所述指标包括单指标和复合指标,根据所述指标生成指标列表集合包括:若所述指标为单指标,则直接根据所述单指标生成指标列表集合;若所述指标为复合指标,则将所述复合指标转化为对应的单指标后生成指标列表集合。
进一步的,还包括:
预设辅助属性获取模块,用于获取预设辅助属性;
视图数据展示模块,用于根据所述预设辅助属性、所述视图基础配置项和所述视图类型展示所述待展示数据图的视图数据。
进一步的,所述预设辅助属性包括:预设视图数据展示条数和预设视图数据展示时间范围。
本发明实施例三提供的视图数据查询装置通过视图类型确定模块、基础配置项确定模块、查询语句生成模块和视图数据查询模块,实现了根据用户的选择自动生成数据库的sparksql查询语句,数据分析从业人员不需要掌握sparksql代码的编写即可实现数据的查询,降低了数据分析从业人员获取数据的困难度,使得数据查询更加方便,取数周期缩短。
实施例四
图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器412的框图。图4显示的服务器412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,服务器412以通用服务器的形式表现。服务器412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(industrysubversivealliance,isa)总线,微通道体系结构(microchannelarchitecture,mac)总线,增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation,vesa)局域总线以及外围组件互连(peripheralcomponentinterconnect,pci)总线。
服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(randomaccessmemory,ram)430和/或高速缓存存储器432。服务器412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(compactdiscread-onlymemory,cd-rom),数字视盘(digitalvideodisc-readonlymemory,dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
服务器412也可以与一个或多个外部设备414(例如键盘、指向服务器、显示器424等)通信,还可与一个或者多个使得用户能与该服务器412交互的服务器通信,和/或与使得该服务器412能与一个或多个其它计算服务器进行通信的任何服务器(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口422进行。并且,服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(localareanetwork,lan),广域网(wideareanetwork,wan)和/或公共网络,例如因特网)通信。如图4所示,网络适配器420通过总线418与服务器412的其它模块通信。应当明白,尽管图中未示出,可以结合服务器412使用其它硬件和/或软件模块,包括但不限于:微代码、服务器驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(redundantarraysofindependentdisks,raid)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例所提供的视图数据查询方法,该方法可以包括:
确定待展示数据图的视图类型;
根据所述视图类型获确定视图基础配置项;
根据所述视图基础配置项生成数据库查询语句;
根据所述数据库查询语句查询所述待展示数据图的视图数据。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所提供的视图数据查询方法,该方法可以包括:
确定待展示数据图的视图类型;
根据所述视图类型获确定视图基础配置项;
根据所述视图基础配置项生成数据库查询语句;
根据所述数据库查询语句查询所述待展示数据图的视图数据。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
1.一种视图数据查询方法,其特征在于,包括:
确定待展示数据图的视图类型;
根据所述视图类型获确定视图基础配置项;
根据所述视图基础配置项生成数据库查询语句;
根据所述数据库查询语句查询所述待展示数据图的视图数据。
2.如权利要求1所述的方法,其特征在于,所述视图基础配置项包括:指标、维度、粒度和过滤条件。
3.如权利要求2所述的方法,其特征在于,根据所述视图基础配置项生成数据库查询语句包括:
判断是否接收到待展示数据图的视图查询请求;
若接收到所述视图查询请求,根据所述指标生成指标列表集合;
生成所述指标列表集合中的指标的元数据字段信息;
根据所述元数据字段信息生成sql指标语句;
根据所述维度生成sql维度语句;
根据所述过滤条件生成sql过滤语句。
4.如权利要求3所述的方法,其特征在于,所述指标包括单指标和复合指标,根据所述指标生成指标列表集合包括:
若所述指标为单指标,则直接根据所述单指标生成指标列表集合;
若所述指标为复合指标,则将所述复合指标转化为对应的单指标后生成指标列表集合。
5.如权利要求1所述的方法,其特征在于,根据所述数据库查询语句查询视图数据之后,还包括:
获取预设辅助属性;
根据所述预设辅助属性、所述视图基础配置项和所述视图类型展示所述待展示数据图的视图数据。
6.如权利要求5所述的方法,其特征在于,所述预设辅助属性包括:预设视图数据展示条数和预设视图数据展示时间范围。
7.一种视图数据查询装置,其特征在于,包括:
视图类型确定模块,用于确定待展示数据图的视图类型;
基础配置项确定模块,用于根据所述视图类型获确定视图基础配置项;
查询语句生成模块,用于根据所述视图基础配置项生成数据库查询语句;
视图数据查询模块,用于根据所述数据库查询语句查询所述待展示数据图的视图数据。
8.如权利要求7所述的装置,其特征在于,所述视图基础配置项包括:指标、维度、粒度和过滤条件。
9.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的视图数据查询方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一项所述的视图数据查询方法。
技术总结