本发明涉及风险评估技术领域,尤其涉及一种基于迁移学习的电子商务欺诈检测方法、装置及计算机可读存储介质。
背景技术:
电子商务欺诈也被称为电商欺诈,其中电子商务中的诈骗罪,主要是以非法占有为目的,通过网络信息系统虚构事实或者隐瞒真相,骗取数额较大的财物的行为。
对电商诈骗中的欺诈用户进行有效识别是目前风控系统中的一项主要任务,虽然深度学习模型已经在许多风控预警任务上达到了较理想的水平,但是这些模型几乎都是从新开始训练的,从而需要大量的数据集和较长的训练时间。在目前的风控系统的欺诈用户识别方法中,对已经在其他欺诈用户识别任务中训练好的风控模型,只能将其作为模型效果对比,对当前任务本身作用不大,要想解决当前任务仍然需要从新开始进行训练,从而限制了其训练效率及模型的通用程度。
另外,在现有的风控模型训练过程中,大部分采用的是近年或近几年内的历史数据,而时间较久的历史数据由于其参考价值不大,通常都会舍弃,仅采用近期内的相关数据。可知,仅采取近期的数据训练风控模型,数据利用率低,容易影响模型检测的精度,而如果将多年的历史数据均用于模型训练,则会导致训练周期长,效率低。
技术实现要素:
本发明提供一种基于迁移学习的电子商务欺诈检测方法、电子装置及计算机可读存储介质,其主要目的在于。
为实现上述目的,本发明提供一种基于迁移学习的电子商务欺诈检测方法,所述方法包括:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
优选地,所述基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
优选地,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
优选地,所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
优选地,所述神经网络模型最后一层的学习率呈正弦或斜三角分布;
当所述学习率呈斜三角分布时,采用斜三角算法调整所述神经网络模型最后一层的学习率;
所述斜三角算法公式如下:
其中,t表示迭代总次数,t表示当前迭代次数,ηt是迭代次数为t时的学习率,ηmax为最大学习率。
为实现上述目的,本发明还提供一种电子装置,该电子装置包括:存器及处理器,所述存储器中包括基于迁移学习的电子商务欺诈检测程序,所述基于迁移学习的电子商务欺诈检测程序被所述处理器执行时实现如下步骤:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
优选地,所述基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
优选地,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
优选地,所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括基于迁移学习的电子商务欺诈检测程序,所述基于迁移学习的电子商务欺诈检测程序被处理器执行时,实现如上所述的基于迁移学习的电子商务欺诈检测方法中的任意步骤。
本发明提出的基于迁移学习的电子商务欺诈检测方法、电子装置及计算机可读存储介质,通过通用用户的风险数据集预先训练初级风险模型,然后通过目标训练数据对初级风控模型进行微调,形成最终的目标风控模型,而初级风控模型能够不受风险用户数据和标签类型不同的限制,从而通过一套统一的架构体系和训练过程,提高模型的通用性。
附图说明
图1为根据本发明基于迁移学习的电子商务欺诈检测方法较佳实施例的应用环境示意图;
图2为图1中基于迁移学习的电子商务欺诈检测程序较佳实施例的模块示意图;
图3为根据本发明基于迁移学习的电子商务欺诈检测方法较佳实施例的流程图;
图4为根据本发明初级风控模型和目标风控模型的结构示意图;
图5为根据本发明神经网络模型的局部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于迁移学习的电子商务欺诈检测方法,应用于一种电子装置1。参照图1所示,为本发明基于迁移学习的电子商务欺诈检测方法较佳实施例的应用环境示意图。
在本实施例中,电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括:处理器12、存储器11、网络接口14及通信总线15。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置1的内部存储单元,例如该电子装置1的硬盘。在另一些实施例中,所述可读存储介质也可以是所述电子装置1的外部存储器11,例如所述电子装置1上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。
在本实施例中,所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的基于迁移学习的电子商务欺诈检测程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu),微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行基于迁移学习的电子商务欺诈检测程序10等。
网络接口14可选地可以包括标准的有线接口、无线接口(如wi-fi接口),通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线15用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-15的电子装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置1还可以包括用户接口,用户接口可以包括输入单元比如键盘(keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等,可选地用户接口还可以包括标准的有线接口、无线接口。
可选地,该电子装置1还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode,oled)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,所述触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,所述触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。
此外,该电子装置1的显示器的面积可以与所述触摸传感器的面积相同,也可以不同。可选地,将显示器与所述触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地,该电子装置1还可以包括射频(radiofrequency,rf)电路,传感器、音频电路等等,在此不再赘述。
在图1所示的装置实施例中,作为一种计算机存储介质的存储器11中可以包括操作系统、以及基于迁移学习的电子商务欺诈检测程序10;处理器12执行存储器11中存储的基于迁移学习的电子商务欺诈检测程序10时实现如下步骤:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
优选地,所述基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
优选地,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
优选地,所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
优选地,所述神经网络模型最后一层的学习率呈正弦或斜三角分布;
当所述学习率呈斜三角分布时,采用斜三角算法调整所述神经网络模型最后一层的学习率;
所述斜三角算法公式如下:
其中,t表示迭代总次数,t表示当前迭代次数,ηt是迭代次数为t时的学习率,ηmax为最大学习率。
在其他实施例中,基于迁移学习的电子商务欺诈检测程序10还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由处理器12执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
参照图2所示,为图1中基于迁移学习的电子商务欺诈检测程序10较佳实施例的程序模块图。所述基于迁移学习的电子商务欺诈检测程序10可以被分割为:练初级风控模型形成单元101、目标风控模型形成单元102和欺诈识别单元103。各单元所实现的功能或操作步骤均与上文类似,此处不再详述,示例性地,例如其中:
练初级风控模型形成单元101,用于获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
目标风控模型形成单元102,用于获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
欺诈识别单元103,用于将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
此外,本发明还提供一种基于迁移学习的电子商务欺诈检测方法。参照图3所示,为本发明基于迁移学习的电子商务欺诈检测方法较佳实施例的流程图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,基于迁移学习的电子商务欺诈检测方法包括:
s110:获取训练样本数据,并基于训练样本数据预训练初级风控模型。
其中,所述训练样本数据包括通用用户的历史欺诈数据和非欺诈数据,基于所述欺诈数据和非欺诈数据训练神经网络模型,训练完成的神经网络模型形成初级风控模型,该阶段也可称为预训练阶段,用于获得初级风控模型的神经网络中各层的通用特征,以对待检测的目标数据进行进一步地模型训练和欺诈识别。
图4示出了根据本发明实施例的初级风控模型和目标风控模型的结构。
该步骤s110如图4中(a)预训练(pre-training)部分所示,基于imagenet进行预训练。在初级风控模型的预训练过程中,输入的特征个数与输出的特征个数是相对应的,图中仅示出但并不限于3个特征的具体情况,其中,作为神经网络模型第一层的嵌入层(embeddinglayer)与输出层(softmaxlayer)之间设置有多个中间层(图中仅示出第一层,第二层,第三层的具体示例),embeddinglayer的输入特征与softmaxlayer的输出特征个数是相一致的,均为3个。并且,在该阶段神经网络模型的各层的学习率均是相同的,均为η。
类似imagenet在cv(computervision计算机视觉)的地位一样,风控领域也需要这样的通用数据集,电商公司可以通过历史收集的欺诈样本数据和非欺诈样本数据来做预训练的,这一步其实是最耗费时间的,但是只需要做一次,就会为后续的目标风控模型打好基础。
s120:获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型。
其中,基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
1、通过枚举的方法确定所述初级风控模型的神经网络最后一层的学习率,并基于最后一层的学习率确定所述初级风控模型的神经网络各层的学习率。
在该步骤1中,将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θ1表示所述神经网络模型第1层的参数,l表示所述神经网络模型的总层数;用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
其中,当确定神经网络的最后一层的学习率后,可通过相邻层之间的关系,逐步确定各层的学习率。在实际应用过程中,通过枚举的方法可以确定最后一层能够取得较佳的学习率,以提高目标风控模型的欺诈检测精度。
例如,当η1为神经网络最后一层的学习率,ηl-1为神经网络倒数第二层的学习率,以此类推,直至确定神经网络各层的学习率。
具体地,神经网络模型各层学习率之间的关系满足ηl-1=ηl/5.2。
2、根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数。
其中,根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
关于
假设神经网络模型的第一层是输入层包含两个神经元i1,i2和截距b1,第二层是隐藏层,包含两个神经元h1,h2和截距b2,第三层是输出层o1和o2,激活函数默认为sigmoid函数,同时对层与层之间连接的权重(连线上的数值)进行赋值,如图5神经网络模型具体示意结构所示。
为减少输出层的输出误差,需要对误差进行反向传播,以对各权重进行更新,并依次迭代计算,以权重参数w5为例,如果我们想知道w5对整体误差产生了多少影响,可以用整体误差对w5求偏导求出,经过计算得出偏导结果后,对权重w5进行重新赋值,确定新的权重w5为:
其中,
3、通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率。
该步骤s120,如图4(b)微调(fine-tuning)所示,此时的神经网络模型输入的特征个数与输出的特征个数仍是相等的,与(a)不同的是神经网络各层的学习率不再等同,进而各层之间的递减梯度也会发生变化,最终实现通过目标样本数据对初级风控模型进行微调的结果,在对不同的目标样本数据进行风控检测时,可适应同一初级风控模型,从而能够节省模型训练的周期,提高数据检测效果。
s130:将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
如图4(c)针对分类器的微调(classifierfine-cuning)所示,其输出特征个数与输出特征个数并不等同,该目标风控模型的输出可以为两个特征,例如,欺诈概率和非欺诈概率,欺诈概率和非欺诈概率之和为1;或者,输出也可以为三个特征,例如,欺诈概率、非欺诈概率和不确定概率,三者之和也为1。
另外,为了使神经网络模型的参数适应特定任务的特点,我们希望模型在训练开始时快速收敛到参数空间的适当区域,然后对其参数进行优化。在整个训练过程中使用相同的学习率(lr)并不是实现这种行为的最佳方法,优选的,使神经网络模型的最后一层的学习率呈正弦或斜三角分布,即使用正弦及斜三角形规律对神经网络模型的学习率进行设定。
具体地,在确定最后一层学习率的过程中,通过斜三角算法或者正弦算法,调整最后一层学习率,对初级风控模型的神经网络模型进行训练。
当采用斜三角算法时,先线性增加学习率,然后再线性衰减,当采用正弦算法时,正弦算法公式如下所示:
其中,t是迭代总次数,t是当前迭代次数,ηt是迭代次数为t时的学习率,ηmax为最大学习率。
利用上述基于迁移学习的电子商务欺诈检测方法,能够通过通用的数据集预先训练初级风控模型,该初级风控模型能够适用于多种场景的风控检测,然后根据目标任务数据对初级风控模型进行微调,形成目标风控模型,该目标风控模型不受风险用户数量和标签类型的限制,使得目标风控模型使用同一的构架体积和训练过程,能够在提高检测精度的同时,减少模型的训练时间,提高训练效率。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质中包括基于迁移学习的电子商务欺诈检测程序,所述基于迁移学习的电子商务欺诈检测程序被处理器执行时实现如下操作:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
优选地,所述基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
优选地,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
优选地,所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
优选地,所述神经网络模型最后一层的学习率呈正弦或斜三角分布;
当所述学习率呈斜三角分布时,采用斜三角算法调整所述神经网络模型最后一层的学习率;
所述斜三角算法公式如下:
其中,t表示迭代总次数,t表示当前迭代次数,ηt是迭代次数为t时的学习率,ηmax为最大学习率。
本发明之计算机可读存储介质的具体实施方式与上述基于迁移学习的电子商务欺诈检测方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
1.一种基于迁移学习的电子商务欺诈检测方法,应用于电子装置,其特征在于,所述方法包括:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
2.根据权利要求1所述的基于迁移学习的电子商务欺诈检测方法,其特征在于,所述基于所述目标样本数据微调所述初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述预训练得到的初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
3.根据权利要求2所述的基于迁移学习的电子商务欺诈检测方法,其特征在于,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
4.根据权利要求2所述的基于迁移学习的电子商务欺诈检测方法,其特征在于,所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
5.根据权利要求2所述的基于迁移学习的电子商务欺诈检测方法,其特征在于,
所述神经网络模型最后一层的学习率呈正弦或斜三角分布;
当所述学习率呈斜三角分布时,采用斜三角算法调整所述神经网络模型最后一层的学习率;
所述斜三角算法公式如下:
其中,t表示迭代总次数,t表示当前迭代次数,ηt是迭代次数为t时的学习率,ηmax为最大学习率。
6.一种电子装置,其特征在于,该电子装置包括:存器及处理器,所述存储器中包括基于迁移学习的电子商务欺诈检测程序,所述基于迁移学习的电子商务欺诈检测程序被所述处理器执行时实现如下步骤:
获取训练样本数据,并基于所述训练样本数据预训练初级风控模型;
获取待检测的目标样本数据,并基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型;
将所述目标样本数据输入所述目标风控模型进行检测,获取所述目标样本数据的欺诈概率。
7.根据权利要求6所述的电子装置,其特征在于,
所述基于所述目标样本数据微调所述预训练得到的初级风控模型,形成对应的目标风控模型的步骤包括:
通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率;
根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数;
根据所述梯度下降参数获取所述初级风控模型的神经网络各层与层之间连接的权重参数,以形成所述目标风控模型。
8.根据权利要求7所述的电子装置,其特征在于,所述通过枚举确定所述初级风控模型的神经网络模型最后一层的学习率,并基于所述最后一层的学习率确定所述神经网络模型各层的学习率的步骤包括:
将所述神经网络模型的参数θ拆分为{θ1,…θl…,θl},其中θl表示所述神经网络模型第l层的参数,l表示所述神经网络模型的总层数;
用{η1,…ηl…,ηl}分别表示所述神经网络模型的各层参数的学习率;
通过枚举确定神经网络模型最后一层参数的学习率ηl,进而根据ηl确定{η1,…ηl…,ηl}的各值;其中,
所述神经网络各层参数的学习率之间的关系满足ηl-1=ηl/5.2。
9.根据权利要求7所述的电子装置,其特征在于,
所述根据所述初级风控模型的各层的学习率确定所述初级风控模型的梯度下降参数的步骤包括:
所述初级风控模型的梯度下降参数的获取公式为:
其中,θ表示所述神经网络模型的参数,l为所述神经网络模型的当前层数,t为当前迭代次数,θl表示所述神经网络模型第l层的参数,η表示学习率,
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括基于迁移学习的电子商务欺诈检测程序,所述基于迁移学习的电子商务欺诈检测程序被处理器执行时,实现如权利要求1至5中任一项所述的基于迁移学习的电子商务欺诈检测方法的步骤。
技术总结