本发明属于面向司法判断预测技术领域，尤其涉及一种基于反馈序列多任务学习的法律判决预测方法及系统。
背景技术：
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
法律判决预测旨在基于案情事实描述预测法律案件的判决结果。它是法律助理系统的核心技术，深入研究该技术具有重要的应用价值和实际意义。一方面，法律判决预测可以为一些不熟悉法律术语和复杂判决程序的群众提供低成本、高质量的法律咨询服务。另一方面，它可以为专业人员(如，律师、法官)提供便利的参考资料，从而提高他们的工作效率。目前，法律判决预测主要涉及三个子任务：相关法条预测，罪行预测和刑期预测。针对以上三个任务的预测，目前都是将其作为分类任务，实现对相关法条、罪行和刑期的分类。目前比较有代表性的有基于表示学习的单任务的法律判决预测方法和基于多个相关子任务的多任务法律判决预测方法。
基于表示学习的法律判决预测方法主要是通过对大量标注样本进行训练，采用深度神经网络对案情的语义进行编码，从而实现从符号空间到向量空间的映射，基于案情描述的语义向量表示最终实现对相关法条、罪行和刑期的预测。然而，基于表示学习单任务法律判决预测方法的缺点是该方法只针对单一任务，只基于案情描述特征实现单一任务的分类，没有考虑其他任务对该任务的影响。
基于多任务的法律判决预测方法主要是考虑法律判决各子任务之间的关联，通过一个在浅层的共享表示来互相分享、互相补充学习到的领域相关的信息，在模型的最后一层，各个任务基于各自的任务特点，训练不同的分类模型，最终实现多个任务的并行分类。更具体的，法律判决预测的各个子任务之间是有依赖关系(即序列关系)和验证关系(反馈验证)的。一般来说法律人士是根据案情描述确定其涉及的相关法条，然后基于其涉及的相关法条决定所犯罪行，并基于涉及法条和确定的罪行决定相应的刑期；反过来，通过反馈作用，预测的相应罪行能够验证涉及的相关法条，预测的相应刑期也能够验证涉及的法条和罪行。然而，目前采用的基于多任务的法律判决预测方法，大都是简单针对几个相关的任务采用多任务学习的分类框架进行分类，很少考虑各个任务之间的序列关系以及任务之间的反馈验证关系。
技术实现要素：
为克服上述现有技术的不足，本发明提供了一种基于反馈序列多任务学习的法律判决预测方法，弥补了基于表示学习单任务方法需要仅考虑单一任务特征表示难以利用其他相关任务共享信息的缺点，同时又在基于多任务的框架下添加了任务之间的序列关系信息和反馈验证信息。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于反馈序列多任务学习的法律判决预测方法，包括：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
进一步的技术方案，从数据中心服务器获得案情描述及其相关法条、罪行和刑期的训练数据集，训练数据集存储至数据库中；
对案情描述进行文本特征表示学习获得其向量表示；
所有法条、罪行和刑期进行文本特征表示学习获得其特征向量表示。
进一步的技术方案，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量；
将法条预测任务的预分类向量所指向的法条向量与案情描述表示向量进行特征融合得到案情-法条表示向量；
将罪行预测任务的预分类向量所指向的罪行相应的罪行向量与案情表示向量进行特征融合得到案情-罪行表示向量；
将刑期预测任务的预分类向量所指向的刑期相应的刑期向量与案情表示向量进行特征融合得到案情-刑期表示向量；
将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入，输入到双向长短时记忆神经网络中获得三个向量的高层语义表示；
基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层特征表示构建法条、罪行和刑期的分类器；
将高层特征表示输入到三个分类器中实现对法条、罪行和刑期的预测。
进一步的技术方案，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量：
将获得的案情描述向量输入到一个多任务分类器中，通过训练该多任务分类模型实现对法条、罪行和刑期的预分类，获得法条分类向量，罪行预测向量和刑期预测向量。
进一步的技术方案，通过bert模型，基于案件事实表述训练数据集进行预训练，获得法律预测任务的语言模型，从而获得d个案件事实描述的向量表示。
进一步的技术方案，基于bert模型，针对法条内容、罪行描述和刑期描述采用查字典的方式获取法条向量、罪行描述向量和刑期描述向量。
进一步的技术方案，通过对训练数据集中的案例事实描述及其对应的法条、罪行和刑期标签，采用参数硬共享的多任务学习方法获得每个按键事实描述的法条分类向量，罪行预测向量和刑期预测向量。
进一步的技术方案，采用lstm区块中的门来编码多任务学习中任务之间的序列关系和后续任务对当前任务之间的验证关系：
step1：选择批量案例事实描述d中的每一个di，获取其基于多任务预训练分类模型的预分类结果中的针对法条的预测结果向量lri，并取出该向量中取值最大的元素所对应的法条向量lj，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli；
step2：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对罪行的预测结果向量cri，并取出该向量中的元素所对应的罪行向量，将这些向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-罪行向量表示dci；
step3：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-刑期向量表示dpi；
step4:随机初始化正向lstm模块的初始状态c0和h0状态，将案情-法条向量dl：作为输入向量，分别计算该模块的细胞状态
step5:以细胞状态
step6：以细胞状态
step7：以细胞状态
step8：以细胞状态
step9：以细胞状态
step10：分别将的正向和反向的输出状态进行拼接得到
step11：若迭代次数不到限定次数，则跳转至step1。
本发明还公开了一种基于反馈序列多任务学习的法律判决预测系统，包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
以上一个或多个技术方案存在以下有益效果：
本发明将考虑单一子任务的法律判决预测拓展到考虑任务之间序列关系及反向验证关系的多任务学习方法实现法律判决预测子任务的预测，一方面，采用多任务学习方法，通过利用各个子任务之间的共享信息实现信息的互补；另一方面，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，更好的提升了法律判决预测的预测精度。
本发明是基于表示学习单任务和基于反馈的序列多任务学习方法的结合，有效利用了二者在法律判决预测中的优点，并有针对性的克服了基于表示学习单任务方法没有利用其他任务互补的信息的缺陷，同时比传统的基于多任务学习的方法更能提高判决预测结果的准确度和鲁棒性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例基于反馈序列多任务学习的法律判决预测方法流程图；
图2为本发明实施例多任务预训练分类模型示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提出的总体思路：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，最终实现基于反馈序列多任务学习的法律判决预测。
技术上的步骤是：基于双向lstm实现序列关系和反向验证，其中前向lstm以先行任务和当前任务作为输入实现任务之间的序列建模，反向lstm以后续任务和当前任务作为输入实现任务的反向验证。该部分的实现，对应第八步。
实施例一
参见附图1所示，本实施例公开了一种基于反馈序列多任务学习的法律判决预测方法，具体的步骤为：
第一步：获得案情描述及其相关法条、罪行和刑期的训练数据集。
第二步：对案情描述进行文本特征表示学习获得其向量表示。
第三步：所有法条、罪行和刑期进行文本特征表示学习获得其特征向量表示。
第四步：构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量。
第五步：将法条预测任务的预分类向量所指向的法条向量与案情描述表示向量进行特征融合得到案情-法条表示向量。
第六步：将罪行预测任务的预分类向量所指向的罪行相应的罪行向量与案情表示向量进行特征融合得到案情-罪行表示向量。
第七步：将刑期预测任务的预分类向量所指向的刑期相应的刑期向量与案情表示向量进行特征融合得到案情-刑期表示向量。
第八步：将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入，输入到双向长短时记忆神经网络(bidirectionallongshorttermmemory，bi-lstm)中获得三个向量的高层语义表示。
第九步：基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层特征表示构建法条、罪行和刑期的分类器。
第十步：输出法条、罪行和刑期的预测结果。
的第二步中，采用基于表示学习的方法得到对案情描述文本的向量表示di，{i＝1，2，3…d}。
第三步中，采用表示学习方法获得每个法条，罪行和刑期的向量表示分别为li，{i＝1，2，3…l}，ci，{i＝1，2，3…c}，pi，{i＝1，2，3…p}。
第四步中，将第二步中获得的案情描述向量di，{i＝1，2，3…t}输入到一个多任务分类器中，通过训练该多任务分类模型实现对法条、罪行和刑期的预分类，获得法条分类向量lri，{i＝1，2，3…d}，罪行预测向量cri，{i＝1，2，3…c}和刑期预测向量pri，{i＝1，2，3…d}。
第五步中，将第二步获得的案情描述向量di，{i＝1，2，3…d}和第四步获得的相应的法条预测向量lri，{i＝1，2，3…d}所指向的法条向量li进行特征融合得到案情-法条表示向量dli，{i＝1，2，3…d}。
第六步中，基于第二步得到的案情描述向量di，{i＝1，2，3…d}和第四步得到的相应的罪行预测向量cri，{i＝1，2，3…d}所指向的罪行ci进行特征融合得到案情-罪行表示向量dci，{i＝1，2，3…d}。
第七步中，将第二步获得的案情描述向量di，{i＝1，2，3…d}和第四步获得的相应的刑期预测向量pri，{i＝1，2，3…d}所指向的刑期向量pi进行特征融合得到案情-刑期表示向量dpi，{i＝1，2，3…d}。
第八步中，将第五、六、七步获得的案情-法条表示向量、案情-罪行向量和案情刑期向量按照顺序输入到bi-lstm网络中进行训练，获得三个向量对应的高层特征表示
第九步中，将第八步的高层特征表示输入到三个分类器中实现对法条、罪行和刑期的预测。
在该实施例中，文本特征表示学习：
文本的特征表示学习是指通过建模方法将文本的语义、句法等信息表示在低维稠密的向量空间中，然后再进行计算和推理。对于文本特征的表示学习主要是分三个粒度：词向量表示、句子向量表示和文档向量表示。
在该实施例中，主要是采用现有的谷歌发布的bert模型。bert的全称是bidirectionalencoderrepresentationfromtransformers，即双向transformer的编码器。该模型的主要创新点都在预训练方法上，即用了遮盖的语言模型(maskedlanguagemodel)和下一句预测(nextsentenceprediction)两种方法分别捕捉词语、句子和篇章级别的特征表示。通过bert模型，可以基于案件事实表述训练数据集进行预训练，获得法律预测任务的语言模型，从而获得d个案件事实描述的向量表示di，{i＝1，2，3…d}。同时，针对该任务中的法条内容、罪行描述和刑期描述也基于bert模型，采用查字典的方式获取法条向量li，{l＝1，2，3…l}、罪行描述向量ci，{i＝1，2，3…c}和刑期描述向量pi，{i＝1，2，3…p}。
在该实施例中，多任务预训练分类模型：
参见附图2所示，多任务学习(multitasklearning，mtl)是迁移学习算法的一种，迁移学习可理解为定义一个源领域和一个目标领域，在源领域学习，并把学习到的知识迁移到目标领域，提升目标领域的学习效果。深度学习中两种多任务学习模式：隐层参数的硬共享与软共享。本项目以参数的硬共享机制为例，但是不局限于硬共享的方法，参数硬共享方法通常通过在所有任务之间共享隐藏层，同时保留几个特定任务的输出层来实现。
通过对训练数据集中的案例事实描述及其对应的法条、罪行和刑期标签，采用参数硬共享的多任务学习方法获得每个按键事实描述的法条分类向量lri，{i＝1，2，3…d}，罪行预测向量cri，{i＝1，2，3…c}和刑期预测向量pri，{i＝1，2，3…d}。
在该实施例中，建模任务序列关系和反馈关系的双向长短记忆模块网络(bi-lstm)：
长短期记忆网络(lstm，longshort-termmemory)是一种时间循环神经网络，是为了解决一般的循环神经网络(rnn)存在的梯度消失问题而专门设计出来的。lstm是一种含有lstm区块(blocks)的一种类神经网络，每个区块中的门(gate)可以记忆不定时间长度的数值，通常，lstm包括三个门：遗忘门、输入门和输出门。目前，lstm主要用于时间序列中编码上下文信息。本发明主要采用lstm区块中的门来编码多任务学习中任务之间的序列关系和后续任务对当前任务之间的验证关系。具体的学习过程如下：
step1：选择单位为m的批量案例事实描述d中的每一个di，获取其基于多任务预训练分类模型的预分类结果中的针对法条的预测结果向量lri，并取出该向量中取值最大的元素所对应的法条向量lj，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli。
step2：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对罪行的预测结果向量cri，并取出该向量中取值超过0.5的元素所对应的罪行向量cj，{j＝1，2，…c}，将这些向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-罪行向量表示dci。
step3：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-刑期向量表示dpi。
step4:随机初始化正向lstm模块的初始状态c0和h0状态，将案情-法条向量dli作为输入向量，分别计算该模块的细胞状态
step5:以细胞状态
step6：以细胞状态
step7：以细胞状态
step8：以细胞状态
step9：以细胞状态
step10:分别将的正向和反向的输出状态进行拼接得到
step11：若迭代次数不到限定次数，则跳转至step1。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例子一中的一种基于反馈序列多任务学习的法律判决预测方法步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行实施例子一中的一种基于反馈序列多任务学习的法律判决预测方法步骤。
实施例四
本发明还公开了一种基于反馈序列多任务学习的法律判决预测系统，包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
1.一种基于反馈序列多任务学习的法律判决预测方法，其特征是，包括：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
2.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，从数据中心服务器获得案情描述及其相关法条、罪行和刑期的训练数据集，训练数据集存储至数据库中；
对案情描述进行文本特征表示学习获得其向量表示；
所有法条、罪行和刑期进行文本特征表示学习获得其特征向量表示。
3.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量；
将法条预测任务的预分类向量所指向的法条向量与案情描述表示向量进行特征融合得到案情-法条表示向量；
将罪行预测任务的预分类向量所指向的罪行相应的罪行向量与案情表示向量进行特征融合得到案情-罪行表示向量；
将刑期预测任务的预分类向量所指向的刑期相应的刑期向量与案情表示向量进行特征融合得到案情-刑期表示向量；
将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入，输入到双向长短时记忆神经网络中获得三个向量的高层语义表示；
基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层特征表示构建法条、罪行和刑期的分类器；
将高层特征表示输入到三个分类器中实现对法条、罪行和刑期的预测。
4.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量：
将获得的案情描述向量输入到一个多任务分类器中，通过训练该多任务分类模型实现对法条、罪行和刑期的预分类，获得法条分类向量，罪行预测向量和刑期预测向量。
5.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，通过bert模型，基于案件事实表述训练数据集进行预训练，获得法律预测任务的语言模型，从而获得d个案件事实描述的向量表示。
基于bert模型，针对法条内容、罪行描述和刑期描述采用查字典的方式获取法条向量、罪行描述向量和刑期描述向量。
6.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，通过对训练数据集中的案例事实描述及其对应的法条、罪行和刑期标签，采用参数硬共享的多任务学习方法获得每个按键事实描述的法条分类向量，罪行预测向量和刑期预测向量。
7.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，采用lstm区块中的门来编码多任务学习中任务之间的序列关系和后续任务对当前任务之间的验证关系：
step1：选择批量案例事实描述d中的每一个di，获取其基于多任务预训练分类模型的预分类结果中的针对法条的预测结果向量iri，并取出该向量中取值最大的元素所对应的法条向量lj，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli；
step2：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对罪行的预测结果向量cri，并取出该向量中的元素所对应的罪行向量，将这些向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-罪行向量表示dci；
step3：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-刑期向量表示dpi；
step4:随机初始化正向lstm模块的初始状态c0和h0状态，将案情-法条向量dli作为输入向量，分别计算该模块的细胞状态
step5:以细胞状态
step6：以细胞状态
step7：以细胞状态
step8：以细胞状态
step9：以细胞状态
step10：分别将的正向和反向的输出状态进行拼接得到
step11：若迭代次数不到限定次数，则跳转至step1。
8.一种基于反馈序列多任务学习的法律判决预测系统，其特征是，包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现权利要求1-7任一所述的一种基于反馈序列多任务学习的法律判决预测方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行权利要求1-7任一所述的一种基于反馈序列多任务学习的法律判决预测方法步骤。
技术总结