一种文本生成方法、装置、电子设备及存储介质与流程

专利2026-06-28  17


本发明涉及人工智能,具体而言,涉及一种文本生成方法、装置、电子设备及存储介质。


背景技术:

1、文本生成是自然语言处理领域的前沿技术,其旨在给定约束条件下生成满足语义需求的自然语言文本。目前,现有的文本生成方法已能够生成高质量的文本,但是生成的文本较为单一,多样性较差。

2、为了提高生成文本的多样性,相关技术中常利用lstm(long short-term memory,长短时记忆网络)模型来生成文本,虽然这种方式能够在一定程度上实现文本生成多样性,但是会牺牲文本生成质量。


技术实现思路

1、本发明解决的问题是如何在保证文本生成质量的情况下,提高生成文本的多样性。

2、为解决上述问题,本发明提供一种文本生成方法、装置、电子设备及存储介质。

3、第一方面,本发明提供了一种文本生成方法,基于文本生成模型,所述文本生成模型包括文本编码器、文本分类器和解码器,所述文本生成方法包括:

4、获取输入文本;

5、将所述输入文本输入所述文本编码器进行处理,获得表示序列;并将所述输入文本输入所述文本分类器进行处理,获得文本类别;其中,所述表示序列用于表征所述输入文本的文本语义信息;

6、在预设的多个类别表示中选择所述文本类别以外的其它所述类别表示作为输出类别,将所述输出类别与所述表示序列链接,获得目标链接信息;

7、将所述目标链接信息输入所述解码器进行处理,获得目标文本。

8、可选地,所述文本分类器包括码本,所述码本包括预设的多个所述类别表示;所述在预设的多个类别表示中选择所述文本类别以外的其它所述类别表示作为输出类别包括:

9、将所述文本类别与所述码本中的各个所述类别表示进行匹配,确定目标类别表示;

10、在所述码本中随机选择除所述目标类别表示以外的其它所述类别表示作为所述输出类别。

11、可选地,所述将所述文本类别与所述码本中的各个所述类别表示进行匹配,确定目标类别表示包括:

12、通过最近邻查找算法在所述码本中查找距离所述文本类别最近的所述类别表示,将查找到的所述类别表示作为所述目标类别表示。

13、可选地,所述文本分类器包括矢量量化变分自动编码器。

14、可选地,所述将所述输入文本输入所述文本编码器进行处理之前,所述文本生成方法还包括:

15、对所述文本分类器进行训练,将训练好的所述文本分类器的参数固定,再对所述文本编码器和所述解码器进行训练。

16、可选地,所述文本分类器包括分类编码器和码本,所述对所述文本分类器进行训练包括:

17、获取第一训练文本;

18、将所述第一训练文本输入所述文本编码器进行处理,获得第一编码序列;并将所述第一训练文本输入所述分类编码器进行处理,获得第一全局表示;

19、在所述码本中查找与所述第一全局表示距离最近的所述类别表示作为第一类别信息,其中,所述码本包括预设的多个所述类别表示;

20、将所述第一类别信息与所述第一编码序列链接,获得第一训练链接信息;

21、将所述第一训练链接信息输入所述解码器进行重构,获得第一输出文本;

22、以所述文本生成模型的重建损失、矢量量化目标函数和承诺损失为训练目标,根据所述第一输出文本和所述第一训练文本训练所述文本分类器。

23、可选地,所述对所述文本编码器和所述解码器进行训练包括:

24、获取第二训练文本;

25、将所述第二训练文本输入所述文本编码器进行处理,获得第二编码序列;并将所述第二训练文本输入训练好的所述分类编码器进行处理,获得第二全局表示;

26、在所述码本中查找与所述第二全局表示距离最近的所述类别表示作为第二类别信息,从所述码本中随机选择除所述第二类别信息以外的所述类别表示作为第三类别信息;

27、将所述第三类别信息与所述第二编码序列链接,获得第二训练链接信息;

28、将所述第二训练链接信息输入所述解码器进行重构,获得第二输出文本;

29、将所述第二输出文本输入二次分类器进行分类,获得分类结果;

30、以所述文本生成模型的重建损失和所述分类结果与所述第二全局表示之间的差异度为训练目标,对所述文本编码器和所述解码器进行训练。

31、第二方面,本发明提供了一种文本生成装置,基于文本生成模型,所述文本生成模型包括文本编码器、文本分类器和解码器,所述文本生成装置包括:

32、获取模块,用于获取输入文本;

33、处理模块,用于将所述输入文本输入所述文本编码器进行处理,获得表示序列;并将所述输入文本输入所述文本分类器进行处理,获得文本类别;其中,所述表示序列用于表征所述输入文本的文本语义信息;

34、链接模块,用于在预设的多个类别表示中选择所述文本类别以外的其它所述类别表示作为输出类别,将所述输出类别与所述表示序列链接,获得目标链接信息;

35、输出模块,用于将所述目标链接信息输入所述解码器进行处理,获得目标文本。

36、第三方面,本发明提供了一种电子设备,包括存储器和处理器;

37、所述存储器,用于存储计算机程序;

38、所述处理器,用于当执行所述计算机程序时,实现如第一方面所述的文本生成方法。

39、第四方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如第一方面所述的文本生成方法。

40、本发明的文本生成方法、装置、电子设备及存储介质的有益效果是:本发明的文本生成方法基于文本生成模型,文本生成模型包括文本编码器、文本分类器和解码器,可预先对文本生成模型进行训练,再利用训练好的文本生成模型进行文本生成。获取输入文本,由文本编码器提取输入文本的文本语义信息,获得表示序列。并由文本分类器提取输入文本的文本类别信息,获得文本类别。也就是说,通过文本编码器和文本分类器分离输入文本的文本语义信息与文本类别信息。在预设的多个类别表示中选择文本类别以外的其它类别表示作为输出类别,即选择文本分类器输出的文本类别以外的其它类别来替换输入文本原始的文本类别信息。将输出类别与文本编码器输出的表示序列进行链接,获得目标链接信息。通过解码器对目标链接信息进行重构,以获得新的文本,即目标文本。其中,由于目标文本保留了输入文本的文本语义信息,因此能够保证目标文本的语义正确,进而保证文本生成的质量。在此基础上,目标文本的文本类别信息相较于输入文本的文本类别信息发生了变化,实现了多样性文本的生成。因此,本发明在保证文本生成质量的情况下,提高了文本生成多样性。



技术特征:

1.一种文本生成方法,其特征在于,基于文本生成模型,所述文本生成模型包括文本编码器、文本分类器和解码器,所述文本生成方法包括:

2.根据权利要求1所述的文本生成方法,其特征在于,所述文本分类器包括码本,所述码本包括预设的多个所述类别表示;所述在预设的多个类别表示中选择所述文本类别以外的其它所述类别表示作为输出类别包括:

3.根据权利要求2所述的文本生成方法,其特征在于,所述将所述文本类别与所述码本中的各个所述类别表示进行匹配,确定目标类别表示包括:

4.根据权利要求1至3任一项所述的文本生成方法,其特征在于,所述文本分类器包括矢量量化变分自动编码器。

5.根据权利要求1至3任一项所述的文本生成方法,其特征在于,所述将所述输入文本输入所述文本编码器进行处理之前,所述文本生成方法还包括:

6.根据权利要求5所述的文本生成方法,其特征在于,所述文本分类器包括分类编码器和码本,所述对所述文本分类器进行训练包括:

7.根据权利要求6所述的文本生成方法,其特征在于,所述对所述文本编码器和所述解码器进行训练包括:

8.一种文本生成装置,其特征在于,基于文本生成模型,所述文本生成模型包括文本编码器、文本分类器和解码器,所述文本生成装置包括:

9.一种电子设备,其特征在于,包括存储器和处理器;

10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1至7任一项所述的文本生成方法。


技术总结
本发明提供了一种文本生成方法、装置、电子设备及存储介质,涉及人工智能技术领域,基于文本生成模型,所述文本生成模型包括文本编码器、文本分类器和解码器,所述文本生成方法包括:获取输入文本;将所述输入文本输入所述文本编码器进行处理,获得表示序列;并将所述输入文本输入所述文本分类器进行处理,获得文本类别;在预设的多个类别表示中选择所述文本类别以外的其它所述类别表示作为输出类别,将所述输出类别与所述表示序列链接,获得目标链接信息;将所述目标链接信息输入所述解码器进行处理,获得目标文本。本发明在保证文本生成质量的情况下,提高了生成文本的多样性。

技术研发人员:龚磊,高洁,郑佳斌,蒋忠林,陈勇
受保护的技术使用者:浙江吉利控股集团有限公司
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-441617.html

最新回复(0)