本申请涉及深度学习，尤其涉及一种模型的图文问答的方法、训练方法、装置及设备。
背景技术：
1、随着银行业务种类日益增加，银行网点人员面对客户咨询量的增加，工作压力也变大，因此，出现了针对客户提出的问题可以自动给出答案的问答模型，问答模型被安装于面对用户的终端设备中，以供用户使用。
2、现有技术中，图文问答模型为基于单一模态编码算法进行训练得到的，会导致生成的模型准确率低的问题。
技术实现思路
1、本申请提供一种模型的图文问答的方法、训练方法、装置及设备，用以解决图文问答模型的准确性低和图文问答的准确性低的技术问题。
2、第一方面，本申请提供一种应用于图文问答的模型训练方法，包括：
3、获取训练数据集合；其中，所述训练数据集合为基于历史的问题信息和历史的问题信息对应的答复信息生成的数据集合；其中，所述问题信息指示基于文本，和/或图片的问题；所述答复信息指示问题所对应的答复；
4、将所述训练数据集合输入到初始图文问答模型，以对所述初始图文问答模型进行训练，得到训练后的图文问答模型；其中，所述初始图文问答模型为基于跨模态编码算法预构建的初始模型。
5、第二方面，本申请提供一种基于模型的图文问答的方法，包括：
6、获取待答复的问题信息；其中，所述待答复的问题信息指示基于图片和/或文本的问题；
7、将所述待答复的问题信息输入图文问答模型，获得所述待答复的问题信息对应的答复信息；其中，所述图文问答模型为如上第一方面所述的模型。
8、第三方面，本申请提供一种应用于图文问答的模型训练装置，包括：
9、获取模块，用于获取训练数据集合；其中，所述训练数据集合为基于历史的问题信息和历史的问题信息对应的答复信息生成的数据集合；其中，所述问题信息指示基于文本的问题，和/或基于图片的问题；所述答复信息指示所对应的问题的答复；
10、训练模块，用于将所述训练数据集合输入到初始图文问答模型，以对所述初始图文问答模型进行训练，得到训练后的图文问答模型；其中，所述初始图文问答模型为基于跨模态编码算法预构建的初始模型。
11、第四方面，本申请提供一种基于模型的图文问答的装置，包括：
12、获取模块，用于获取待答复的问题信息；其中，所述待答复的问题信息指示基于图片和/或文本的问题；
13、问答模块，用于将所述待答复的问题信息输入图文问答模型，获得所述待答复的问题信息对应的答复信息；其中，所述图文问答模型为如上第一方面所述的模型。
14、第五方面，本申请实施例提供一种电子设备，包括：存储器，处理器；
15、所述存储器存储计算机执行指令；
16、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面或如上第二方面所述的方法。
17、第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面或如上第二方面所述的方法。
18、第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面或如上第二方面所述的方法。
19、本申请提供的模型的图文问答的方法、训练方法、装置及设备，通过获取训练数据集合，将训练数据集合输入到初始图文问答模型，以对初始图文问答模型进行训练，得到训练后的图文问答模型，其中，训练数据集合为基于历史的问题信息和历史的问题信息对应的答复信息生成的数据集合，问题信息指示基于文本，和/或图片的问题，初始图文问答模型为基于跨模态编码算法预构建的初始模型，其中，问题信息指示基于文本，和/或图片的问题，保证了训练数据集合的全面性，从而提高基于该训练数据集合训练得到的图文问答模型的准确性；其中，初始图文问答模型为基于跨模态编码算法预构建的初始模型，可以提高初始图文问答模型的准确性，进一步提高了基于初始图文问答模型训练得到的图文问答模型的准确性。
1.一种应用于图文问答的模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述初始图文问答模型包括初始特征提取模块和初始跨模态编码模块；
3.根据权利要求2所述的方法，其特征在于，所述训练数据集合中包括第一数据集合、第二数据集合以及第三数据集合；其中，所述第一数据集合中包括多个待训练的图片问题信息；所述第二数据集合中包括多个待训练的文本问题信息；所述第三数据集合中包括多个待训练的图片问题信息和多个待训练的文本问题信息；其中，所述图片问题信息是指图片形式的问题信息；所述文本问题信息是指文本形式的问题信息；所述第三数据集合中包括的待训练的图片问题信息和待训练的文本问题信息一一对应。
4.根据权利要求3所述的方法，其特征在于，所述初始特征提取模块中包括初始图片特征提取子模块和初始文本特征提取子模块；将所述训练数据集合输入到所述初始特征提取模块，得到图片特征信息和/或文本特征信息，包括：
5.根据权利要求3所述的方法，其特征在于，所述初始跨模态编码模块包括n/2个初始图片编码子模块，n/2个初始文本编码子模块以及一个初始跨模态编码子模块；
6.根据权利要求5所述的方法，其特征在于，根据所得到的图片特征信息、所述n/2个初始图片编码子模块和一个初始跨模态编码子模块对所述初始图文问答模型进行训练，得到训练后的图文问答模型，包括：
7.根据权利要求6所述的方法，其特征在于，所述初始跨模态编码子模块包括n个初始图片编码单元、n个初始文本编码单元、n个初始归一化处理单元以及n/2个初始跨模态编码单元；
8.根据权利要求5所述的方法，其特征在于，根据所得到的文本特征信息、所述n/2个初始文本编码子模块和一个初始跨模态编码子模块对所述初始图文问答模型进行训练，得到训练后的图文问答模型，包括：
9.根据权利要求8所述的方法，其特征在于，所述初始跨模态编码子模块包括n个初始图片编码单元、n个初始文本编码单元、n个初始归一化处理单元以及n/2个初始跨模态编码单元；
10.根据权利要求5所述的方法，其特征在于，根据所得到的图片特征信息和文本特征信息、所述n/2个初始图片编码子模块、所述n/2个初始文本编码子模块和一个初始跨模态编码子模块对所述初始图文问答模型进行训练，得到训练后的图文问答模型，包括：
11.根据权利要求10所述的方法，其特征在于，所述初始跨模态编码子模块包括n个初始图片编码单元、n个初始文本编码单元、n个初始归一化处理单元以及n/2个初始跨模态编码单元；
12.根据权利要求4-11中任一项所述的方法，其特征在于，所述初始图片特征提取子模块包括：初始卷积处理单元、初始图片切块处理单元、初始归一化处理单元、初始图片编码单元以及初始位置编码单元；所述初始文本特征提取子模块包括：词特征提取单元、词位置特征提取单元以及初始归一化处理单元。
13.一种基于模型的图文问答的方法，其特征在于，包括：
14.根据权利要求13所述的方法，其特征在于，所述图文问答模型包括特征提取模块和跨模态编码模块；将所述待答复的问题信息输入图文问答模型，获得所述待答复的问题信息对应的答复信息，包括：
15.根据权利要求14所述的方法，其特征在于，所述特征提取模块中包括图片特征提取子模块和文本特征提取子模块；将所述待答复的问题信息输入所述图文问答模型中的特征提取模块，得到待答复的问题信息的图片特征信息和/或文本特征信息，包括：
16.根据权利要求14所述的方法，其特征在于，所述跨模态编码模块包括n/2个图片编码子模块，n/2个文本编码子模块以及一个跨模态编码子模块；将所述待答复的问题信息的图片特征信息和/或文本特征信息，输入所述图文问答模型中的跨模态编码模块，得到所述待答复的问题信息对应的答复信息，包括：
17.根据权利要求16所述的方法，其特征在于，所述跨模态编码子模块包括n个图片编码单元、n个文本编码单元、n个归一化处理单元以及n/2个跨模态编码单元；
18.根据权利要求15-17中任一项所述的方法，其特征在于，所述图片特征提取子模块包括：卷积处理单元、图片切块处理单元、归一化处理单元、图片编码单元以及位置编码单元；所述文本特征提取子模块包括：词特征提取单元、词位置特征提取单元以及归一化处理单元。
19.一种应用于图文问答的模型训练装置，其特征在于，包括：
20.一种基于模型的图文问答的装置，其特征在于，包括：
21.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至12任一项，或者，权利要求13-18任一项所述的方法。
23.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至12任一项，或者，权利要求13-18任一项所述的方法。
