本发明涉及人工智能领域，尤其涉及一种用于大型语言模型的处理方法及其相关应用。
背景技术：
1、大型语言模型（large language model，llm）是指那些参数规模庞大、拥有大量训练数据的（natural language processing，nlp）模型。
2、大型语言模型在与用户进行多轮对话方面取得了显著的进展。在多轮对话中，模型会记住之前的上下文，并根据用户的输入生成相应的回应。这种能力使得它们在虚拟助手、客服聊天机器人、教育应用等领域得到了广泛应用。
技术实现思路
1、根据本公开的第一方面，提出了一种用于llm的处理方法，包括：基于多轮对话中当前轮次内容生成当前轮次向量；将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络以生成上下文向量；在所述llm针对新查询的推理过程中，将所述上下文向量与所述llm中传递的特征值相融合；以及基于所述llm的输出生成针对所述新查询的答复。
2、可选地，基于多轮对话中当前轮次上下文内容生成当前轮次向量包括：将所有在前轮次内容和当前轮次内容合并为当前轮次上下文内容；以及对所述当前轮次上下文内容进行编码以获取所述当前轮次向量。
3、可选地，将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络以生成上下文向量包括：将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络，并且基于所述记忆网络的输出生成中间输出向量；以及基于所述中间输出向量生成所述上下文向量。
4、可选地，所述基于所述中间输出向量生成所述上下文向量包括：将所述中间输出向量与所述当前轮次向量相融合，以生成所述上下文向量。
5、可选地，基于所述中间输出向量生成所述上下文向量包括：使用线性变换层将所述中间输出向量映射成能够与模型中传递的所述特征值拼接的形状。
6、可选地，所述记忆网络包括多个并列的记忆单元，每个记忆单元是具有相同结构的循环神经网络和不同的参数，并且将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络，以生成中间输出向量包括：将所述当前轮次向量送入所述多个并列的记忆单元以获取多个记忆单元输出；以及融合所述多个记忆单元输出以获取所述中间输出向量。
7、可选地，每个记忆单元对应于一个包括门控机制的循环神经网络。
8、可选地，每个记忆单元对应于一个门控循环单元，并且所述门控循环单元仅包括更新门。
9、可选地，在所述llm针对新查询的推理过程中，将所述上下文向量与所述llm中传递的特征值相融合包括：将所述上下文向量与所述llm中针对所述新查询进行推理所传递的特征值进行拼接，并用于模型的后续计算。
10、可选地，在所述llm针对新查询的推理过程中，将所述上下文向量与所述llm中传递的特征值相融合包括：在所述llm多个层中进行所述上下文向量与当前层中传递特征值的融合。
11、根据本公开的第二方面，提出了一种多轮对话系统，包括输入输出模块、上下文向量生成模块和推理模块，其中，所述上下文向量生成模块用于：基于多轮对话中当前轮次内容生成当前轮次上下文向量；将所述当前轮次上下文向量送入包含所述多轮对话在前轮次信息的记忆网络以生成上下文向量，并且所述推理模块布置有大型语言模型（llm），并且用于：在所述llm针对新查询的推理过程中，将所述上下文向量与模型中传递的特征值相融合；以及基于所述llm的输出生成针对所述新查询的答复，所述输入输出模块用于：获取各个轮次的查询，并输出所述llm生成的答复。
12、根据本公开的第三方面，提出了一种终端设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行基于如第一方面所述的方法。
13、根据本公开的第四方面，提出了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行基于如第一方面所述的方法。
14、根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现基于如第一方面所述的方法。
1.一种用于大型语言模型（llm）的处理方法，包括：
2.如权利要求1所述的方法，其中，基于多轮对话中当前轮次上下文内容生成当前轮次向量包括：
3.如权利要求1所述的方法，其中，将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络以生成上下文向量包括：
4.如权利要求3所述的方法，其中，所述基于所述中间输出向量生成所述上下文向量包括：
5.如权利要求3所述的方法，其中，基于所述中间输出向量生成所述上下文向量包括：
6.如权利要求3所述的方法，其中，所述记忆网络包括多个并列的记忆单元，每个记忆单元是具有相同结构的循环神经网络和不同的参数，并且将所述当前轮次向量送入包含所述多轮对话在前轮次信息的记忆网络，以生成中间输出向量包括：
7.如权利要求6所述的方法，其中，每个记忆单元对应于一个包括门控机制的循环神经网络。
8.如权利要求6所述的方法，其中，每个记忆单元对应于一个门控循环单元，并且所述门控循环单元仅包括更新门。
9.如权利要求1所述的方法，其中，在所述llm针对新查询的推理过程中，将所述上下文向量与所述llm中传递的特征值相融合包括：
10.如权利要求1所述的方法，其中，在所述llm针对新查询的推理过程中，将所述上下文向量与所述llm中传递的特征值相融合包括：
11.一种多轮对话系统，包括输入输出模块、上下文向量生成模块和推理模块，其中，所述上下文向量生成模块用于：
12.一种终端设备，包括：
13.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行基于如权利要求1至10中任一项所述的方法。
14.一种计算机程序产品，包括计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现基于如权利要求1至10中任一项所述的方法。
