本申请涉及人工智能，尤其涉及一种基于大语言模型的推理方法、装置、存储介质及计算机设备。
背景技术：
1、agent是指具备自主行为和主动决策能力的计算机程序。随着llm（largelanguage model，大语言模型）的提出与发展，目前已出现越来越多基于agent框架实现的llm应用程序，使得人工智能技术可更为紧密地与生产生活方式进行结合。
2、在agent框架中，llm充当着llm应用程序的核心大脑，工具使用组件是llm应用程序的关键组件之一。其中，工具使用组件可通过调用外部api（application programminginterface，应用程序编程接口）来获取llm所缺少的额外信息。例如，通过调用日历api来获取当前日期，通过调用搜索引擎api来完成信息搜索等。
3、在基于agent框架的llm应用程序的运行过程中，一般通过以下两种方式来判断是否需要结束推理：（1）判断llm应用程序是否需要调用工具，若需要，则继续推理，否则结束推理；（2）判断llm最新输出的回复文本是否为特定词语，例如“terminate”、“stop”，若是，则结束推理，否则继续推理。
4、但是，经发明人研究发现，前述两种判断方式限制了llm应用程序的设计灵活度，使得应用开发人员难以高效开发出能够覆盖多场景的llm应用程序。
技术实现思路
1、本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中设计灵活度低的技术缺陷。
2、第一方面，本申请实施例提供了一种基于大语言模型的推理方法，所述方法包括：
3、获取初始提示语；
4、若根据所述初始提示语和预先训练得到的大语言模型，确定需要调用目标工具，则调用所述目标工具；
5、接收所述目标工具响应于工具调用操作返回的调用信息；其中，所述调用信息的元信息包括工具运行结果和/或继续推理结果；
6、根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果；
7、基于所述判断结果生成回复文本，并输出所述回复文本。
8、在其中一个实施例中，所述基于所述判断结果生成回复文本，包括：
9、若所述判断结果反映需要继续推理，则根据前一推理轮次生成的所述调用信息得到当前推理轮次对应的推理提示语；
10、根据所述大语言模型和当前推理轮次对应的推理提示语进行推理，得到所述回复文本。
11、在其中一个实施例中，所述基于所述判断结果生成回复文本，还包括：
12、若所述判断结果反映不需要继续推理，则将所述调用信息作为所述回复文本。
13、在其中一个实施例中，所述根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果，包括：
14、若所述工具运行结果反映所述目标工具运行成功，则生成用于反映需要继续推理的判断结果；或，
15、若所述工具运行结果反映所述目标工具运行失败，则生成用于反映需要继续推理的判断结果；或，
16、若所述工具运行结果反映所述目标工具运行失败，则生成用于反映不需要继续推理的判断结果。
17、在其中一个实施例中，所述根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果，包括：
18、若所述继续推理结果反映需要继续推理，则生成用于反映需要继续推理的判断结果；
19、若所述继续推理结果反映不需要继续推理，则生成用于反映不需要继续推理的判断结果。
20、在其中一个实施例中，所述方法还包括：
21、若根据所述初始提示语和预先训练得到的大语言模型，确定不需要调用目标工具，则将由所述大语言模型输出的结果文本作为所述回复文本。
22、第二方面，本申请实施例提供了一种基于大语言模型的推理装置，所述装置包括：
23、初始提示语获取模块，用于获取初始提示语；
24、工具调用模块，用于若根据所述初始提示语和预先训练得到的大语言模型，确定需要调用目标工具，则调用所述目标工具；
25、调用信息接收模块，用于接收所述目标工具响应于工具调用操作返回的调用信息；其中，所述调用信息的元信息包括工具运行结果和/或继续推理结果；
26、判断模块，用于根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果；
27、回复文本生成模块，用于基于所述判断结果生成回复文本，并输出所述回复文本。
28、在其中一个实施例中，所述回复文本生成模块包括：
29、提示语生成单元，用于在所述判断结果反映需要继续推理的情况下，根据前一推理轮次生成的所述调用信息得到当前推理轮次对应的推理提示语；
30、第一文本获取单元，用于根据所述大语言模型和当前推理轮次对应的推理提示语进行推理，得到所述回复文本。
31、第三方面，本申请实施例提供了一种存储介质，该存储介质中存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述基于大语言模型的推理方法的步骤。
32、第四方面，本申请实施例提供了一种计算机设备，该计算机设备包括：一个或多个处理器，以及存储器；
33、所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行上述任一实施例所述基于大语言模型的推理方法的步骤。
34、在本申请一些实施例提供的基于大语言模型的推理方法、装置、存储介质及计算机设备中，扩展了工具返回的调用信息，提供用于反映工具是否运行成功的工具运行结果和/或是否需要继续推理的继续推理结果等元信息。在agent运行过程中，可基于工具提供的调用信息的元信息，灵活判断是否需要采用大语言模型继续推理，从而可提高llm应用程序的设计灵活度，并完成精细化的运行设计。
1.一种基于大语言模型的推理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述判断结果生成回复文本，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述判断结果生成回复文本，还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述工具运行结果和/或所述继续推理结果判断是否需要继续推理，并得到判断结果，包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
7.一种基于大语言模型的推理装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述回复文本生成模块，包括：
9.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项所述基于大语言模型的推理方法的步骤。
10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；
