本发明涉及信息处理系统、信息处理方法、计算机装置以及存储介质。
背景技术：
目前有用声音对复合机(mfp：multifunctionperipheral)等图像形成装置发出指示的操作方式，如专利文献1(日本特开2014-203024号公报)公开了可以用声音操作的图像形成装置。
但是，用声音对外部装置发出指示的操作方法如果采用对话方式，会发生不习惯语音操作的用户用一问一答的方式进行作业指示，使得图像形成装置开始执行打印作业之前需要花费相当时间的问题。
本发明鉴于上述问题提供信息处理系统、信息处理方法、计算机装置以及存储介质，其目的在于，能够用直观且少量的对话来向外部装置发送作业指示。
技术实现要素：
为了解决上述课题，达到上述目的，本发明的信息处理系统包括信息处理装置和外部装置，其特征在于具备，取得部，用于取得用来操作所述外部装置的语音信息；语音识别部，用于识别所述语音信息；报知部，用于在所述信息处理装置的画面上报知操作信息，该操作信息基于所述语音识别部所识别的所述语音信息的识别结果；以及，输出部，用于向所述外部装置输出所述操作信息，当所述语音信息的识别结果为特定关键词的情况下，所述报知部在所述信息处理装置的画面上报知预定的规定操作信息。
本发明的效果在于，利用特定关键字在信息处理装置的画面上告知预定的规定操作信息，使得用直观且少量对话想外部装置发送作业指示成为可能。
附图说明
图1是第一实施方式的语音操作系统的系统构成示意图。
图2是mfp的硬件结构示意图。
图3是便携式终端装置的硬件结构示意图。
图4是语音识别服务器装置的硬件结构示意图。
图5是ai助理服务器装置的硬件结构示意图。
图6为便携式终端装置的功能结构模块图。
图7是语音识别服务器装置的功能结构模块图。
图8是ai助理服务器装置的功能结构模块图。
图9是语音操作系统中语音操作的整体动作流程的时序图。
图10是用于用户输入语音解释的一例实体信息的示意图。
图11是根据发言短语登录的实体信息的示意图。
图12是表示对话方式输入操作流程的示意图。
图13是执行图12所示处理的情况下的一例画面显示的示意图。
图14是对话方式输入操作流程的前半部分的时序图。
图15是对话法国式输入操作流程的后半部分的时序图。
图16是一例画面显示示意图。
图17是第二实施方式的语音操作系统的系统构成示意图。
图18是智能音箱的硬件结构示意图.
图19是云服务装置的硬件结构示意图。
图20是概述云的整体功能的示意图。
图21是智能音箱的一例功能模块结构示意图。
图22是一例云服务各功能结构的示意图。
图23是启动时的动作流程的时序图。
图24是启动后对话方式动作流程的时序图。
图25是启动后对话方式动作流程的时序图。
图26是启动后对话方式动作流程的时序图。
图27是一例画面显示的示意图。
具体实施方式
以下参考附图，详细说明信息处理系统和信息处理方法的实施方式。
《第一实施方式》
系统构成
图1是第一实施方式的语音操作系统的系统构成示意图。如图1所示，作为信息处理系统的第一实施方式的语音操作系统，是通过例如lan(localareanetwork)等特定网络5，将作为一例外部装置的复合机(mfp：multifunctionperipheral)1、智能手机或平板终端等便携式终端装置2(一例信息处理装置)、语音识别服务器装置3以及ai(artificialintelligence)助理服务器装置4相互连接而形成的。但是，外部装置不限于复合机，也可以是包括电子黑板和投影机等办公设备在内的各种电子设备。
便携式终端装置2接受来自用户的对mfp1进行语音操作的语音输入，并将受理的操作通过声音或画面显示反馈给用户。另外，便携式终端装置2中继语音识别服务器装置3和ai助理服务器装置4之间的数据通信(后述的文本数据的通信)。语音识别服务器装置3分析从便携式终端装置2收到的语音数据，将其转换为文本数据。语音识别服务器装置3相当于第一服务器装置。ai助理服务器装置4分析文本数据，将其转换为预先登录的用户意图(mfp1的作业执行指令)，并送往便携式终端装置2。
ai助理服务器装置4相当于第二服务器装置。mfp1执行从便携式终端装置2发送的作业执行指令。便携式终端装置2和mfp1之间的通信既可以是无线通信也可以是有线通信。也就是说，便携式终端装置2也可以是固定连接到mfp1的操作终端。
虽然本例中设定了语音识别服务器装置3及ai助理服务器装置4的两个服务器装置，但在物理性质上也可以把这两台服务器装置3和4作为一台服务器装置。进而可以用多台服务器装置实现服务器装置3和4。
mfp的硬件结构
图2是设于语音操作系统中的mfp1的硬件结构示意图。mfp1具有例如打印机功能及扫描功能等多种功能。即，如图2所示，mfp1具有控制器19、通信部15、操作部16、扫描引擎17以及打印引擎18。
控制器19具有cpu10、asic(applicationspecificintegratedcircuit)11、内存12、硬盘(hdd：harddiskdrive，)13以及定时器14。cpu10～定时器14均通过主线相互连接，相互之间可以通信。
通信部15连接网络5，如下文描述，取得用便携式终端装置2语音输入的作业执行指令，例如扫描指示或打印指示等。
操作部16是液晶显示器(lcd：liquidcrystaldisplay)和触摸传感器一体形成的所谓的触摸面板(touchpanel)。操作者使用操作部16进行所需要的动作的执行指令时，通过接触操作操作部16上显示的操作按钮(软件键)，来指定所需要的动作。
扫描引擎17控制扫描单元，用光学方式读取原稿。打印引擎18控制图像写入单元，例如在转印纸等上打印图像。cpu10综合控制图像形成装置。asic11是所谓的大规模集成电路(lsi：large-scaleintegration)，对扫描引擎17及打印引擎18中处理的图像进行必要的各种图像处理等。执行从便携式终端装置2取得的作业执行指令的装置即扫描引擎17以及打印引擎18，相当于功能部。
内存12存储cpu10执行的各种应用程序和执行应用程序时所使用的各种数据。hdd13存储图像数据、各种程序、字体数据以及各种文件等。另外，也可以与hdd13一起设置ssd(solidstatedrive，固态闪存)，或用ssd替代hdd13。
便携式终端的硬件结构
图3是设置在语音操作系统中的便携式终端装置2的硬件结构示意图。便携式终端装置2如图3所示，是通过总线26将cpu21、ram22、非易失性的rom23、接口部(i/f部)24以及通信部25连接起来形成的。在ram22中存储电子邮件、经过扫描的图像等收信对象的用户的电子邮件地址簿等。另外，在ram22中还存储进行打印的图像数据的文件等。
rom23中存储操作音声处理程序。cpu21通过执行该操作音声处理程序，使mfp1的语音输入操作成为可能。
在i/f部24上连接有触摸面板27、扬声器部28以及麦克风部29。麦克风部29除通话声音之外，还收集(取得)对于mfp1的作业的执行指令的输入声音。输入声音通过通信部25被送往语音识别服务器装置3，转换为文本数据。
语音识别服务器装置的硬件结构
图4是设置在语音操作系统中的语音识别服务器装置3的硬件结构示意图。语音识别服务器装置3如图4所示，是通过总线37将cpu31、ram32、rom33、hdd(harddiskdrive)34、接口部(i/f部)35以及通信部36相互连接而形成的。在i/f部35上连接有显示部38及操作部39。hdd34中存储用于将语音数据转换为文本数据的操作语音变换程序。cpu31通过执行操作声音变换程序，将从便携式终端装置2发送的语音数据转换为文本数据，并送回到便携式终端装置2。
ai助理服务器装置的硬件结构
图5是设置在语音操作系统中的ai助理服务器装置4的硬件结构示意图。ai助理服务器装置4如图5所示，是通过总线47将cpu41、ram42、rom43、hdd44、接口部(i/f部)45以及通信部46相互连接形成的。在i/f部45连接显示部48及操作部49。hdd44中存储操作解释程序，用来解释用户指示的作业。cpu41通过执行该操作解释程序，根据语音识别服务器装置3中生成(变换)的文本数据，解释用户指示的作业。该解释结果被送往便携式终端装置2。便携终端将解释结果转换为作业指令，并提供给mfp1。这样便能够用经由便携式终端装置2输入的声音来操作mfp1。
便携式终端的功能
图6是设置在语音操作系统中的便携式终端装置2的功能结构模块图。便携式终端装置2的cpu21通过执行存储在rom23中的操作音声处理程序，起到如图6所示的取得部51、通信控制部52、、解释结果变换部53、执行指示部54、反馈部55、处理能力取得部56、执行判断部57以及检索部58的功能。
取得部51是一例取得部，用来取得通过麦克风部29集音的、对mfp1进行语音操作的用户的指示语音。通信控制部52是一例输出部，分别控制便携式终端装置2与mfp1之间、便携式终端装置2与语音识别服务器装置3之间、以及便携式终端装置2与ai助理服务器装置4之间的通信。解释结果变换部53将ai助理服务器装置4中用户的指示语音的文本数据的解释结果变换为对mfp1的作业执行指令。执行指示部54将作业的执行指令发送到mfp1，指示作业的执行。
反馈部55是一例报知部，用于反馈用来督促例如补充缺少的数据的语音或画面显示，或者进行确认输入的语音或画面显示的反馈等，以实现对话方式语音输入操作。处理能力取得部56从mfp1中取得处理能力，例如能够处理的最大像素数等。执行判断部57通过将mfp1的能力和用户指定的作业进行比较，判断是否能够用mfp1执行用户指定的作业。检索部58从ram22等存储器中检索来自用户用语音指示的送信对象或文件等。
虽然本例中采用软件实现取得部51～检索部58，但是也可以用ic(integratedcircuit)等硬件来实现其中一部分或全部。另外，取得部51～检索部58所实现的功能可以通过操作语音处理程序单体实现，也可以使其他程序执行一部分处理，或者使用其他程序间接执行处理。例如，获取mfp1的处理能力等信息，由其他程序执行，处理能力取得部56取得其他程序取得的信息，间接取得mfp1所具有的信息。
语音识别服务器装置的功能
图7是设置在语音操作系统中的语音识别服务器装置3的功能结构模块图。语音识别服务器装置3的cpu31通过执行hdd34中保存的操作语音变换程序，具有如图7所示的取得部61、文本变换部62及通信控制部63的功能。取得部61取得便携式终端装置2发送的用户输入的语音数据。文本变换部62是一例语音识别部，将用户输入的语音数据转换为文本数据。通信控制部63控制通信部36，用来接收用户输入的语音数据，以及向便携式终端装置2发送文本数据等。
虽然本例中用软件实现取得部61～通信控制部63，但是也可以用ic(integratedcircuit)等硬件实现部分或全部功能。另外，取得部61～通信控制部63所实现的功能可以通过操作语音变换程序单体实现，也可以让其他程序执行一部分处理，或者使用其他程序间接执行处理。
ai助理服务器装置的功能
图8是设置在语音操作系统中的ai助理服务器装置4的功能结构模块图。ai助理服务器装置4的cpu41通过执行存储在hdd44中的操作解释程序，如图8所示，具有取得部71、解释部72以及通信控制部73的功能。取得部71取得便携式终端装置2发送的由用户输入的语音数据的文本数据。解释部72根据文本数据，解释来自用户的操作指示。通信控制部73控制通信部46，用以发送对于用户的便携式终端装置2的解释结果，以及接受由用户输入的语音数据的文本数据。
虽然本例中用软件实现取得部71～通信控制部73，但是也可以用ic(integratedcircuit)等硬件实现部分或全部。另外，取得部71～通信控制部73所实现的功能可以通过操作解释程序单体实现，也可以使其他程序执行一部分处理，或者使用其他程序间接执行处理。
操作语音处理程序、操作语音变换程序以及操作解释程序也可以以可安装形式或可执行形式的文件保存在cd-rom、软盘(fd)等计算机装置可读的记录介质中提供。还也可以保存在cd-r、dvd(digitalversatiledisk)、蓝光光盘(注册商标)、半导体存储器等计算机装置可读取的记录介质中提供。进而可以通过互联络等网络安装，也可以预先安装到机器内的rom等中提供。
语音输入操作的整体动作
接下来说明实施方式的语音操作系统中的语音输入操作整体动作。图9是语音操作系统中语音操作整体动作流程的时序图。图9是一例通过便携式终端装置2用语音输入操作mfp1的双面复印功能。此时，用户启动便携式终端装置2的操作语音处理程序，例如发出"双面复印"的语音。该用户语音由便携式终端装置2的麦克风部29集音，并被取得部51取得语音(步骤s1)。便携式终端装置2的通信控制部52将该"双面复印"的语音数据送往语音识别服务器装置3，控制通信部25进行文本转换请求(步骤s2)。
语音识别服务器装置3的文本变换部62将"双面复印"的语音数据转换处理为文本数据。然后，通信控制部63控制通信部36将经过变换处理的文本数据送往便携式终端装置2(步骤s3)。便携式终端装置2的通信控制部52把"双面复印"的文本数据送往ai助理服务器装置4(步骤s4)。
本例中ai助理服务器装置4的解释部72将要求mfp1执行的动作解释为"复印(动作：copy_execcute)"，并将打印面解释为"双面(打印面＝双面)"(步骤s5)。这样，解释部72根据文本数据，生成表示用户指定的作业类别(动作)和内容(参数)的解释结果。该解释结果通过ai助理服务器装置4的通信控制部63，经由通信部46送往便携式终端装置2(步骤s6)。
便携式终端装置2的解释结果变换部53进行变换处理，将从ai助理服务器装置4收到的解释结果变换为mfp1的作业指令(步骤s7)。以下表1显示一例解释结果以及解释结果经过变换处理后的作业指令。解释结果变换部53为了将解释结果变换为作业指令，也可以将相当于表1的信息存储在便携式终端装置2的存储部(rom23)中，作为可以参考的构成。
表1
表1中显示的"copy_execute"、"scan_execute"、"print_execute"以及"fax_execute"是一例动作(action)。"打印面"及"份数"等是一例参数(parameter)。参数包含可指定为作业设定值的所有项目。
便携式终端装置2的解释结果变换部53，将"copy_execute"的解释结果转换处理为"执行复印作业"的mfp1作业指令。同样，解释结果变换部53将"scan_execute"的解释结果转换处理为"执行扫描作业"的mfp1作业指令，将"print_execute"的解释结果转换处理成"执行打印作业"的mfp1作业指令，将"fax_execute"的解释结果转换处理成"执行传真作业"的mfp1作业指令。
当解释结果中含有"印刷面"的参数时，便携式终端装置2的解释结果变换部53形成进行"改变打印面设定值"mfp1的作业指令。同样，当解释结果中含有"份数"的参数时，解释结果变换部53形成进行"改变份数设定值"的mfp1作业指令。
即，便携式终端装置2的解释结果变换部53判断解释结果的"动作"中包含的信息为让mfp1执行的作业种类，判断"参数"中包含的值是作业的设定值，并将解释结果转换处理为作业指令。
便携式终端装置2的通信控制部52控制通信部25将上述形成的作业指令送往mfp1的(步骤s8)。本例中将"执行复印作业(打印面＝双面)"的作业指令送往mfp1。据此在mfp1中执行双面打印。
ai助理服务器装置中的解释动作的详述
ai助理服务器装置4的hdd44的ai存储部40中存储ai助手服务信息，该ai助手服务信息用来解释用户通过语音输入所指示的作业，其中包括实体(entity)信息、动作(action)信息和意图(intent)信息。实体信息是将作业的参数和自然语言关联起来的信息。对一个参数可以登录多个同义词。动作信息是表示作业种类的信息。意图信息是分别将用户的发言短语(自然语言)与实体信息、以及用户的发言短语(自然语言)与动作信息互相关联起来的信息。即使参数的表达顺序或语义多少有所变化，也能够根据意图信息作正确解释。另外，通过意图信息，可以根据输入的内容生成应答的文本(解释结果)。
图10是用于解释用户输入语音的一例实体信息的示意图。该图10是与打印色彩(printcolor)相对应的实体信息。在此图10中，"printcolor"的文字表示实体名称。图10中的左列的"auto_color"、"monochrome"、"color"…等文字表示参数名，右列的"auto_color"、"monochrome、blackandwhite"、"color，fullcolor"…等文字表示同义词。
从图10可知，将参数和同义词作为实体信息，关联起来保存。通过把同义词与参数一起登录，在例如指示单色复印时，发出的语音无论是"pleasecopybyblackandwhite"，还是"pleasecopybymonochrome"，均可以设定参数。图11是根据发出的语音的短语来登录的实体信息的示意图。图11中(a)表示的是用户的发出的语音的短语，(b)表示的是动作名称，(c)表示的是实体信息。如图11的(a)～(c)所示，在ai助理服务器装置4具备的显示部48所显示的画面上，通过操作操作部49，拖动用户发出的语音。或者，在通过网络访问ai助理服务器装置4的装置的显示部所显示的画面上，通过操作该装置的操作部，来拖动用户发出的语音。
由此，便可以选择成为关联对象的实体信息。受到选择的实体信息设定了值(value)后，在应答中加入的参数发生变化。例如，当发出的语音为"pleasecopybyblackandwhite"时，设值为"$printcolor"，在这种情况下，返回的返送值为"printcolor＝monochrome"。对此，当设值为"$printcolor.original"时，返回的返送值为"printcolor＝blackandwhite"。在此，如果设值为"$printcolor.original"，就可以把用户的语音内容直接作为应答的参数返送。
对话方式动作
接下来在实施方式的语音操作系统中，基于来自用户的输入内容，实现系统应答的对话方式系统。在实施方式的语音操作系统中，除了应答对话所需的定型句之外，通过执行"输入缺少反馈"和"输入确认反馈"这两种mfp1操作特有的应答，实现对话方式mfp操作系统。
"输入缺少反馈"是当执行作业所需信息尚未齐全时输出的应答，在没有听到用户的输入结果，或缺少必要参数时输出。也就是说，对于必要参数以外的参数，即使没有指示也不需要进行输入缺少反馈。此外，除了参数以外，还可以包括确认复印功能或扫描功能等中所要使用的功能的处理。
例如，便携式终端装置2可以根据通信连接中的外部装置的种类改变向用户确认要利用的功能的功能以及参数。在这种情况下，取得处理能力取得部56在与外部装置的通信确立后的规定时间点取得表示外部装置种类和功能的信息，根据取得的信息向用户确认的功能以及参数可以由例如反馈部55来决定。例如，在外部装置的种类为mfp1的情况下，可以向用户确认复印、打印、扫描、fax等mpf1所具有的功能，并可以向用户确认使用复印、打印、扫描、fax之中mfp1所具有的功能中的哪一种功能。
"输入确认反馈"是在执行作业所需的信息齐全的情况下输出的应答。也就是说，输入确认反馈是在获得所有必要参数的指示的情况下进行的。输入确认反馈是用于促使用户在用当前设定中执行作业或更改设定值之中作出选择。可以用语音输出用户指示的所有参数(不管是必要参数或必要参数以外的参数)，向用户确认否用现在的设定值执行作业。
图12是表示对话方式输入操作流程的示意图。该图是一例包含这类各种反馈的系统与用户的对话方式操作，该示例例举了操作mfp1，双面复印一份单色图像。在该例中，份数(＝1份)为必要参数。必要参数不限定是份数，也可以包括单色、彩色或纸张尺寸等多种参数。
图13是执行图12所示的处理时的一例画面显示的示意图。即，便携式终端装置2在触摸面板27的画面上显示用户发出的语音的内容(识别结果)和来自ai助理服务器装置4反馈的内容(操作信息)。图13中，从便携式终端装置2的触摸面板27的画面右侧吹出显示的评语表示用户向便携式终端装置2发出的语音的内容，从便携式终端装置2的触摸面板27的画面左侧吹出显示的评语表示从ai助理服务器装置4向用户反馈的内容。即，便携式终端装置2在接受ai助理服务器装置4反馈的情况下，在用语音输出反馈给用户的同时，还可以通过触摸面板27的画面显示来进行反馈。不过也可以省略语音输出的反馈。
参数之中的哪一个参数是必要参数，可以预先保存在ai助理服务器装置4所具有的存储部中。也可以由用户通过操作部49或通过网络，访问ai助理服务器装置4，改变哪一个参数是必要参数。
图12的示例中用斜线表示的语音是用户的发言，没有斜线的语音是系统的发言，用网格表示的对话是便携式终端装置2的画面或者系统的语音。首先，系统进行"复印吗？扫描吗？"的语音输出后，用户发言"复印"，指示使用复印功能。系统方面为了寻求输入用户指定的"复印"设定值，用语音向携带式终端装置2输出"如果用前一次设定复印，请讲"用前一次设定"。"。同时，在系统方面在便携式终端装置2上进行"如果用前一次设定复印，请讲"用前一次设定"、以及前一次打印的设定"前一次设定值：单色·2份·双面"的画面显示。
对此，设定用户发言是作为特定关键词的"用刚才的设定"。系统方面应答"单色、2份、双面复印，对吗？"，促使复印开始。
在系统方面，对于"如果用前一次设定复印，请讲"用前一次设定"。"的语音输出或画面显示，用户发出"刚才的设定"的应答时，由于执行作业所需信息已备齐，因而进行上述"单色、2份、双面复印。对吗？"的"输入确认反馈"。
接下来，在改变份数的情况下，用户进行"改为1份"的语音输入。在这种情况下，执行作业所需的信息已经备齐，因此系统方进行"单色、1份、双面复印，对吗？"的"输入确认反馈"。
然后，对于"单色、2份、双面复印，对吗？"或"单色、1份、双面复印，对吗？"的"输入确认反馈"，用户回答"对"后，系统方应答"执行作业"，执行用户指示的作业。
对话方式动作流程
图14及图15是上述对话方式动作流程的时序图。图14的时序图显示对话方式动作的前半部分动作流程，图15的时序图显示对话方式动作的后半部分动作流程。
首先，便携式终端装置2的操作音声处理程序受到用户启动操作(步骤s11)后，反馈部55进行"复印吗？扫描吗？"的语音以及画面显示的反馈(步骤s12)。
与步骤s12的语音反馈同时，便携式终端装置2在触摸面板27的画面上显示"复印吗？扫描吗？"的语音。也就是说，便携式终端装置2显示预先存储在便携式终端装置2的rom23等中的文本数据。
用户发出"复印"的语音(步骤s13)后，便携式终端装置2的通信控制部52向语音识别服务器装置3发送"复印"的语音数据，提出文本变换请求(步骤s14)。语音识别服务器装置3的文本变换部62将"复印"的语音数据变换处理成文本数据后，送往便携式终端装置2(步骤s15)。
便携式终端装置2在步骤s15中从语音识别服务器装置3收到文字数据的时间点，将"复印"的评语显示在触摸面板27的画面上。此时，便携式终端装置2既可以语音反馈"复印"，也可以省略反馈。
便携式终端装置2的取得部51取得该文本数据。便携式终端装置2的通信控制部52将取得的文本数据送往ai助理服务器装置4(步骤s16)。ai助理服务器装置4的解释部72，如图10和图11所示，根据收到的文本数据所表示的用户的发言评语，解释动作及参数。本例中，由于用户只发"复印"语音，所以复印份数等不明确(输入缺少)。
为此，解释部72形成的解释结果是在"copy_parameter_setting"的动作上附加"用前一次设定复印时，请讲"用刚才的设定"。"的应答(response)(步骤s17)。ai助理服务器装置4的通信控制部73，将该解释结果送往便携式终端装置2(步骤s18)。便携式终端装置2的反馈部55通过扬声器部28，用语音输出"用前一次设定复印时，请讲"用刚才的设定"。"，同时，在触摸面板27上文本显示"用前一次设定复印时，请讲"用刚才的设定"。"(步骤s19：输入缺少反馈)。
在步骤s19的语音反馈同时，便携式终端装置2将"用前一次设定复印时，请讲"用刚才的设定"的评语显示在触摸面板27的画面上。即，便携式终端装置2根据从ai助理服务器装置4发送的response来显示评语。
然后，用户例如讲"用刚才的设定"(步骤s20)。便携式终端装置2的通信控制部52向语音识别服务器装置3发送"用刚才的设定"的语音数据，进行文本变换请求(步骤s21)。语音识别服务器装置3的文本变换部62将"用刚才的设定"的语音数据变换处理成文本数据后，送往便携式终端装置2(步骤s22)。
便携式终端装置2的取得部51取得该文本数据。便携式终端装置2的通信控制部52将取得的文本数据送往ai助理服务器装置4(步骤s23)。ai助理服务器装置4的解释部72根据收到的文本数据所表示的用户的发言评语，解释动作及参数。
用户对便携式终端装置2说"用刚才的设定"后，ai助理服务器装置4的解释部72采用以前曾经执行的规定操作信息的作业设定。此时，ai助理服务器装置4的解释部72可以通过参考履历信息，反映最近执行的一个作业设定。ai助理服务器装置4还可以在规定期间内执行2次以上作业的情况下催促用户指示采用哪一个作业条件。
便携式终端装置2也可以在步骤s22中便携式终端装置2从语音识别服务器装置3收到文本数据时，将"用刚才的设定"的评语显示在画面上。此时，既可以用语音反馈"用刚才的设定"，也可以省略。
多个参数之中哪一个参数是必要参数，可以预先保存在ai辅助服务器装置4的存储部中。在这种情况下，解释部72根据存储部中保存的必要参数的信息，判断从便携式终端装置2取得的参数是否进行了所有必要参数的设定，在没有对必要参数进行设定的情况下，可以通过便携式终端装置2促使用户进行必要参数的设定。
由于解消了对于复印作业的必要参数欠缺，所以ai助理服务器装置4的解释部72形成在"copy_confirm"的动作上附加参数未"色彩＝单色"、"打印面＝双面"以及"份数＝2份"的解释结果(步骤s24)。ai助理服务器装置4的通信控制部73将该解释结果送往便携式终端装置2(步骤s25)。
便携式终端装置2的反馈部55由于解消了缺少必要参数，并且开始复印准备完毕，基于包含在解释结果中的应答，生成例如"单色、2份，双面复印，对吗？"的反馈文本(步骤s26)。在此，文本的生成可以从存储在便携式终端装置2的存储部的文本数据中读取全部或一部分并组合生成。即，便携式终端装置2的反馈部55在语音信息的识别结果为特定的关键字(自此为"用刚才的设定")的情况下，在便携式终端装置2的画面上报知预先规定的规定操作信息(在此为"单色、2份、双面")。
另外，反馈部55不限于在步骤s26，如果是从ai助理服务器装置4取得解释结果的情况下，也可以在其他步骤中同样地生成反馈文本，但是，如果反馈文本的信息包含在解释结果的应答中，则不需要生成反馈文本。接着，进行上述的输入确认反馈(步骤s27)。用户对于该输入确认反馈，可以进行指示设定值改变或复印开始的语音输入。
这样，操作语音处理程序根据预先保存在携带式终端装置2中的文本数据、从语音识别服务器装置3接收的文本数据、以及从ai助理服务器装置4收到的应答，将评语显示在便携式终端装置2的触摸面板27的画面上。
图15的时序图的步骤s35～步骤s42是用语音指示改变设定值的动作流程。在该图15中，用户进行改变设定值的发言(步骤s35)，语音识别服务器装置3的文本变换部62生成经过更改的设定值的文本数据，经由便携式终端装置2送往ai助理服务器装置4(步骤s36～步骤s38)。ai助理服务器装置4基于收到的文本数据，生成表示经过更改的设定值的解释结果(步骤s39)，并送往便携式终端装置2(步骤s40)。
便携式终端装置2的反馈部55根据解释结果中包含的应答，生成反馈文本(步骤s41)，进行上述输入确认反馈，例如"单色、2份、双面复印，对吗？"等，确认是否可以用经过更改的设定值开始复印(步骤s42)。
图15的序列图的步骤s43～步骤s50是指示开始复印时的各部动作流程。即，通过上述输入确认反馈，用户应答为"对"(步骤s43)，经过文本处理后，由便携式终端装置2发送到ai助理服务器装置4(步骤s44～步骤s46)。ai助理服务器装置4根据收到的文本数据识别复印开始指示后，形成在"copy_execute"的动作上附加"打印面＝双面"和"份数＝1份"的参数的解释结果，将其发送到便携式终端装置2(步骤s47～步骤s48)。
便携式终端装置2的解释结果变换部53将解释结果转换为mfp1的作业指令(步骤s49)，并送往mfp1(步骤s50)。由此便能够用语音输入操作，控制mfp1进行复印。
从ai助理服务器装置4反馈的信息的示例
下表2显示一例从ai助理服务器装置4反馈到便携式终端装置2的解释结果。
表2
如表2所示，例如用于促使输入作业设定值的"copy_paratemer_setting"、促使确认作业设定值的"copy_confirm"、传达开始执行作业的"copy_execute"等动作被包含在解释结果中，反馈到便携式终端装置2。
反馈部55可以根据包含在解释结果中的动作、参数、应答来判断对用户的反馈。为了决定反馈内容，反馈部55可以将相当于表2的信息存储在便携式终端装置2的存储部，作为可供参考的构成。表2以复印为例进行说明，而打印、扫描、fax时，也可以与表2相同，使用促使输入作业设定值的"parameter_setting"、以及促使确认作业设定值的"confirm"作为动作。
另外，例如双面或单面等打印面的设定值，或者复印份数等参数被包含在解释结果中反馈到便携式终端装置2。进而，在缺少必要参数的情况下，可以将促使输入所缺参数的消息作为应答包含在解释结果中反馈到便携式终端装置2。
履历信息可以存储在便携式终端装置2一方，但在不同实施方式中也可以保存在ai助理服务器装置4中，在进一步其他的实施方式中还可以保存在mfp1一方。
将履历信息保存在便携式终端装置2中
在把履历信息保存在便携式终端装置2中的情况下，当发出"用刚才的设定复印"语音时，经过语音识别服务器装置3将其变换成文本数据后，在该文本数据被送往ai助理服务器装置4。ai助理服务器装置4解释文本，根据"复印"的文本把作业种类解释为复印，并把"用刚才的设定"的文本解释为基于履历信息设定作业条件。由此，ai助理服务器装置4对便携式终端装置2发出取得履历信息的指示。例如，将"动作：copy_parameter_setting"、"参数：设定值＝参考履历信息"作为解释结果，送往便携式终端装置2。
便携式终端装置2收到解释结果后，通过读取存储在便携式终端装置2的rom23等存储部中的履历信息，决定作业条件。便携式终端装置2可以根据作业种类读取履历信息，在此从履历信息中读取复印作业的履历。
便携式终端装置2可以从履历信息中读取最近的履历，也可以读取在规定的期间内执行了的多个履历。在读出多个履历的情况下，可以把履历作为评语显示在便携式终端装置2的画面上，促使用户选择在哪种作业条件下执行。用户可以通过触摸操作可选评语，或通过语音指定进行选择。
便携式终端装置2在根据履历信息决定某一个作业条件时，可以将作业条件发送给ai助理服务器装置4(这种情况下，不需要通过语音识别服务器装置3)。此时，ai助理服务器装置4根据从便携式终端装置2收到的作业条件，判断是否备齐必要参数，如果必要参数齐全，则将"动作：copy_confirm"、"参数：色彩，打印面＝双面"作为解释结果，送往便携式终端装置2。
携带式终端装置2收到解释结果后，如图13所示，进行作为输入确认反馈的色、2份、双面复印，对吗？"的语音和画面显示的反馈。对此相对，如果发出"对"语音，则"动作：copy_execute"、"参数：色彩＝单色，打印面＝双面，份数＝2"被从ai助理服务器装置4送往便携式终端装置2，便携式终端装置2将作业执行指令送往mfp1(该处理与图15的步骤s43-s50相同)。另外，在进行设定值更改，例如发出"彩色"语音时，可以反映到作业条件中(该处理与图15的步骤s35-s42的处理相同)。
在根据履历信息决定某个作业条件的情况下，便携式终端装置2也可以不经由ai助理服务器装置4，将作业条件包含在作业执行指令中送往mfp1。收到作业执行指令的mfp1的操作画面上可以显示反映作业条件的画面。因此，用户能够通过操作mfp1的画面来改变作业条件。
以上说明了发出"用刚才的设定"语音的情况，除此之外，还可以指定日期时间，如"用1小时前的设定"、"用昨天的设定"。此时，ai助理服务器装置4根据文本数据中包含的"1个小时前"、"昨天"等指定日期时间的文本，解释指定日期和时间。而后，ai助理服务器装置4将包含指定日期时间在内的解释结果，如"动作：copy_parameter_setting"、"参数：设定值＝参考履历信息，日期时间＝昨天"等，作为解释结果，送往便携式信息终端2。便携式终端装置2以指定日期时间为关键词，检索履历信息，提取指定日期时间条件一致的履历。当存在多个履历时，如上所述，通过向用户显示，可以促使用户选择在哪个作业条件下执行作业。
用ai助理服务器装置4保存履历信息
在用ai助理服务器装置4保存履历信息的情况下，如果发声"用刚才的设定复印"，则ai助理服务器装置4解释文本，根据"复印"的文本把作业种类解释为复印，并把"用刚才的设定"的文本解释为基于履历信息设定作业条件。由此，ai助理服务器装置4从ai助理服务器装置4内的hdd44等存储部、或者可访问的外部服务器的存储部中取得履历信息。
履历信息可以按照便携式终端装置的每个用户来存储。在这种情况下，例如，便携式终端装置2在将文本数据"用刚才的设定"发送到ai助理服务器装置4时，发送用于识别用户的信息(例如用户id等)。由此，ai助理服务器装置4可以识别用户，读取与该用户相关的履历信息。ai助理服务器装置4既可以从履历信息中读取最近的履历，也可以读取在规定期间内执行的多个履历。
在读取最近的一个履历的情况下，ai助理服务器装置4将"动作：copy_confirm、"参数：读取的作业条件"作为解释结果发送(该处理与图14的步骤s25相同，之后的处理与图15的步骤s35-s50相同)。
而在读取多个履历的情况下，例如，将"动作：copy_参数_setting"、"参数：设定值＝履历1、履历2"的解释结果送往便携式信息终端。在此，"履历1"及"履历2"分别表示单独执行的作业执行履历。另外，送往便携式信息终端的履历也可以是2个以上。
便携式终端装置2也可以在便携式终端装置2的画面上显示评语，促使用户选择在哪种作业条件下执行。用户可以通过触摸来操作可选择地显示的评语，或通过语音指定来进行选择。
便携式终端装置2根据履历信息选择一个作业条件后，可以将作业条件送往ai助理服务器装置4(这种情况下，不需要通过语音识别服务器装置3)。后续处理与图15的步骤s35-s50相同。
以上说明了发出"用刚才的设定"语音的情况，除此之外，也可以指定日期时间，如"用1小时前的设定"、"用昨天的设定"。此时，ai助理服务器装置4根据文本数据中包含的"1个小时前"、"昨天"等指定日期时间的文本，解释指定日期和时间。然后，ai助理服务器装置4以指定日期时间为关键词检索履历信息，提取与指定日期时间条件一致的履历。在存在多个履历的情况下，如上所述，可以通过向便携式终端装置2发送解释结果，来促使用户选择在哪个作业条件下执行作业。
履历信息保存在mfp1中
在用mfp1保存履历信息的情况下，ai助理服务器装置4在解释"用刚才的设定复印"的文本后，判断必要参数齐全，在此基础上，将"动作：copy_confirm"、"参数：设定值＝参考履历信息"送往便携式终端装置2。
便携式信息终端2将"用刚才的设定复印，对吗？"的评语作为输入确认反馈，进行显示/语音反馈。如果发出"对"语音，则将"动作：copy_execute"、"参数：设定值＝参考履历信息"送往便携式终端装置2，便携式终端装置2向mfp1发送作业执行指令。
然后，mfp1判断作业执行指令中是否包含参考履历信息的指示。当包含了参考履历信息的指示时，mfp1将反映了最新履历中所包含的作业条件的结果显示在mfp1的操作画面上，并在用户实行执行操作如按动启动按钮等之前持续待机。另外，也可以在操作画面上显示包含多个履历的履历一览表，示出用户所选择的履历中包含的作业条件。
以上说明了发出"用刚才的设定"语音的情况，除此之外，也可以指定日期时间，如"用1小时前的设定"、"用昨天的设定"。此时，ai助理服务器装置4根据文本数据中包含的"1个小时前"、"昨天"等指定日期时间的文本，解释指定日期和时间。然后，ai助理服务器装置4将包含指定日期的解释结果，如"动作：copy_execute"参数：设定值＝履历信息参照，日期＝昨天"等，作为解释结果，送往便携式终端装置2，便携式终端装置2将作业执行指令送往mfp1。
mfp1以指定日期为关键词检索履历信息，提取与指定日期条件一致的履历。另外，在存在多个履历的情况下，可以通过如上所述地在操作画面上显示，促使选择在哪个作业条件下执行作业。
如上所述，根据本实施方式，用户在使用对话方式mfp系统时，如果存在前一次打印的设定，则可以先将该设定显示在便携式终端装置2的触摸面板27的画面上。用户通过看了设定后采用前一次设定，发出"用刚才的设定"的语音，可以用一句话来用前一次设定实施打印，因而以直观且少量的对话就能够对作业作出指示。
虽然本实施方式在用前一次设定进行复印时，发出"用刚才的设定"等特定的关键词的语音后，ai助理服务器装置4就采用最近的作业条件，但本发明并不受此限制。
例如，也可以对便携式终端装置2发出"用常用的设定"或者"用会议用的设定"等特定的关键词，让ai助理服务器装置4采用预先登录的规定操作信息的作业条件(以下称为登录条件)。
登录条件可以存储在便携式终端装置2一方，但作为其他实施方式，也可以保存在ai助理服务器装置4中，进而作为另外的实施方式还可以放在mfp1一方保存。
用便携式终端装置2保存登录条件
在用便携式终端装置2保存的情况下，当发出"用常用的设定复印"语音时，在语音识别服务器装置3中变换成文本数据后，向ai助理服务器装置4发送该文本数据。
ai助理服务器装置4解释文本，根据"复印"的文本将复印作业的种类解释为复印，并把"常用的设定"的文本解释为基于登录条件设定作业条件。由此，ai助理服务器装置4向便携式终端装置2发出取得登录条件的指示。例如，将"动作：copy_参数_setting"、"参数：设定值＝参考登录条件"作为解释结果，送往便携式终端装置2(另外，"会议用"等特定的关键字指定时，将该关键词包含在参数中发送)。
便携式终端装置2收到解释结果后，通过读取存储在便携式终端装置2的rom23等存储部中的登录条件，来决定作业条件。便携式终端装置2可以按照作业种类读取登录条件，在此从登录条件中读取复印作业的登录条件。另外，在"会议用"等特定关键词指定的情况下，检索与该关键词对应的登录条件。
便携式终端装置2在根据登录条件决定某个作业条件时，可以将作业条件送往ai助理服务器装置4(这种情况下不需要通过语音识别服务器装置3)。此时，ai助理服务器装置4根据从便携式终端装置2收到的作业条件，判断必要参数是否齐全，如果齐全，则将"动作：copy_confirm"、"参数：色彩：彩色、打印面＝双面，打开方向＝上下，后处理：装订，后处理位置：上方2处"作为解释结果，送往携带式终端装置。
图16是一例画面显示的示意图。携带式终端装置2收到解释结果后，如图16所示，将"彩色、双面、上下打开、上方2处装订复印，对吗？"的语音及画面显示的反馈，作为输入确认反馈。
对此，在发出"是"语音的情况下，"动作：copy_execute"、"参数：色彩：彩色、打印面＝双面、打开方向＝上下、后处理：装订、后处理位置：上方2处"被从ai助理服务器装置4送往便携式终端装置，便携式终端装置将作业执行指令送往mfp1(该处理与图15的步骤s43-s50相同)。
另外，如图16所示，关于更改设定值，例如发出"用单色"语音时，可以反映到作业条件中(该处理与图15的步骤s35-s42的处理相同)。
登录条件可以预先存储在便携式终端装置2的存储部。另外，登录条件中还可以将"会议用"等关键词与该登录条件对应起来登录。例如，可以在便携式终端装置2的画面上设定所需要的作业条件，作为登录条件保存起来。
另外，也可以将过去执行的作业或正在执行的作业的条件作为登录条件来登录。此时，通过例如触摸画面上显示的评语，显示是否作为登录条件存储的画面，通过操作该画面，可以存储与评语对应的作业条件(即从ai助理服务器装置4收到的动作及参数)。此时，也可以把关键词与将要保存的作业条件关联起来保存。关键词可以通过操作例如在便携式终端装置画面上显示的键盘来设定。
另外，还可以通过发出"登录设定值"语音来登录。此时，ai助理服务器装置4可以解释文本，"动作：register"的解释结果被发送到便携式终端装置2，便携式终端装置2将从ai助理服务器装置4收到的最近的作业条件存储在便携式终端的存储部。此时，也可以将需要存储的作业条件作为参数包含在解释结果中，送往便携式终端装置2。
用ai助理服务器装置4保存登录条件
在用ai助理服务器装置4保存登录条件的情况下，发出"用常用的设定复印"的语音后，ai助理服务器装置4解释文本，根据"复印"的文本，作业种类解释为复印，并把"常用的设定"的文本解释为基于登录条件设定作业条件。由此，ai助理服务器装置4从ai助理服务器装置4内的hdd44等存储部、或者可访问的外部服务器的存储部取得登录条件。
登录条件可以按照便携式终端装置2的用户来保存中。在这种情况下，例如，便携式终端装置2在将文本数据"通常的设定拷贝"发送到ai助理服务器装置4时，发送用于识别用户的信息(例如用户id等)。由此，ai助理服务器装置4可以识别用户，读取与该用户相关的登录条件。(用"会议用"等特定关键词指定的情况下，检索与该关键词相对应的登录条件)。
读取登录条件后，ai助理服务器装置4将"动作：copy_confirm"、"参数：读取的作业条件"作为解释结果发送(该处理与图14的步骤s25相同，之后的处理与图15的步骤s35-50相同)。
登录条件可以预先保存在ai助理服务器装置4的存储部中。对于登录条件，可以将与登录条件对应的"会议用"等关键词与该登录条件关联起来登录。还可以例如从客户计算机访问ai助理服务器装置4，设定登录条件。
还可以把过去执行的作业的条件或正在执行的作业的条件作为登录条件来登录。此时，例如通过触摸在便携式终端装置2画面上显示的评语，显示是否作为登录条件保存的画面，并通过操作该画面，指示将与评语对应的作业条件(即动作及参数)保存在ai助理服务器装置4中。
也就是说，便携式终端装置2向ai助理服务器装置4发送指示，让ai助理服务器装置4登录当前设定中的作业条件或最近的作业条件。这时，也可以一起发送"会议用"等关键词，当从便携式终端装置收到关键词时，ai助理服务器装置4将登录作业条件与该关键词关联起来登录。也可以从便携式终端装置发送需要登录的作业条件。
另外，还可以通过发出"登录设定值"语音来登录。在这种情况下，ai助理服务器装置4解释文本，判断执行登录当前正在设定的作业条件或者最近的作业条件的处理。另外，在发出"作为会议用登录设定值"语音时，也就是语音中含有关键词的情况下，与该关键词结合，登录作业条件。
用mfp1保存登录条件
在用mfp1保存登录条件的情况下，ai助理服务器装置4在解释"用常用的设定复印"的文本后，在判断必要参数已经齐全的基础上，将"动作：copy_confirm"、"参数：设定值＝参考登录条件"送往便携式终端装置2(在用"会议用"等特定关键字指定时，将该关键词包含在参数中发送)。
携带式终端装置2进行"用常用的设定复印，对吗？"的评语显示/语音反馈，用以作为输入确认反馈。
当发出"对"语音时，把"动作：copy_execute"、"参数：设定值＝参考登录条件"送往便携式终端装置2，便携式终端装置2向mfp1发送作业执行指令。
然后，mfp1判断作业执行指令是否包含参考登录条件的指示。如果包含参照登录条件的指示，则mfp1将反映了包含在登录条件中的作业条件的结果显示在mfp1的操作画面上，在用户以按动开始按钮等进行执行操作之前待机。(在用"会议用"等特定关键词指定时，检索与该关键词相对应的登录条件)。
登录条件可以预先保存在mfp1的存储部。另外，对于登录条件，可以把与登录条件对应的"会议用"等关键词与该登录条件关联起来登录。还可以通过例如操作mfp1的操作部，或者从客户机计算机访问mfp1，来设定登录信息。另外，也可以把过去执行的作业的条件或正在执行的作业的条件作为登录条件来登录。此时，可以在例如mfp1设定作业条件的时间点操作操作部，将设定中的作业条件登录。
上述实施方式的说明中例举了在语音识别服务器装置3中生成与用户发出的语音相对应的文本数据，在ai助理服务器装置4中基于文本数据，解释用户意图进行的操作。但是，也可以在便携式终端装置2一方设置这样的语音识别功能和解释功能，在便携式终端装置2中解释用户发言所意图的操作。这样便不再需要语音识别服务器装置3及ai助理服务器装置4，简化系统构成。
《第二实施方式》
以下说明第二实施方式。
第二实施方式相较于第一实施方式，其特点在于，使用智能扬声器取代便携式终端装置2。以下在第二实施方式的说明中，省略与第一实施方式相同部分的说明，仅说明不同于第一实施方式的部分。
图17是第二实施方式的语音操作系统的系统结构示意图。如图17所示，第二实施方式的语音操作系统用智能扬声器50(一例信息处理装置)来取代图1中说明的便携式终端装置2。智能扬声器也称为ai扬声器，是一种具有支持对话方式语音操作的ai助手功能的扬声器。
语音操作系统通过例如lan(localareanetwork)等规定网络5将作为一例外部装置的mfp1、智能扬声器50(一例信息处理装置)、云服务装置60相互连接而成。但是，外部装置不限于mfp，也可以是包括电子黑板和投影机等办公设备在内的各种电子设备。
智能扬声器50接受用户对mfp1进行语音操作的语音输入。智能扬声器50被设置在接近mfp1的位置。智能扬声器50和mfp1一对一地对应。因此，智能扬声器50基本上以在mfp1前操作的用户为提供功能的对象。不过智能扬声器50并不受此限制，可以对应多个mfp1及其他电子设备。
云服务装置60既可以是物理性质上的一台服务器装置，也可以是多台服务器装置。云服务装置60是一种安装了用来将语音数据转换成文本数据，进而解释用户意图的操作语音变换程序的控制装置。而且，云服务装置60是安装了用于管理mfp1的管理程序的控制装置。因此，云服务装置60发挥与第一实施方式的语音识别服务器装置3和ai助理服务器装置4相同的功能。
操作语音变换程序制作并登录对于mfp1的操作用的语音词典和操作。管理程序将智能扬声器50和mfp1的账户或设备关联起来，管理整个系统。
智能扬声器50的硬件结构
图18是设置在语音操作系统中的智能扬声器50的硬件结构示意图。如图18所示，智能扬声器50与图3中说明的便携式终端装置2一样，通过总线26将cpu21、ram22、rom23、接口部(i/f部)24以及通信部25相互连接而成。
rom23中存储操作语音处理程序。cpu21通过执行该操作音声处理程序，能够进行mfp1的语音输入操作。
i/f部24连接触摸面板27、扬声器部28以及麦克风部29。麦克风部29除通话语音之外，还收集(取得)针对mfp1的作业执行指令的输入语音。输入语音通过通信部25被送往云服务装置60，转换为文本数据。
云服务器装置60的硬件结构
图19是语音操作系统中设置的云服务器装置60的硬件结构示意图。在图19中假设云服务器装置60是由物理性质上的一个服务器装置构成。如图19所示，云服务装置60与图4中说明的语音识别服务器装置3一样，通过总线37将cpu31、ram32、rom33、hdd(harddiskdrive)34、接口部(i/f部)35以及通信部36相互连接而成。i/f部35连接显示部38及操作部39。hdd34中存储用于操作mfp1的语音辞典和用于制作及登录操作的操作音声变换程序。hdd34将智能扬声器50和mfp1的账户或设备关联起来，并保存管理整个系统的管理程序。cpu31通过执行操作语音变换程序和管理程序，能够根据便携式终端装置2发送的语音数据操作mfp1操作。
整体功能构成
图20是整体功能的概要示意图。图20显示提供云服务的主要功能。关于主要功能的详细情况以及图20所示的智能扬声器50的功能说明，将参考图21～图22描述。
云100的功能通过一台云服务装置60或多台云服务装置60实现。这些功能是设置在一台或多台云服务装置中的功能，既可以是一台云服务装置60，也可以是多台云服务装置60。
云服务装置60的cpu31通过将hdd34中的操作语音变换程序读到ram32上执行，发挥作为操作语音变换部310的功能。操作语音变换部310具有将语音数据转换为文本数据的功能。此外，操作语音变换部310还具有判断文本数据是否与预先定义的辞典信息一致的功能。进而，操作语音变换部310具有在一致的情况下，将文本数据变换为表示用户需要的动作和作业条件等变量的参数的功能。
云服务装置60的cpu31通过将hdd34的语音助理程序读到ram32上执行，发挥作为语音助理部320的功能。语音助理部320具有保存辞典信息的功能。
云服务装置60的cpu31通过将hdd34的管理程序读到ram32上执行，发挥作为管理部330的作用。管理部330具有在转换到基于动作和参数的mfp1能够解释的形式的作业执行指示的基础上，发送到登录了的mfp1中的功能。
这样，云100至少通过操作语音转换部310、语音助理部320、以及管理部330的功能，提供云服务300。
云服务300基于与mfp1、信息处理装置的通信，将各种信息存储在db中。例如，管理部330使用管理db340、关联用db350、设备信息db360等管理各种信息。
管理db340是存储云服务300提供的内容所需数据，如文本数据、图像数据、语音数据等的数据库。
关联用db350是存储与信息处理装置连接的外部装置的数据库。关联用db350在本例中，将作为信息处理装置使用的智能扬声器50的设备id，与该智能扬声器50对应的外部装置(本例中为mfp1)的id对应起来保存。智能扬声器50和外部装置既可以一对一连接，也可以将智能扬声器50和多个外部装置连接。也就是说，与设备id相关联的外部设备的种类和台数不受限制。另外，关于外部装置和智能扬声器50的关联方法，也不限于上述方法。也就是说，也可以将用户账号或用户id等用户特定的信息和外部装置连接起来。在这种情况下，在云100的关联用db等中存储如设备id等从智能扬声器50送往云的用于识别智能扬声器50的信息、以及用来识别用户的信息等，管理部330也可以构成为根据要识别的与设备id相关联的用户的信息，来识别外部装置。或者也可以从智能扬声器50发送用于取代设备id来指定用户的信息。另外，也可以构成为把用来识别部门或企业等组织的信息或者识别房间或建筑物等场所的信息，与外部装置关联起来，作为取代识别用户的信息，在这种情况下，可以将一台以上的智能扬声器50和一台以上的外部装置绑定。
设备信息db360是将包括mfp1在内的各外部装置的id和各自的设备信息对应起来保存的数据库。
智能扬声器50功能
图21是智能扬声器50的一例功能模块结构图。智能扬声器50的cpu21通过执行存储在rom23中的操作处理程序，具备如图21所示的取得部211、通信控制部212、反馈部213的功能。
取得部211获取通过麦克风部29(参照图3)收集的用来以语音操作的mfp1的用户的指示语音。取得部211也可以通过触摸面板27(参照图3)或物理性质开关(未图示)等取得用户的操作。通信控制部212控制与云100之间的通信。通信控制部212与云100通信，将获取部211取得的信息送往云100，或从云100获取文本数据、图像数据、语音数据等信息。另外，通信控制部212还可以在将取得部211取得的信息送往云100时，同时发送特定智能扬声器50的设备id。
反馈部213为了实现对话方式语音输入操作，向用户一方反馈例如促使补充缺少的数据输入的语音、确认输入的语音等。反馈部213还可以通过控制触摸面板27的显示器显示，用文本或图像向用户反馈。
本例中用软件来实现取得部211～反馈部213，除此之外，也可以用ic(integratedcircuit)等硬件实现其中的一部分或全部。另外，取得部211～反馈部213的各功能可以单独用操作处理程序来实现，也可以让其他程序执行一部分处理，还可以用其他程序间接执行处理。
云服务的具体功能
图22是云服务的各项功能的一例功能机构示意图。操作语音变换部310如图22所示，包括取得部311、文本变换部312、解释部313、输出部314等功能。取得部311取得从智能扬声器50发送的语音数据(由用户输入的语音数据)。取得部311还可以取得表示用户对智能扬声器50的触摸面板27和物理性开关(包括按钮等)等操作的数据。文本变换部312包括将语音数据(智能扬声器50中输入的用户的语音数据)转换为文本数据的stt(speechtotext)。解释部313根据文本变换部312变换的文本数据，解释用户指示的内容。具体而言，解释部313确认由文本变换部312变换的文本数据中所包含的单词等是否与语音助理部320提供的辞典信息相符，当符合时，转换为表示作业种类的动作和表示作业条件等变量的参数。然后，解释部313将动作及参数与识别语音数据获取源的智能扬声器50的设备id等一起，送往管理部330。输出部314包括将文本数据合成到语音数据中的tts(texttospeech)。输出部314控制通信部36(参照图4)的通信，向智能扬声器50进行文本数据、语音数据、图像数据等数据送的发送等。
虽然本例中用软件实现取得部311～输出部314，除此之外，也可以用ic(integratedcircuit)等硬件实现其中的一部分或全部。另外，取得部311～输出部314所实现的各项功能也可以通过操作语音变换程序单独实现，还可以使其他程序执行一部分处理，或者用其他程序间接执行处理。进而还可以让语音助理程序执行一部分或全部操作语音变换程序的解释部313的功能。在这种情况下，由语音助理部320执行例如文本数据中包含的单词等是否与词典信息符合的确认、符合的情况下表示用户意图的动作和表示作业条件等变量的参数的变换。解释部313只需从语音助理部320取得动作及参数即可。
语音助理部320如图22所示，包括提供部321的功能。提供部321管理预先定义了文本数据和动作以及参数关系的辞典信息，并向操作语音变换部310提供辞典信息。另外，语音助理部320可以从操作语音变换部310接受文本数据，从该文本数据解释用户的操作指示。例如，语音助理部320从解释部313取得文本数据，确认包含在文本数据中的单词等是否与辞典信息相符，在符合的情况下，将文本数据变换为动作和参数。然后，将动作和参数提供给解释部313。
虽然本例用软件实现语音助理部320(包括提供部321)，除此之外，也可以用ic(integratedcircuit)等硬件实现其中的一部分或全部。提供部321等功能可以通过语音助理程序单独实现，也可以让其他程序执行处理的一部分，或者用其他程序间接执行处理。
管理部330如图22所示，包括取得部331、解释结果变换部332、执行指示部333、设备信息取得部334、执行判断部335、通知部336、db管理部337等功能。
取得部331从解释部313取得解释结果。解释结果变换部332将用操作声变换部310变换的动作及参数等解释结果的解释为mfp1能够解释的作业的执行指令。
执行指示部333通过将作业的执行指令送往mfp1来指示作业的执行。具体而言，执行指示部333把用户用语音指示的智能扬声器50的设备id与动作以及参数一起取得。执行指示部333从关联用db350(参照图20)检索与取得的设备id相对应的mfp1，向通过检索获得的mfp1发送作业执行指令。
设备信息取得部334从各登记了的外部装置(在该例中是mfp1)取得设备信息。例如，设备信息取得部334取得表示处理能力例如能够处理的最大像素数等的信息。设备信息取得部334还根据设定，适当地取得表示设备状态的信息，包括如与mfp1之间是否确立了通信连接的连接状态、表示mfp1的电源接通/切断或休眠模式的电力状态、故障的有无和故障的种类、纸张或调色剂等消耗产品的剩余状况、用户的登录状态、表示允许登录用户使用的功能的权限信息等。
设备信息取得部334在从多个mfp1取得了处理能力等设备信息的情况下，在设备信息db360(参照图20参照)中将各设备信息分别与用来识别各外部装置的id等信息关联起来管理。
执行判断部335通过比较mfp1的处理能力和用户指定的作业(即操作语音变换部310中生成的动作及参数)，来判断是否能够在mfp1上执行用户指定的作业。当判断用户指定的作业执行可行时，向mfp1发送作业执行指令。而当判断为不能够执行时，也可以通过通知部336，把错误信息等作为应答信息，经由操作语音变换部310，反馈给智能扬声器50。
通知部336将文本数据、语音数据、图像数据等作为对用户作业执行指示的应答，送往操作语音变换部310。当执行作业的作业条件的参数不够时，通过操作语音变换部310向智能扬声器50反馈，促使用户更进一步给出参数指示。在此，作为确认缺少的参数所需要的信息，既可以发送参数信息，也可以发送文本数据、语音数据、图像数据，作为促使用户指定参数的必要信息。
db管理部337管理管理db340、关联用db350和设备信息db360。具体而言，是进行各种表格的设定以及对各种表格进行数据的登录、检索、删除、更新等。例如，db管理部337根据输入到mfp1、智能扬声器50或云服务装置60上的客户设备中的信息和指示，将智能扬声器50的设备id和mfp1的id关联起来登录到关联用db350中。关联用db350用表格数据等保存把智能扬声器50的设备id与mfp1的id关联起来的信息。
图23～图26是在语音操作系统中用户与系统对话以进行mfp操作时的一例整体动作的示意图。图23是启动时的动作流程，图24～图26是启动后对话方式动作的流程。与系统对话，进行操作时，需要对话的时域管理。关于对话的时域管理将在下文中描述。在此举例显示用户通过智能扬声器50发出用双面上下打开、装订上方2处进行两份复印的操作的指示时的动作。该例中，份数(＝2份)是必要参数，但不局限于份数，也可以将单色、彩色或纸张大小等多个参数包含在必要参数之中。
首先，智能扬声器50(操作程序)受到用户启动操作后，例如用户在智能扬声器50上用语音输入启动词(步骤s1′)。在此，用户通过发出启动语音助理程序的启动词，可以启动所要的语音助理程序。智能扬声器50(通信控制部212)向云100(操作语音变换部310)发送启动词的语音数据(步骤s2′)。
在云100中，操作语音变换部310(取得部311)从智能扬声器50取得发送数据，操作语音变换部310(文本变换部312)将语音转换为文本，也就是将语音数据转换处理成文本数据(步骤s3′)。
操作语音变换部310(解释部313)，向语音助理部320(提供部321)请求辞典信息，从语音助理部320(提供部321)取得辞典信息(步骤s4′)。
而后，操作语音变换部310(解释部313)根据取得的辞典信息进行文本解释(步骤s5′)。
然后，操作语音变换部310(解释部313)将解释结果交给管理部330(步骤s6′)。
在此，管理部330根据需要执行如检索关联用db(步骤s71)、确认连接状态(步骤s72)、确认应用程序状态(步骤s73)、取得设备信息(步骤s74)等。这些处理的前后顺序可以适当改变。而如果各个处理各自在不同的时机进行，也可以省略这里的处理。
在关联用db的检索(步骤s71)中，管理部330(db管理部337)从关联用db350检索与取得的设备id(智能扬声器50的id)相对应的mfp1(mfp1的id)。此时，如果管理部330(通知部336)在检索中没有得到与设备id相关的mfp1的id，则通过操作语音变换部310(输出部314)，把智能扬声器50未与通信对象相关联通知给用户。例如，管理部330(通知部336)生成包含"本设备没有相关联的装置"的应答信息。在此，管理部330(通知部336)也可以把设备和通信对象相关联的方法包含在应答中。步骤s71可以在取得设备id以外的其他任意的时间点进行。
连接状态确认(步骤s72)是管理部330确认通信对象(本例中为mfp1)的设备状态。例如，db管理部337通过参考设备信息db360中预先取得的设备信息来确认。或者，设备信息取得部334可以从通信对象的mfp1取得设备信息并确认该设备信息。在此，确认设备状态是指确认是否能与通信对象的mfp1进行通信以及是否能够使用mfp1。在此，在智能麦克风与与设备id绑定的mfp1(确认对象的mfp1)的连接尚未确立，或者在该mfp1正在启动等不能使用的情况下，管理部330(通知部336)通过操作语音变换部310(输出部314)通知用户。例如，管理部330(通知部336)生成包含"装置脱机"或"装置正在准备中"等应答的应答信息并发出通知。在此，管理部330(通知部336)也可以把对策方法包含在应答中。另外，设备状态的确认也可以在从操作语音变换部310(解释部313)取得动作及参数、装置id以外的其他任意时间点进行。
应用程序状态确认(步骤s73)是管理部330确认通信对象的mfp1中执行用户指定功能的应用程序的状态。例如db管理部337通过参考设备信息db360中预先取得的设备信息来确认。或者，也可以由设备信息取得部334从通信对象的mfp1取得设备信息并确认。在此，应用程序状态确认是指，例如确认是否安装了应用程序、应用程序是否处于可执行状态。然后，当被指定执行的功能是复印的情况下，如果关于复印的应用程序没有安装在与设备id相关联的mfp1中，或者在应用程序正在启动等情况下不能使用，则管理部330(通知部336)通过操作语音变换部310(输出部314)通知用户。例如，管理部330(通知部336)生成应答信息，该应答信息包含"没有安装应用程序"或"应用程序目前不能使用"，并通知该应答信息。在此，管理部330(通知部336)也可以把对策方法包含在应答中。另外，应用程序状态的确认也可以在从操作语音变换部310(解释部313)取得动作、参数以及装置id以外的其他任意时间点进行。
设备信息取得(步骤s74)是管理部330取得通信对象(本例中为mfp1)的设备信息。例如db管理部337取得设备信息db360中预先取得的设备信息。或者也可以是设备信息取得部334从通信对象的mfp1获取设备信息。在此取得的设备状态例如在判断通信对象的mfp1中用户指定的作业种类以及作业条件是否能够执行时被利用。
这些处理在启动后的任意时序完毕后，管理部330(执行判断部335)进行是否缺少必要参数的判断(步骤s75)。管理部330(执行判断部335)在缺少必要参数的判断中，根据解释结果的动作和参数，判断作业执行所必要的条件是否全部备齐。
另外，在指示语音助理程序启动时指定了所有作业种类和必要设定条件的情况下，可以省略此后表示的"输入反馈"的步骤，并指示mfp1执行。
在这个阶段，由于只是用语音指示启动，除此之外，用户尚未受理mfp1所具有的多个动作和参数的指定，因此管理部330(执行判断部335)判断缺少必要参数。在指示启动语音助理程序时如果存在必要条件的指示遗漏，也判断为缺少必要参数。因此，管理部330(通知部336)制作应答信息，通过操作语音变换部310(输出部314)向智能扬声器50发送应答信息(步骤s76，步骤s77)。
管理部330(db管理部337)用管理db340管理与该智能扬声器50的通信会话。管理部330(通知部336)在向智能扬声器50发送应答信息时，可以发送表示时域正在持续的状态信息。在此得状态信息是表示时域持续的信息。在之后的步骤中省略了说明，但在云100向智能扬声器50询问的情况下，包含状态信息发送给智能扬声器50。
应答信息可以包括对用户的询问内容的文本数据、语音数据以及图像数据。在此，作为一个例子，发送"复印吗？扫描吗？"的语音数据。由此，智能扬声器50(反馈部213)用语音"复印吗？扫描吗？"进行反馈(步骤s78)。
如果是促使用户输入作业的种类或作业的设定条件的信息，反馈的内容并不局限于此。而且，对于用户的反馈不仅可以通过语音输出，还可以通过在触摸面板上显示文本或图像来实现。此时，将文本数据和图像数据(显示信息)等送往智能扬声器50。
步骤s78之后，用户发出"复印"语音时(在语音助理程序的启动指示时发出"复印"语音的情况也一样)，执行如下处理。用户发出的语音通过智能扬声器50(取得部211)作为语音数据取得(步骤s1-1)。智能扬声器50(通信控制部212)将该"复印"的语音数据送往云100(步骤s2-1)。此时，智能扬声器50(通信控制部212)将识别智能扬声器50的设备id发送到云100。
在云100中，操作语音变换部310(取得部311)取得该语音数据，之后与步骤s3′～步骤s5′一样，在操作语音变换部310中进行到文本解释为止的处理(步骤s3-1～步骤s5-1)，解释结果被传给管理部330(步骤s6-1)。在此，把对应"复印"的"copy_execute"的动作作为解释结果来转交。
然后，管理部330(执行判断部335)重新进行缺少必要参数的判断(步骤s75-1)。本例中用户只说"复印"，作为必要参数的复印份数等设定值不清楚。
为此，云100会查询智能扬声器50缺少的参数。具体而言，在此阶段，由于缺少设定值，所以管理部330(通知部336)生成包含"前一次设定为复印时请讲"用前一次设定""在内的应答信息，并通过操作语音变换部310(输出部314)，将"前一次设定为复印时请讲"用前一次设定""的语音数据送往智能扬声器50(步骤s75-1～步骤s77-1)。然后，智能扬声器50(反馈部213)进行"请输入设定值"的语音输出(步骤s78-1)。在这种情况下，除了语音输出以外，也可以在触摸面板27中显示"前一次设定为复印时请讲"用刚才的设定""。的文本显示等。另外，反馈的文本并不局限于此，也可以是"请输入设定值"等。
然后，因为有缺少输入反馈，所以用户例如发出"用刚才的设定"语音。用户发出的语音被作为语音数据由智能扬声器50(取得部211)取得(步骤s1-2)。智能扬声器50(通信控制部212)将"用刚才的设定"的语音数据送往云100(步骤s2-2)。此时，智能扬声器50(通信控制部212)将特定智能扬声器50的设备id送往云100。
在云100中，操作语音变换部310(取得部311)取得该语音数据，之后与步骤s3′～步骤s5′一样，在操作语音变换部310中执行到文本解释为止的处理(步骤s3-2～步骤s5-2)，把解释结果交给管理部330(步骤s6-2)。
在此，操作语音变换部310(解释部313)把"参数：用刚才的设定"的参数生成为解释结果，并将该解释结果交给管理部330。另外，操作语音变换部310可以根据履历信息，设定"参数：色彩＝单色、打印面＝双面、份数＝2份"之类的参数，将该参数的解释结果交给管理部330。
具体而言，管理部330(db管理部337)综合前一次语音的解释结果与本次语音的解释结果，完成动作及参数。也就是说，本例中完成了"copy_execute"的动作以及"参数：用刚才的设定"的参数。管理部330(执行判断部335)根据该综合解释结果重新进行缺少必要参数的判断。本例中，用户发出"用刚才的设定"语音，因而解消了复印作业缺少必要参数。在此，管理部33也0可以根据履历信息，设定类似"参数：色彩＝单色，打印面＝双面，份数＝2份"等参数。
本例中，管理部330(通知部336)为了进行输入确认反馈，生成"单色、2份、双面复印"的应答信息，通过操作语音变换部310(输出部314)，将"单色、2份、双面复印"的语音数据送往智能扬声器50(步骤s75-3～步骤s77-3)。然后，智能扬声器50(反馈部213)进行"单色、2份、双面复印，对吗？"的语音输出(步骤s78-3)。在这种情况下，除语音输出外，还可以在触摸面板27中进行"单色、2份、双面复印，对吗？"的文本显示等。在此，可以根据包含在应答信息中的信息来组合存储在智能扬声器50的存储部中的文本数据，生成输出信息，以取代输出包含在应答信息中的文本数据和语音数据。
此后，用户针对该输入确认反馈，向终端发出设定值更改或复印开始的语音。当用户说出变更设定值的内容时，智能扬声器50将对于该发声的设定值的更改的语音数据送往云100，在云100中进行设定值更改，并用语音将进行了设定值的更改反馈到智能扬声器50。语音反馈是例如以"用某某设定复印，对吗？"等，进行是否用经过改变的设定值开始复印的确认。
之后，当用户发出更改设定值内容的语音时，也重复该手续。因此，在发出"单色、2份、双面复印。对吗？"的语音输出后，处理的反复次数为用户发出设定值变更内容语音的次数(k次)。
当用户回答"对"之类，指示复印的开始时，执行图26所示的第n步骤。也就是说，用户发出的语音通过智能扬声器50(取得部211)被作为语音数据取得(步骤s1-n)。智能扬声器50(通信控制部212)将该"对"的语音数据送往云100(步骤s2-n)。此时，智能扬声器50(通信控制部212)将用来识别智能扬声器50的设备id送到云100。
在云100中，操作语音变换部310(取得部311)取得该语音数据，之后与步骤s3′～步骤s5′一样，在操作语音变换部310中进行到文本解释为止的处理(步骤s3-n～步骤s5n)，解释结果被交给管理部330(步骤s6-n)。
在此，操作语音变换部310(解释部313)认知复印开始指示后，将该解释结果交给管理部330，管理部330(执行判断部335)判断最终确认ok(步骤s75-n)。
由此，管理部330(解释结果变换部332)将解释结果变换为mfp1的作业指令(步骤s76)。然后管理部330(执行指示部333)将经过变换处理的执行指示信息送往mfp1(步骤s8)。据此便能够通过语音输入操作控制mfp1复印。
图27是智能扬声器50显示部上显示的画面的正面图。如图27所示，显示在智能扬声器50的显示部上的画面与显示在图13所示的便携式终端装置2上的画面相同。
本实施方式中对于智能扬声器50的发出的语音以及反馈的处理与第一实施方式中所显示的处理相同。简而言之，智能扬声器50输出用户发出的语音的内容以及从云服务装置60(操作语音便换程序)收到的应答信息。应答信息是包含文本数据、语音数据、图像数据中的至少一种数据的信息。
图27中，从智能扬声器50的触摸面板27的画面右侧吹出显示的评语，是表示用户对只能扬声器50发出的语音的内容，智能能扬声器50的触摸面板27的画面左侧吹出显示的评语，是表示从云服务器装置60针对用户发出的语音用语音反馈的内容。即，智能能扬声器50在收到云服务装置60的反馈信息的情况下，在用语音输出反馈给用户的同时，还可以通过画面显示来进行反馈。不过也可以省略语音输出的反馈。
在此，用图23～图26进行说明时，"要复印吗？扫描吗？"的评语，与步骤s78的语音反馈一起，显示在智能扬声器50的触摸面板27的画面上。
智能扬声器50的操作语音处理程序可以根据来自云服务装置60的应答信息生成要显示的文本，或者显示预先存储在智能扬声器50的rom23等中的文本数据。可以直接显示包含在应答信息中的文本数据和语音数据。
智能扬声器50的操作语音处理程序可以把云服务装置60(操作音转换程序)从语音数据转换为文本数据的数据作为应答信息，接收"复印"的评语，显示到显示智能扬声器50的触摸面板27的画面上。
云服务装置60(操作语音变换程序)可以在任意的时机发送响应信息。例如，云服务装置60(操作语音变换程序)在转换为文本数据的时间点上生成"复印"的应答信息，并发送给智能扬声器50(此时只显示"复印")。
云服务装置60(管理程序)还可以在生成"如果用前一次设定复印，请说"用刚才的设定""的应答信息的时间点，还生成"复印"的应答信息，通过操作语音变换程序发送到智能扬声器50(此时，"复印"和"如果用前一次设定复印，请说"用刚才的设定""几乎同时显示在智能扬声器50的触摸面板27上)。
操作语音变换程序在对于管理程序将"copy_execute"的意图作为解释程序发送时，也可以为了生成"复印"的应答信息而发送必要的信息。
应答信息也可以由操作语音变换程序制作，在管理程序通过操作语音变换程序向智能扬声器5发送"如果用前一次设定复印，请说"用刚才的设定"。"的响应信息之际，将"复印"的应答信息一起送往智能扬声器50。
智能扬声器50的操作语音处理程序将"如果用前一次设定复印，请说"用刚才的设定"。"的评语，与图24的步骤s78-1的语音反馈一起，显示在智能扬声器50的触摸面板27的画面上。即，根据从云服务装置60(管理程序)收到的应答信息，显示评语。
智能扬声器50的操作语音处理程序可以接收由云服务装置60(操作语音变换程序)将语音数据转换为文本数据的数据，将"用刚才的设定"显示在画面上。显示方法与"复印"的情况是一样的。
智能扬声器50的操作音声处理程序将"单色、2份、双面复印。对吗？"的评语与图14的步骤s27的语音反馈一起显示智能扬声器50的触摸面板27的画面上。即，基于从云服务装置60(管理程序)送往应答信息来显示评语。
如上所述，智能扬声器50根据预先存储在智能扬声器50中的文本数据、从云服务装置60收到的文本数据或应答信息，在智能扬声器50的触摸面板27的画面上显示评语。
在此说明把第一实施方式中说明了的具体例子适用到本实施方式。
对智能扬声器50发出"用刚才的设定"语音，云服务装置60反映了过去执行的作业设定。此时，云服务装置60可以通过参考履历信息，反映最近执行的一个作业设定。而在规定的期间内执行了2次以上作业的情况下，云服务装置60也可以促使用户给出反映反映哪一个作业条件的指示。
在云服务装置60中存储履历信息的情况下，对智能扬声器50发出"用刚才的设定复印"语音后，操作语音变换程序解释文本，根据"复印"的文本把作业的种类解释为复印，并把"用刚才的设定"的文本解释为基于履历信息设定作业条件。由此，云服务装置60从云服务装置60内的hdd34等存储部或可访问外部服务器的存储部获取履历信息。
履历信息可以按照每个智能扬声器50的设备id来保存。在这种情况下，智能扬声器50可以把例如用来识别智能扬声器50的设备id送往云服务装置60。因此，操作语音变换程序可以识别智能扬声器50，读取与该智能扬声器50相关联的履历信息。
操作语音变换程序可以从履历信息中读取最近的履历，也可以读取规定期间内执行的多个履历。
在读取最近的一个履历的情况下，操作语音变换程序将"意图：copy_execute"参数：读取的作业条件"作为解释结果，送往管理程序。
而在读取多个履历的情况下，操作语音变换程序向智能扬声器50询问采用哪一个履历。例如，在应答信息中包含履历1和履历2的信息，送往智能扬声器50。在此，"履历1"和"履历2"分别表示各自单独执行的作业执行履历。履历1的信息和履历2的信息包含履历执行的日期、作业条件等。送往智能扬声器50的履历可以是两个以上。
智能扬声器50可以在智能扬声器50的触摸面板27的屏幕上显示评语，促使用户选择在某个作业条件下执行。用户可以用触摸操作选择的评语，或用语音指定来进行选择。智能扬声器50向操作语音变换程序发送表示选择了哪一个履历记录的信息。
智能扬声器50可以用语音反馈，也可以用语音接受用户的指示。此时，操作语音变换程序通过解释语音数据来判断选择了哪一个履历记录。
以上描述了发出"用刚才的设定"语音的情况，但也可以指定日期时间，如"用1小时前的设定"、"用昨天的设定"等。此时，操作语音变换程序根据包含在文本数据中指定"1小时前"、"昨天"等日期时间的文本中解释指定日期和时间。然后，云服务装置60以指定时间为关键词，检索履历信息，提取与指定日期条件一致的履历。
在存在多个履历的情况下，如上所述，向智能扬声器50发送解释结果，可以促使选择在哪一个作业条件下执行作业。
如上所述，根据本实施方式，当用户使用智能扬声器50时，如果存在前一次打印的设定，则可以将该设定显示在智能扬声器50的触摸面板27的画面上。用户看了设定，发出"用刚才的条件"的语音来采用前一次设定，从而可以用一句话来按照前一次设定实施打印，所以能够用很少的对话数量来直观地进行作业指示。
在本实施方式中当用前一次设定复印时，如果发出"用刚才的设定"等特定关键词，云服务装置60就会采用最近的作业条件，但是，并不受此限制。
也可以例如，对智能扬声器50发出"常用的设定"或者"会议用"等特定关键词，云服务装置60便采用预先登录的作业条件(以下称登录条件)。
在云服务装置60中存储登录条件的情况下，如果发出"用常用的设定复印"语音，则云服务装置60的操作语音变换程序解释文本，把"复印"的文本解释为作业种类是复印，把"常用的设定"的文本解释为根据登录条件设定作业条件。据此，云服务装置60的操作语音变换程序从云服务装置60内的hdd34等存储部、或者可访问的外部服务器的存储部取得登录条件。
另外，登录条件可以按照每个智能扬声器50的设备id存储。由此，操作语音变换程序能够读取与设备id相关联的登录条件。(在指定了"会议用"等特定关键词的情况下，检索与该关键词相对应的登录条件)。
在读取登录条件时，操作语音变换程序发送作为解释结果的"动作：copy_execute"、"参数：读取的作业条件"。
登录条件可以预先存储在云服务装置60的存储部。另外，还可以将"会议用"等关键词与登录条件关联起来登录。例如，可以从客户机计算机访问云服务装置60，设定登录条件。
进而可以把过去执行的作业条件或者正在执行的作业条件作为登录条件登录。在这种情况下，例如通过触摸智能扬声器50的触摸面板27的画面上显示的评语，显示是否作为登录条件存储的画面，通过操作该画面，可以指示是否将对应评语的作业条件(即意图及参数)存储到云服务装置60中。换言之，智能扬声器50向操作语音变换程序发送指示，要求登录正在设定的作业条件或者最近的作业条件。此时，可以将"会议用"等关键词作为语音数据或文本数据一起发送，操作语音变换程序在从智能扬声器50收到关键词后，把作业条件与该关键词绑定后登录。另外，也可以从智能扬声器50发送需要登录的作业条件。
另外，还可以通过发出"登录设定值"语音来进行登录。在这种情况下，操作语音变换程序解释文本，判断要执行目前正在设定的作业条件或最近的作业条件的登录处理。
而当发出"作为会议用登录设定值"语音时，也就是在语音中含有关键词的情况下，将作业条件与该关键词关联起来登录。
最后，上述各种实施方式均是被当作一个例子提出的，其无意限制本发明的范围。新的实施方式可以用其他各种方式来实施，只要在不脱离发明宗旨的范围内，允许进行各种省略、置换、更改。
诸如上述各种实施方式以及各种实施方式的变形，不仅包含在发明的范围和宗旨之中，而且也包含在专利请求范围所记载的发明以及与发明均等的范围以内。
上述实施方式中列举了将本发明的图像形成装置适用于至少具有复印功能、打印机功能、扫描功能以及传真功能之中两种功能的复合机的例子，但复印机、打印机、扫描装置、传真机等图像形成装置也同样可以适用本发明。
1.一种信息处理系统，其中包括信息处理装置和外部装置，其特征在于，具备，
取得部，用于取得用来操作所述外部装置的语音信息；
语音识别部，用于识别所述语音信息；
报知部，用于在所述信息处理装置的画面上报知操作信息，该操作信息基于所述语音识别部识别所述语音信息的识别结果；以及，
输出部，用于向所述外部装置输出所述操作信息，
当所述语音信息的识别结果为特定关键词时，所述报知部在所述信息处理装置的画面上报知预定的规定操作信息。
2.根据权利要求1所述的信息处理系统，其特征在于，所述报知部报知的所述规定操作信息是过去输出到所述外部装置的操作信息。
3.根据权利要求1所述的信息处理系统，其特征在于，所述报知部报知的所述规定操作信息是过去登录了的设定信息。
4.一种用于信息处理系统的信息处理方法，该信息处理系统包括信息处理装置和外部装置，所述信息处理方法包括以下步骤，
取得步骤，取得用来操作所述外部装置的语音信息；
语音识别步骤，识别所述语音信息；
报知步骤，在所述信息处理装置的画面上报知操作信息，该操作信息基于所述语音识别部识别所述语音信息的识别结果；以及，
输出步骤，向所述外部装置输出所述操作信息，
当所述语音信息的识别结果为特定关键词时，在所述报知步骤中，在所述信息处理装置的画面上报知预定的规定操作信息。
5.根据权利要求4所述的信息处理方法，其特征在于，在所述报知步骤中报知的所述规定操作信息是过去输出到所述外部装置的操作信息。
6.根据权利要求4所述的信息处理方法，其特征在于，在所述报知步骤中报知的所述规定操作信息是过去登录了的设定信息。
7.一种计算机装置，其用来控制信息处理装置，该计算机装置的特征在于具备处理器和存储了程序的存储器，所述计算机装置通过所述处理器执行所述程序，实现以下功能部的功能，
取得部，用于取得用来操作所述外部装置的语音信息；
语音识别部，用于识别所述语音信息；
报知部，用于在所述信息处理装置的画面上报知操作信息，该操作信息基于所述语音识别部识别所述语音信息的识别结果；以及，
输出部，用于向所述外部装置输出所述操作信息，
当所述语音信息的识别结果为特定关键词时，所述报知部在所述信息处理装置的画面上报知预定的规定操作信息。
8.根据权利要求7所述的计算机装置，其特征在于，所述报知部报知的所述规定操作信息是过去输出到所述外部装置的操作信息。
9.根据权利要求7所述的计算机装置，其特征在于，所述报知部报知的所述规定操作信息是过去登录了的设定信息。
10.一种计算机可读的存储介质，其中保存可供计算机控制信息处理装置的程序，所述存储介质的特征在于，所述程序通过所述计算机装置所具有的处理器执行所述程序，实现以下功能部的功能，
取得部，用于取得用来操作所述外部装置的语音信息；
语音识别部，用于识别所述语音信息；
报知部，用于在所述信息处理装置的画面上报知操作信息，该操作信息基于所述语音识别部识别所述语音信息的识别结果；以及，
输出部，用于向所述外部装置输出所述操作信息，
当所述语音信息的识别结果为特定关键词时，所述报知部在所述信息处理装置的画面上报知预定的规定操作信息。
11.根据权利要求10所述的存储介质，其特征在于，所述报知部报知的所述规定操作信息是过去输出到所述外部装置的操作信息。
12.根据权利要求10所述的存储介质，其特征在于，所述报知部报知的所述规定操作信息是过去登录了的设定信息。
技术总结