本公开涉及信息处理装置、信息处理方法、程序以及信息处理系统。特别地,本公开涉及使得执行对生物特征(biometric)信息的重复的长期测量并因此执行长期反馈从而促使用户强化特定动作而不引起用户的意识的信息处理装置、信息处理方法、程序以及信息处理系统。
背景技术:
公开了检测用户的生物特征信息并基于检测到的结果估计用户的情绪的技术。
在一个示例中,公开了基于能够将情绪映射到愉快/不愉快和激活/去激活这两个轴的罗素的环状模型(russell’scircumplexmodel)来估计情绪的技术(参见非专利文献1)。
此外,公开了以下技术:在统合外感受性的感觉信息(躯体神经系统)和内感受性的感觉信息(自主神经系统)并将通过将它们与过去的经验或记忆进行比较而产生的情感反应从低阶到高阶分类为情感、情绪和感性这三层的情况下,通过将“情绪”设置为如罗素的环状模型中所定义并且将“感性”设置为如通过将时间轴信息添加到罗素的环状模型中所定义来检测情绪和感性。在这个文献中,在环状模型的两个轴中,愉快/不愉快的情绪使用α波(参见专利文献1)。
此外,还公开了使用简单的单极型脑电图仪执行频率分析并且估计偏好信息的技术(参见专利文献2)。
此外,还公开了通过应用罗素的环状模型来执行包括脑电图以外的生物特征信息的信息的映射并估计个体特点的技术(参见专利文献3)。
此外,公开了使用通过应用上面提到的技术而获得的情绪的技术。
在一个示例中,公开了使用配备有头戴式显示器的脑电图仪来测量脑电图并且执行区引导(zoneguidance)来实现神经反馈的技术(参见专利文献4)。
此外,公开了基于包括脑电图的生物特征信息或其他各种信息来改变所显示的角色(character)的状态并且表达诸如人的运动状态、健康状态和情绪这样的状况的技术(参见专利文献5)。
此外,公开了基于用户的动作历史来改变角色的显示状态的技术(参见专利文献6)。
此外,公开了基于脑电图估计情绪的类型和强度并且将其与相机捕获的图像相关联地记录从而指定用户的关于成像对象的情绪并将其用于营销等的技术(参见专利文献7)。
此外,公开了根据包括脑电图的生物特征信息来控制诸如语音的内容的回放的技术(参见专利文献8)。
引文列表
非专利文献
非专利文献1:acircumplexmodelofaffect(russell1980)
专利文献
专利文献1:日本专利申请公开号2017-074356
专利文献2:日本专利申请公开号2010-131328
专利文献3:日本专利申请公开号2013-046691
专利文献4:日本专利申请公开号2014-217704
专利文献5:日本专利号4506795
专利文献6:日本专利号6102939
专利文献7:日本专利申请公开号2015-229040
专利文献8:日本专利申请公开号2005-056205
技术实现要素:
本发明要解决的问题
然而,上面提到的促使用户强化特定动作(神经反馈)的技术必然使用户有意识地选择使用用于促使特定动作的强化的系统,因此能够仅当用户自动意识到有必要强化特定动作时才促使用户强化特定动作。
另外,呈现角色的技术仅执行角色的呈现,因此有必要促使用户执行诸如脑电图的生物特征信息的测量,这使用户测量生物特征信息,因此负担在用户身上。
此外,在检测上述生物特征信息时,在一个示例中,在测量脑电图作为生物特征信息的情况下,实际上难以将用户置于用户自然地想要执行脑电图测量的状况或者在脑电图测量期间将用户置于特定的状况或情绪状态。
此外,上面提到的技术可能能够对情绪测量结果提供短期反馈,但是没有被教导使用通过重复长期情绪测量获得的结果的长期反馈。
鉴于这样的状况做出本公开,并且特别地,意图通过对生物特征信息的重复长期测量并且因此通过长期反馈来促使用户强化特定动作而不引起用户的意识。
问题的解决方案
根据本公开的一方面,提供了一种包括信息处理单元的信息处理装置,所述信息处理单元被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身(avatar)的特点改变为其他特点并呈现特点。
信息处理单元可以呈现用于促使强化对象行为的信息,并且信息处理装置还可以包括被配置为在基于执行强化对象行为的定时的预定定时检测脑电图的脑电图检测单元。
脑电图检测单元在执行强化对象行为的定时、在从执行强化对象行为的定时的预定时间之前的定时到执行强化对象行为的定时的预定时间之后的定时之间的时段期间、或者在从执行强化对象行为的定时之前的预定时间的定时开始的预定时段期间检测脑电图。
化身可以是用于使用户识别情绪估计结果的表示的形式。
特点可以是化身的外观、文本格式的显示内容、语音、振动、气味、触觉、味觉以及使用机器人的情况下的移动或姿势。
强化对象行为可以是摄影。
还可以包括被配置为控制在摄影中捕获的照片的成像的成像控制单元以及被配置为使照片和化身被显示的显示控制单元。
信息处理单元可以将用于促使强化对象行为的信息呈现为课题(task)。
还可以包括情绪估计单元,该情绪估计单元被配置为分析检测到的脑电图,确定指示多个元素情绪(elementalemotion)中的每个元素情绪的强度或比率的得分,并且输出该得分作为情绪估计结果。
信息处理单元可以在每次输出情绪估计结果时基于针对多个元素情绪中的每个元素情绪的得分来指定预定情绪,并且针对多个元素情绪中的每个元素情绪将预定情绪的指定的次数存储在长期变化表中。
信息处理单元可以基于针对每种情绪的预定情绪的指定的次数来改变并呈现化身的形式,该次数存储在长期变化表中。
预定情绪可以是在多个元素情绪中具有最高强度或比率的主导情绪,并且信息处理单元可以根据具有大于预定次数的主导情绪的指定的次数的情绪来改变和呈现化身的特点,该次数存储在长期变化表中。
强化对象行为可以是摄影,并且信息处理单元可以将通过摄影捕获的图像与关于化身的特点的信息相关联地存储为历史。
信息处理单元还可以与通过摄影捕获的图像相关联地记录与基于情绪估计结果的情绪相关的信息。
信息处理单元可以使显示单元显示指示化身的特点的变化的历史的历史图像。
信息处理单元可以使显示单元显示用于基于多次获得的情绪估计结果来预测化身的特点的变化的预测图像。
根据本公开的一方面,提供了一种信息处理方法,该信息处理方法包括基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点的信息处理。
根据本公开的一方面,提供了一种程序,该程序使计算机用作信息处理单元,该信息处理单元被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点。
根据本公开的一方面,提供了一种信息处理系统,该信息处理系统包括脑电图仪和信息处理装置,其中脑电图仪包括被配置为响应于用户的强化对象行为来检测脑电图的脑电图检测单元,并且信息处理装置包括信息处理单元,该信息处理单元被配置为基于根据检测到的脑电图估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点。
在本公开的一方面,由先前情绪估计结果确定的化身的特点基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果改变为其他特点并呈现。
发明的效果
根据本公开的实施例,能够基于长期重复测量的用户的特定状况或情绪状态下的生物特征信息的测量结果来促使用户强化特定动作并且执行一系列处理而不引起用户的意识。
附图说明
图1是图示本公开的信息处理系统的外观配置示例的图。
图2是图示图1中的脑电图仪的外观配置示例的图。
图3是图示用于实现图1中的信息处理系统的功能的示例性配置的图。
图4是图示呈现任务的显示示例的图。
图5是示为描述检测脑电图的定时的图。
图6是示为描述exif格式的图。
图7是示为描述用于存储脑电图检测结果和情绪估计结果的emotion_information的数据配置的图。
图8是示为描述config_info的数据配置的图。
图9是示为描述brainwave_raw_n的数据配置的图。
图10是示为描述emo_info_1和emo_info_2的数据配置的图。
图11是示为描述以树状图的形式改变的化身的变化的图。
图12是示为描述短期变化表的图。
图13是示为描述长期变化表的图。
图14是示为描述长期变化表的图。
图15是示为描述呈现化身的显示示例的图。
图16是示为描述化身参数的设置示例的图。
图17是示为描述历史图像的显示示例的图。
图18是示为描述历史图像的显示示例的图。
图19是示为描述预测图像的显示示例的图。
图20是示为描述预测图像的显示示例的图。
图21是示为描述强化对象行为强化处理的流程图。
图22是示为描述管理长期变化表的处理的流程图。
图23是示为描述显示历史图像的处理的流程图。
图24是示为描述显示预测图像的处理的流程图。
图25是示为描述第一变形例的图。
图26是示为描述第二变形例的图。
图27是示为描述第三变形例的图。
图28是示为描述第四变形例的图。
图29是示为描述第五变形例的图。
图30是示为描述第六变形例中的显示示例的图。
图31是示为描述第七变形例的图。
图32是示为描述第八变形例的图。
图33是示为描述第九变形例的图。
图34是示为描述第九变形例中的显示示例的图。
图35是示为描述第十变形例的图。
图36是示为描述第十变形例的图。
图37是示为描述通用个人计算机的示例性配置的图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有实质上相同的功能和配置的部件用相同的附图标记表示,并且省略对这些结构元素的重复解释。
而且,将按以下次序给予描述。
1.本公开的信息处理系统的概述
2.本公开的信息处理系统的示例性配置
3.第一变形例
4.第二变形例
5.第三变形例
6.第四变形例
7.第五变形例
8.第六变形例
9.第七变形例
10.第八变形例
11.第九变形例
12.第十变形例
13.由软件执行的示例
<<1.本公开的信息处理系统的概述>>
描述本公开的信息处理系统的概述,然后描述信息处理系统。
根据本公开的信息处理装置意图使得长期执行用户的特定状况或情绪状态下的生物特征信息的重复长期测量、使得基于测量结果长期促使用户强化特定动作,并且使得实现一系列处理而不引起用户的意识。
更具体地,根据本公开的信息处理装置测量特定行为时的生物特征信息(特别是脑电图),将与通过分析测量结果而获得的用户行为或生物特征信息对应的形式呈现为化身的表示,并对所呈现的化身的变化给予激励,从而促使用户强化动作(神经反馈)。
换句话说,根据本公开的信息处理装置不直接反馈特定行为时的脑电图或其他生物特征信息的检测结果,而是将与通过分析测量结果而获得的用户情绪的估计结果对应的形式表达为化身并给予改变的化身的重复长期呈现,从而实现长期反馈。
化身是使用户客观地识别基于用户的生物特征信息的情绪估计结果的角色,并且该角色在一个示例中显示在诸如显示器的显示装置上。换句话说,用户能够通过看化身来识别用户的情绪估计结果。然而,化身能够是改变其外观的除角色以外的其他事物,只要能够将与情绪估计结果对应的用户的状态表达为可由用户识别即可。其示例包括可显示的文本格式、语音、振动、气味、触觉、味觉以及根据情绪估计结果改变其移动和姿势的有形机器人等。
另外,在一个示例中,化身通过基于情绪估计结果使外形为圆形或方形来改变外观特点。此外,化身还能够基于情绪估计结果来改变其外观以外的特点,诸如与说出暴力或友善措辞的用户的对话的内容(例如对话算法)。
因此,化身的特点包括化身的外观(外形)、表达化身的文本格式的显示内容、语音、振动、气味、触觉、味觉、使用机器人时的移动和姿势等。换句话说,化身不仅能够基于情绪估计结果来改变外观特点,而且能够基于情绪估计结果来改变除外观以外的其他特点。
换句话说,化身是用于使得用户识别情绪估计结果并且用于使得用户通过基于情绪估计结果改变其外观和/或除外观以外的那些来自己识别用户的情绪估计结果的表达的形式。
这样的配置使得将用户的意图从“特定行为的强化”替换为“化身的变化”,并且促使用户强化特定行为而不引起用户对“特定行为的强化”的意识。
因此,能够不引起用户对“特定行为的强化”的意识而实现用户的行为的强化。具体地,能够将与感性相关联的行为(诸如摄影)的强化不仅实现为行为的短期强化,而且实现为行为的长期强化。
在本说明书中,“强化行为”或“行为强化”是指给予用户诸如想要执行特定行为或将外观改变为特定状态的动机。
更具体地,在特定行为是“学习”的情况下,用户想要学习(即,增加用户学习的意愿)的行为是行为强化,即,强化行为。
另外,在一个示例中,特定行为包括将外观改变为特定状态,诸如“成为英雄”。因此,在将外观改变为特定状态意味着“成为英雄”的情况下,成为英雄的意愿的增加是行为强化,即,强化行为。
此外,不仅如上所述的积极行为,而且消极行为也能够作为要强化的对象,并且其示例包括“不要过度睡眠”的行为或者“不要吃太多”的行为。
而且,要成为行为强化的对象的特定行为在下文中也称为强化对象行为。换句话说,在上面提到的示例中,“学习”或“成为英雄”的特定行为是能够作为要强化的对象的行为,并且在成为对象的情况下,它们中的任一个都能够是强化对象行为。
另外,根据本公开的信息处理装置通过指示用户通过作为使用游戏的活动的游戏化(gamification)来执行预定的行为,使得能够促使对用户进行脑电图测量的具体方法而不引起用户的意识。
更具体地,在一个示例中,根据本公开的信息处理装置通过呈现诸如“请向a走”的“与行走动作相关联的课题”来对用户促使“行走状态”,然后测量脑电图,从而不引起用户的意识而获取处于“行走状态”的用户的脑电图。换句话说,虽然用户能够意识到促使了行走状态,但是用户并没有意识到测量行走状态下的脑电图,因此能够实现行走状态下的脑电图测量而不引起用户的意识。
此外,根据本公开的信息处理装置呈现诸如“请对令人惊讶的事物进行摄影”这样的“对令人惊讶的事物进行摄影”,并对用户促使“惊讶状态”,然后测量脑电图,从而获取用户处于“惊讶状态”的脑电图。换句话说,虽然用户能够意识到促使了“对令人惊讶的事物进行摄影”,但是用户并没有意识到测量惊讶状态下的脑电图,从而可以实现惊讶状态下的脑电图测量而不引起用户的意识。此外,根据本公开的信息处理装置在一个示例中还能够通过提供诸如“请伸展你的背部”这样的促使“校正姿势的动作”的呈现来防止在测量生物特征信息时发生噪声。
此外,根据本公开的信息处理装置能够通过基于脑电图(生物特征信息)执行“化身状态的变化”来客观化和量化化身的表达。
另外,化身基于不能被用户有意识地改变的生物特征信息而改变,因此能够实现不能被用户的意图随意改变的化身。
此外,化身基于脑电图(生物特征信息)而改变,因此在一个示例中,在将用户的状态呈现并表达为化身的情况下,与根据用户主观写下的信息(诸如调查问卷)所呈现的化身相比,根据基于生物特征信息的客观测量结果所呈现的化身能够关于用户的状态使用化身向用户呈现高度准确的状态。此外,能够使用不能被用户控制的诸如生物特征信息的信息来呈现化身并且定量地改变该化身,因此能够给予用户满意感。因此,能够实现让用户不那么无聊的化身。
此外,化身基于反映了用户特点的脑电图的检测结果而改变,因此能够实现反映用户特点的人工智能(ai)对话算法。
此外,化身能够表达用户的“特定情绪”,因此化身的使用使得能够对用户可视化用户的心理状态,特别是时间的、地理的和社交图的变化。
此外,化身基于客观测量值而不是用户表达的主观测量值,因此能够使用用户注意不到的“无意识”信息或者使用接近“真实意图”的信息或表达来实现间接交流。
此外,使用化身的呈现使得与现在的自己、过去的自己以及其他人共享感觉。此外,这使得能够通过对“特定情绪”执行正反馈来强化和诱导用户的强化对象行为。而且,单个用户能够具有多个化身,并且在一个示例中,用户能够根据tpo适当地使用它们。
<<2.本公开的信息处理系统的示例性配置>>
现在参考图1描述根据本公开的信息处理系统的示例性配置。
图1中的信息处理系统通过向用户呈现任务(quest)(像诸如角色扮演游戏(rpg)的游戏)来对用户给予各种课题,获取在完成针对任务的课题时获得的脑电图和其他类型的生物特征信息,对它们进行分析,根据分析结果改变化身并对其进行呈现,其中长期执行这些处理步骤。
图1的信息处理系统通过重复用于促使这样的强化对象行为的课题的呈现和根据课题完成时的生物特征信息而改变的化身的呈现,使用户基于长期生物特征信息无意识地强化强化对象行为。
而且,在本说明书中,任务是给予用户的课题,并且在强化对象行为是摄影的情况下,在一个示例中,给予“请对令人兴奋的图像进行摄影”或“请在行走时摄影”的课题。
更具体地,信息处理系统对用户给予各种任务,获取用户执行该任务时的用户的脑电图和生物特征信息,对所获取的脑电图和生物特征信息进行分析,并且改变并呈现与用户相关联的化身使得分析结果得到反映。
在这种情况下,通过执行作为任务呈现的课题,基于用户的摄影操作时的生物特征信息的分析结果而改变和呈现化身。
因此,通过在观察呈现的化身的变化时激发用户改变化身的意愿来强化作为强化对象行为的摄影行为而不引起用户的意识。
更具体地,信息处理系统11包括脑电图仪31、生物特征传感器32、物理传感器33、信息处理装置41、显示装置(例如智能电话)42以及服务器43。
信息处理装置41是配备有所谓的成像功能的处理信息的装置,生成促使强化对象行为的任务并在显示装置42上显示该任务以进行呈现。
在这种情况下,信息处理装置41控制脑电图仪31和生物特征传感器32,并且当用户21执行通过任务呈现的课题时,获取在执行课题并摄影时的用户21的脑电图和其他生物特征信息。此外,信息处理装置41将所获取的脑电图和其他生物特征信息供应给服务器43以进行分析,并获取分析结果。然后,信息处理装置41基于分析结果使显示装置42呈现化身并且对其进行改变。信息处理装置41长期重复这一系列处理。
在一个示例中,显示装置42是智能电话。由信息处理装置41控制的显示装置42基于呈现被供应的任务或者执行呈现为任务的课题时的生物特征信息的分析结果,显示与用户21相关联的化身并对其进行改变。
在一个示例中,服务器43是存在于网络上的云服务器。服务器43分析用户21,基于从信息处理装置41供应的用户的脑电图和其他生物特征信息来估计情绪,并且将作为分析结果的情绪估计结果供应给信息处理装置41。
在一个示例中,通过分析脑电图或生物特征信息来对能够被估计的多种情绪中的每种情绪进行评分,从而获得情绪估计结果。
在一个示例中,脑电图仪31缠绕在用户21的头部周围,如图1所示。脑电图仪31通过使用设置在主体上的电极31a至31c(图2)来测量头部中的若干部位的头皮的电位,基于测量结果检测脑电图,并将检测到的脑电图经由通信单元74(图3)发送到信息处理装置41。
在一个示例中,生物特征传感器32缠绕在图1中用户21的手臂上,测量除脑电图以外的生物特征信息,包括体温传感器、出汗率传感器、心率传感器、血流传感器等,并且将测量到的生物特征信息发送到信息处理装置41。
而且,能够使用除脑电图以外的生物特征信息来估计情绪。因此,生物特征传感器32测量除脑电图以外的生物特征信息,并且根据需要将结果发送到信息处理装置41。此外,原则上能够通过使用脑电图来实现情绪估计,因此可能不需要除脑电图以外的生物特征信息。因此,测量除脑电图以外的生物特征信息的生物特征传感器32可以不是估计情绪所必需的部件。
物理传感器33包括测量用户的运动的加速度计和测量地理位置的全球定位系统(gps)传感器,并且将作为测量到的物理信息的加速度和位置信息发送到信息处理装置41。
<脑电图仪的示例性配置>
现在参考图2详细描述脑电图仪31的示例性配置。
图2的左侧所示的脑电图仪31是戴在用户21的头部21a上的类型,并且设有与头皮接触的电极31a至31c。电极31a至31c中的每个电极测量头皮中的电位,并且基于测量结果来测量脑电图(脑波)。电极中的电极31a与太阳穴附近的头皮接触并测量太阳穴附近的电位。此外,电极31b是与耳垂接触并贴合耳垂的夹子状的电极,并且测量耳垂的电位作为基准电位。电极31c与后头部的头皮接触并测量后头部的头皮的电位。
换句话说,图2的左侧所示的脑电图仪31测量电极31a和31c处的电位与作为基准电位的电极31b处的电位之间的电位差,并且使用测量结果来检测脑电图。而且,作为基准电极,因为对脑电位的影响小并且可以对其使用适于取得基准电位的耳垂,所以图2左侧所示的具有夹子形状的电极31b用于测量。但是,用夹子状电极夹住耳垂的电极会引起疼痛,因此难以忍受长时间的使用。因此,耳朵背侧的乳突(乳状突起)或其附近对脑电位的影响也较小并且适合作为基准电极,因此能够在耳朵背侧的乳突(乳状突起)上或其附近设置用于测量的电极。
另外,图2的右侧所示的脑电图仪是悬挂在用户21的耳朵上的类型,并且设有测量头皮的耳朵周围的皮肤的电位的电极31d至31f。
电极31d与太阳穴附近的头皮接触并测量太阳穴附近的电位。此外,电极31e与耳朵的背侧附近的乳突(乳状突起)接触,并且测量耳朵的背侧附近的乳突的电位作为基准电位。电极31f还具有作为耳机的功能,并且测量耳朵中的电位。
换句话说,图2的右侧所示的脑电图仪31测量电极31d和31f处的电位与作为基准电位的电极31e处的电位之间的电位差,并且使用测量结果来检测脑电图。注意,只要获得电位差,能够测量耳垂或乳突以外的其他部分作为基准电位。
<实现信息处理系统的功能的示例性配置>
现在参考图3描述用于实现信息处理系统11的功能的示例性配置。
信息处理装置41包括控制单元91、通信单元92、信息处理单元93、成像单元94、图像处理单元95以及存储单元96。
控制单元91控制信息处理装置41的整体操作,并且在一个示例中被构成为微型计算机。控制单元91包括存储必要的数据和程序的存储器单元、执行预定处理的处理器等。
由控制单元91控制的通信单元92通过诸如使用wi-fi的无线局域网(lan)或者蓝牙(注册商标)的近场通信,与脑电图仪31、生物特征传感器32、物理传感器33以及显示装置42通信,从而从它们接收并向它们发送必要的数据。
由控制单元91控制的信息处理单元93使图像处理单元95生成呈现用于促使强化对象行为的任务的图像,并且将呈现所获取的任务的图像经由通信单元92供应给显示装置42以对该图像进行显示。此外,信息处理单元93控制通信单元92,使得通信单元92将从脑电图仪31和生物特征传感器32供应的脑电图检测结果和生物特征信息发送到服务器43。信息处理单元93使服务器43分析脑电图和生物特征信息并估计情绪,然后获取作为分析结果的情绪估计结果。然后,信息处理单元93控制图像处理单元95,使得图像处理单元95基于情绪估计结果来改变化身,以生成呈现基于情绪估计结果而改变的化身的图像。信息处理单元93获取呈现改变了的化身的图像并使显示装置42对其进行显示。此外,信息处理单元93将情绪估计结果与由成像单元94捕获的图像相关联地存储在存储单元96中。
而且,虽然本公开描述了信息处理单元93配备有基于情绪估计结果来改变化身并生成呈现基于情绪估计结果而改变的化身的图像的功能的示例,但是这个功能可以由服务器43配备。
成像单元94被配置为实现信息处理装置41中的相机功能。更具体地,成像单元94设有由互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)等实现的图像传感器以及光学块。由控制单元91控制的成像单元94捕获图像并将捕获的图像输出到图像处理单元95。
由信息处理单元93控制的图像处理单元95生成呈现用于促使强化对象行为的任务的图像,并将该图像供应给信息处理单元93。信息处理单元93获取由图像处理单元95生成的呈现任务的图像,并将该图像经由通信单元92供应给显示装置42以对其进行显示。此外,由控制单元91控制的图像处理单元95对由成像单元94捕获的图像执行降噪或压缩处理,并且同时将成像时的脑电图和生物特征信息以及作为脑电图和生物特征信息的分析结果的情绪估计结果与图像相关联地存储在存储单元96中。
在一个示例中,显示装置42是智能电话。显示装置42生成并显示呈现由信息处理装置41在指令中给予的任务的图像、呈现化身的图像以及化身的历史图像或者化身的变化的预测图像以对其进行显示。
而且,显示装置42能够不同于智能电话,并且它能够是任何其他设备,只要其具有显示功能和通信功能即可,诸如平板移动终端或智能手表。
更具体地,显示装置42包括控制单元111、输入/输出单元112、显示单元113和通信单元114。
控制单元111被构成为控制显示装置42的整体操作的微型计算机等。
输入/输出单元112用作用于输入到用作智能电话的显示装置42的信号和从显示装置42输出的信号的接口。
显示单元113被构成为液晶显示器(lcd)、有机电致发光(el)等,并且显示从信息处理装置41输出的呈现任务的图像、呈现化身的图像以及化身的历史图像或者化身的变化的预测图像。
而且,化身的显示不仅通过显示在显示单元113上的图像来表达,而且还以文本格式、语音、振动、气味、触觉、味觉和机器人的运动(例如,在狗形机器人的情况下,如何跳舞、如何摆尾巴、面部表情等)等形式表达为反馈以表达其改变。
另外,显示单元113用作触摸屏面板,并且因此接收针对信息处理装置41的成像单元94的远程相机快门的操作或者由用户进行的各种类型的信息的输入操作,并将其输出到控制单元111。
由控制单元111控制的通信单元114通过诸如使用wi-fi的无线局域网(lan)或者蓝牙的近场通信,与信息处理装置41进行通信,从而从其接收并向其发送必要的数据。更具体地,在一个示例中,通信单元114接收从信息处理装置41输出的呈现任务的图像、呈现化身的图像以及化身的历史图像或者化身的变化的预测图像。
而且,信息处理装置41和显示装置42这两者的功能都能够单独通过智能电话实现。在这种情况下,通过智能电话来实现具有由图中的点线包围的信息处理装置41和显示装置42这二者的功能的配置。
脑电图仪31包括电极71-1至71-n、信号处理单元72、控制单元73和通信单元74。
控制单元73被构成为控制脑电图仪31的整体操作的微型计算机等。
在一个示例中,电极71-1至71-n具有与图2中的电极31a至31c或电极31d至31f对应的配置。电极71-1至71-n测量为了测量用户21的脑波所需的电位,并将测量到的电位信号输出到信号处理单元72。
由控制单元73控制的信号处理单元72基于从电极71-1至71-n供应的电位信号生成脑电图波形,并将其输出到通信单元74。
由控制单元73控制的通信单元74通过诸如使用wi-fi的无线局域网(lan)或者蓝牙的近场通信,与信息处理装置41进行通信,从而从其接收并向其发送必要的数据。更具体地,通信单元74将从信号处理单元72供应的脑电图波形输出到信息处理装置41。
生物特征传感器32是检测除脑电图以外的生物特征信息的传感器的通用术语,并且在一个示例中包括体温传感器、出汗率传感器、心率传感器、血流传感器等。生物特征传感器32将测量到的生物特征信息发送到信息处理装置41。此外,物理传感器33包括测量用户的运动的加速度计和测量地理位置的全球定位系统(gps)传感器,并且将包括测量到的加速度和位置信息的物理信息发送到信息处理装置41。
服务器43包括情绪估计单元131和情绪估计结果存储单元132。情绪估计单元131基于从信息处理装置41供应的脑电图检测结果和生物特征信息来估计用户的情绪。更具体地,情绪估计单元131根据脑电图检测结果和生物特征信息来计算预先设置的m个特定情绪的比例,并且获得计算出的结果作为每种情绪的得分。而且,情绪估计单元131能够基于除脑电图检测结果和生物特征信息以外的其他事物来估计情绪,或者在一个示例中能够使用从强化对象行为获得的信息来获得情绪。换句话说,在强化对象行为在一个示例中是摄影的情况下,情绪估计单元131能够基于通过执行强化对象行为而拍摄的照片中的构图或被摄体的类型来估计情绪,或者能够使用拍摄间隔等作为指标(诸如是执行连续拍摄还是长时间拍摄)来估计情绪。
情绪估计结果存储单元132存储由情绪估计单元131估计的情绪估计结果。情绪估计单元131能够根据需要使用存储在情绪估计结果存储单元132中的过去的情绪估计结果以及使用脑电图和生物特征信息来估计情绪。
而且,情绪估计单元131和情绪估计结果存储单元132能够设在信息处理装置41中。
另外,本公开中的情绪是指用户对其他人、事物、事件、外部环境等的评价反应。
另外,情绪包括涉及生理唤醒(也称为情感)的反应,其中关于事件的开始和结束是明显的。
情绪中的生理反应的示例包括兴奋、困倦、舒适/不适以及专注。这些能够基于脑电图的频率、事件相关电位的提取以及诸如心跳和出汗的生物反应来标识。
此外,情绪包括通过将上面提到的生理反应应用于特定模型而估计的情绪。在一个示例中,在罗素的模型(参见现有技术的文献)中,基于困倦/觉醒和舒适/不适这两个评价轴来估计其他类型的情绪,并且能够使用这样的各种模型。
此外,除了上面提到的生理反应或者根据生理反应估计的情绪之外,情绪还包括使用生物特征信息以外的信息(诸如环境信息)估计的情绪。
在一个示例中,能够从诸如生活记录或位置信息、相机摄影信息、sns对话历史这样的外部信息中获得诸如用户所参加的事件、通勤还是散步的状况或者交流伙伴这样的信息。
情绪还受到上下文或环境的影响,并且基于这样的外部信息对用户所处的状况的估计使得能够通过考虑这个结果来执行更高级的情绪估计。
特别地,通过除了生物特征感测之外还使用外部信息,可以更高准确度地估计情绪中的可能受文化或社会影响的情绪,诸如四种情绪(欢乐、愤怒、悲伤和愉快)、嫉妒、内疚、同情和道德感。
根据强化对象行为来设置需要获得的情绪的类型,并且在强化对象行为是诸如摄影的行为的情况下,其示例包括“与兴趣和好奇心相关的情绪”、“怀疑(疑问)或不和谐的情绪”、“发现”、“惊奇”、“渴望获得”、“期望”、“赞赏”、“兴奋”、“神秘”、“感动”、“我找到了”、“真棒”等等。
此外,强化对象行为是诸如学习的行为的情况下的情绪的类型的示例包括“学习的动机”、“专注”、“无聊”、“困倦”、“放松”和“学习的成就感”等。
此外,强化对象行为是诸如交流的行为的情况下的情绪的类型的示例包括“兴趣”、“喜欢/不喜欢”、“同情”、“无聊”、“四种情绪(欢乐、愤怒、悲伤和愉快)”以及“惊奇”。
此外,可以通过基本情绪的组合来估计要估计的情绪。在一个示例中,“发现”的情绪可能需要“惊奇”的情绪和“兴趣”的情绪的组合。
此外,在估计情绪时,获得针对特定情绪的积极情绪和消极情绪的相应得分,并且能够将它们之间的差用作情绪得分。
此外,针对特定的强化对象行为设置的多种情绪的组合在下文中也称为情绪集合。情绪集合是元素情绪的集合,元素情绪是与强化对象行为相关的情绪,并且是被认为适于促使强化强化对象行为的多种情绪。换句话说,在强化对象行为是摄影的情况下,如果情绪估计单元131所需的情绪是“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的情绪,则在强化对象行为是摄影的情况下,包括“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的情绪的集合也被称为情绪集合。在这种情况下,情绪估计单元131基于脑电图检测结果和生物特征信息将包括“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的情绪的总体设置为一百来确定比例,并且输出与每个比例对应的得分作为情绪估计结果。
而且,下面的描述是假设情绪估计单元131基于脑电图检测结果和生物特征信息将通过关于具有包括情绪中的“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的元素情绪的情绪集合对各个比例(强度)进行评分而获得的结果作为情绪估计结果输出而给出的。
<图像呈现任务的显示示例>
现在参考图4描述用于在图1的信息处理系统中呈现使用户执行强化对象行为的任务的图像的显示示例。在这个示例中,强化对象行为是摄影,因此,对显示用于呈现使用用作相机的信息处理装置41拍照时的任务的图像的示例给予描述。
图4图示了在显示装置42的显示单元113上显示用于呈现任务的图像的情况下的显示示例。
在显示单元113的中央,显示建有两栋房屋的图像作为由成像单元94捕获的预览图像。因此,预览图像通过改变用作相机的信息处理装置41的成像单元94的成像方向的用户以各种方式进行改变。
在图4的显示示例中,操作图标显示部分201、脑电图显示部分202、主导情绪显示部分203、拍摄按钮204、视频记录按钮205、化身206、任务显示部分207和焦点框208在显示在整个显示单元113上的预览图像上以叠加的方式显示。
在操作图标显示部分201中,显示拍摄操作所需的操作按钮。在图4的操作图标显示部分201中,三个操作按钮从上到下显示,并且设有在上部显示的用于闪光灯拍摄的闪光灯操作模式切换按钮、在中部显示的用于切换到设置操作画面的设置按钮以及在下部显示的用于打开/关闭自动对焦的自动对焦(af)按钮。操作图标显示部分201中显示的操作按钮可以是任何按钮,只要它们是拍摄操作所需的即可,并且其示例可以包括用于典型相机设置(诸如连续拍摄的次数的切换或特殊拍摄的设置)的按钮。
脑电图显示部分202显示从脑电图仪31供应的实时脑电图波形。所显示的波形可以是除了按时间序列指示所示出的脑电图的振幅之外还按时间序列指示频率分析之后的结果或者指示情绪估计结果的大小的波形。在显示的波形示出多电极脑电图仪或多个情绪估计结果的情况下,可以同时显示多个波形。这样的实时生物特征信息和情绪的呈现使得能够实现不会使用户更加无聊的呈现。
主导情绪显示部分203显示作为在服务器43中基于从脑电图仪31供应的脑电图和从生物特征传感器32供应的生物特征信息获得的情绪估计结果的情绪信息中的具有最高情绪得分的主导情绪的类型,并且在图4中显示“兴奋”的情绪,这指示“兴奋”情绪是主导情绪。
拍摄按钮204是由对静止图像进行摄影的用户操作的按钮。在操作拍摄按钮204的情况下,成像单元94控制光学系统(未示出),使得焦点框208中的被摄体聚焦并且捕获构成为静止图像的图像。
视频记录按钮205是由记录移动的图像的用户操作的按钮。在操作视频记录按钮205的情况下,成像单元94记录移动的图像并且视频记录按钮205将颜色改变为预定颜色(例如指示正在进行记录的红色),然后视频记录按钮205通过结束记录时的操作将颜色改变为原始颜色。
化身206是与用户对应并且是基于作为信息处理单元93对脑电图和生物特征信息进行分析的结果的情绪信息而生成的化身。换句话说,化身206可以被显示为与情绪匹配,使得在一个示例中用户可以识别发出光环(aura)、焦虑并出汗、发怒时等的状态。
任务显示部分207呈现作为针对用户的课题的信息,以使用户实现强化对象行为。在图4的任务显示部分207中,显示“拍摄自然照片”。以这种方式,能够通过将课题显示部分207示为化身的话语来给予用户对任务的指令的信任感和熟悉感。
换句话说,用户拍摄照片以执行显示在任务显示部分207中的“拍摄自然照片”的课题。
使用任务给予用户的各种课题使得能够根据需要控制测量脑电图的状况或定时。在一个示例中,在通过显示诸如“拍摄令人惊奇的情况的照片”的任务而使用户惊奇的情况下拍摄照片,因此可以获取捕获的定时附近的脑电图和生物特征信息作为用户感到惊奇的状态下的脑电图或生物特征信息。
此外,通过将任务设置为提交通过一次拍摄摄影的图像的课题,用户专注于一个图像的拍摄,因此可以检测到更显著的脑电图。
此外,在强化对象行为是交流的情况下,能够根据与之交流的对手或团体来改变任务的内容。
在一个示例中,在诸如“拍摄惊奇的状况的照片”的任务的情况下,能够通过仅使用户执行作为呈现的任务给出的课题(即,通过仅使用户执行强化对象动作)来执行对惊奇的状况的脑电图测量,能够检测惊奇的状况下的脑电图而意识不到它。
此外,在期望检测用于辨别特定的事件相关电位的脑电图的情况下,任务有必要呈现对应的课题。
换句话说,事件相关电位是对内部和外部刺激的类型电生理反应,并且是随着特定的想法或认知而产生的典型的脑电图波形。特定的想法或认知所需的时间在某种程度上是确定的,因此即使在脑电图中,从找到物体到其到达波形的峰值的时间也根据每种条件在某种程度上确定。在一个示例中,用于面部认知的n170,用于已知图像的认知的n200,用于已知物体的认知、不自然的事物的认知、低注意力等的p300,用于语义不适的n400,用于错误的识别的ern等是已知的。
因此,在期望检测用作这样的事件相关电位的脑电图的情况下,优选的是呈现作为根据事件相关电位的辨别内容的课题的任务。
此外,通过促使通过任务向其添加指定条件的强化对象行为来执行强化对象行为使得能够检测指定条件下的脑电图。在一个示例中,通过在某种心情或状况下促使摄影,能够检测这种心情或状况下的脑电图。
而且,任务的呈现不仅可以通过图像来执行,而且还可以通过诸如旁白的消息来执行,并且可以通过任何方法呈现任务,只要可以通过诸如光、振动、声音和香味的各种方式促使课题即可。因此,呈现任务的设备不限于显示单元113而可以是各种设备,包括输出诸如旁白的消息的耳机、发光的照明装置、生成振动的振动器、产生声音的扬声器以及散发香气的香味发生器。
此外,可以通过用户的收费来控制任务的内容,或者能够接收增加次数的特定事件下的任务的递送。
换句话说,能够通过设计任务来促使检测期望条件的脑电图。因此,可以在各种条件下检测用户的脑电图,因此能够从多个侧面准确地将用户的个性反映在化身上而不引起用户的意识。
虽然以上描述给出了将任务设置为诱导情绪以测量预定情绪下的脑电图或生物特征信息的示例,但是能够将能够诱导定时的任务设置为测量预定定时的脑电图或生物特征信息。换句话说,在摄影的情况下,任务可以是用于摄影定时(立即、时间限制、具体日期)的指令。此外,课题可以是使得选择并提交在预定的指定时段内摄影的图片中的一张图片的课题。在这种情况下,用户在指定时段内的期望定时拍摄照片,并且提交摄影的图片中的满意的图像,因此能够使用用户拍摄用户的满意的图像的照片时的情绪估计结果。
此外,能够根据用户所处的状况来改变任务所呈现的内容。在一个示例中,能够根据位置信息或动作日志来估计是否正在旅行、参加活动、和什么样的朋友聚会,并且给出根据该估计的具有定时和内容的摄影指令。在这种情况下,可以通过将先前呈现的任务的内容用另一个替换来改变呈现。可替代地,能够根据状况来同时呈现多个任务。
此外,能够通过设计任务来控制强化对象行为的定时。在一个示例中,在强化对象行为是摄影的情况下,与通常的摄影习惯相比,出于游戏目的而连续释放快门是不自然的,因此难以实现强化强化对象行为的效果。因此,可以使用任务来以与通常方式类似的方式设置限制摄影的次数的条件,从而适当地强化强化对象的行为。
另外,任务可以是用于对特定被摄体(摄影对象)进行摄影的指导,并且在一个示例中,可以制作提交通过对特定产品(诸如特定地点、人或汽车)进行摄影而获得的图像的任务。这使得能够自然地获取用户关于特定摄影对象具有的情绪或反应而不引起用户的意识。
此外,任务可以是用于指定针对特定被摄体(摄影对象)的摄影方法、相机设置和构图的课题,并且以这种方式,其可以用作对摄影对象的推广。
此外,任务可以是关于强化对象行为本身的讲座(学习)。
换句话说,在强化指定行为是相机摄影的情况下,可以通过呈现用于促使通常不执行微距摄影的用户执行微距摄影的任务来创建并增加用户的摄影经验或摄影机会。通常不执行的微距摄影的经验或机会使用户能够享受强化对象行为的执行本身。
而且,虽然给出了化身根据基于生物特征传感器32的感测结果的情绪估计结果而改变的示例的以上说明,但是化身的变化可以不仅考虑基于生物特征传感器32的感测结果的情绪估计结果,而且还考虑摄影的被摄体的分析结果。
在一个示例中,如果由用户摄影的图像中的被摄体具有许多同代的朋友或者出现在用户的社交图中的人,则能够估计该被摄体是外向的。此外,在这种情况下,可以通过将焦点框208附近的被摄体而非整个图像视为用户的关注被摄体来分析焦点框208附近的被摄体。
另外,用户拍摄的照片(图像)与当时的情绪相关联,因此可以将其作为针对照片的被摄体的用户偏好信息来营销。在一个示例中,关于它是积极的、消极的、已知的还是熟悉的信息是有用的。在这种情况下,可以通过将焦点框208附近的被摄体而非整个照片视为用户感兴趣的被摄体来分析焦点框208附近的被摄体。
<脑电图检测定时>
现在参考图5描述脑电图的检测定时。
如上所述,由用户执行的用于执行作为任务呈现的课题的行为使得能够创建测量脑电图所需的用户的状况。
脑电图的具体检测定时在将执行强化对象行为的定时设置为基准时即可,因此,在一个示例中,进行作为强化对象行为的摄影的时刻,即,操作拍摄按钮204或视频记录按钮205的定时可以用作基准。在这种情况下,用户在进行摄影的定时附近注视被摄体,因此有可能产生关于被摄体的情绪。
在一个示例中,如图5的上部所示,在操作拍摄按钮204或视频记录按钮205的定时是时间t的情况下,需要检测脑电图的定时可以是从时间t之前预定时间的定时到时间t的时段z1,如图5上部的最上一行所示。
另外,在一个示例中,在操作拍摄按钮204或视频记录按钮205的定时是时间t的情况下,需要检测脑电图的定时可以是包括时间t之前预定时间和时间t之后预定时间这二者的时段z2和z3,如图5中从上到下第二行和第三行所示。
此外,在一个示例中,在操作拍摄按钮204或视频记录按钮205的定时是时间t的情况下,需要检测脑电图的定时可以是包括从时间ts之前n秒的时间t-n开始预定时间的时段z4,如图5中从上到下的底部所示。
另外,可以基于执行作为强化对象行为的摄影的定时和准备好信息处理装置41的成像单元94的定时来设置脑电图的具体检测定时。在这种情况下,从找到被摄体到准备好成像单元94并执行摄影要花费时间,因此能够通过从进行摄影的定时开始向后计算来检测找到它时的情绪。而且,特别是在这种情况下,不仅从执行摄影的定时开始向后的计算、而且将准备好成像单元94的定时作为触发的设置都可以提高准确度。然而,在这种情况下,需要通过加速等来准确地检测准备好成像单元94的定时。
在一个示例中,如图5的下部所示,在准备好信息处理装置41的成像单元94的定时是时间tr并且操作拍摄按钮204或视频记录按钮205的定时是时间ts的情况下,需要检测脑电图的定时可以是从时间tr到时间ts的时段z11,如图5下部的最上面一行所示。
另外,在一个示例中,在准备好信息处理装置41的成像单元94的定时是时间tr并且操作拍摄按钮204或视频记录按钮205的定时是时间ts的情况下,需要检测脑电图的定时可以是从时间tr之前预定时间的定时开始从时间ts起经过预定时间的时段z12,如图5下部从上到下第二行所示。
此外,在一个示例中,在准备好信息处理装置41的成像单元94的定时是时间tr并且操作拍摄按钮204或视频记录按钮205的定时是时间ts的情况下,需要检测脑电波的定时可以是包括时间tr之前和之后预定时间的时段z13,如图5下部的从上到下第三行所示。
另外,在一个示例中,在准备好信息处理装置41的成像单元94的定时是时间tr并且操作拍摄按钮204或视频记录按钮205的定时是时间ts的情况下,需要检测脑电图的定时可以是从时间tr开始已经持续了预定时间的时段z14,如图5下部的底部所示。
换句话说,可以在使用作为保持信息处理装置41的成像单元94的定时的时间tr或者作为操作拍摄按钮204或视频记录按钮205的定时的时间ts中的至少一个作为基准的预定时段中检测脑电图。
此外,通过使用先前摄影时获得的信息来使用多个时段的脑电图也是优选的。
另外,除了以上描述之外,还可以使用时间tr作为基于诸如由加速度计测量到的包括成像单元94的信息处理装置41的姿势或手势这样的操作的定时来检测脑电图,或者可以在基于时间tr设置的除时间tr以外的定时检测脑电图。此外,可以在作为时间tr的查看取景器的定时检测脑电图,或者可以在相对于时间tr的除时间tr以外的定时检测脑电图。此外,可以使用特定行为(摄影等)n秒之后或n秒之前的定时或者用户已经空间性地移动的定时作为基准。
这使得能够通过视为相同的姿势和测量环境来获得情绪估计结果。可替代地,检测使用预定动作为基准的预定时段中的脑电图,并且可以使用该时段中的代表值或平均值。
此外,可以采用根据要被摄影的被摄体而变化的定时作为检测定时。这可以通过任务或被摄体的图像分析来估计。
而且,类似于脑电图,可以在基于作为准备好信息处理装置41的成像单元94的定时的时间tr或者作为操作拍摄按钮204或视频记录按钮205的定时的时间ts中的至少一个的预定时段中检测由生物特征传感器32检测的除脑电图以外的生物特征信息,并且生物特征信息的检测可以不必与检测脑电图的定时一致。
此外,虽然以上描述给出了检测脑电图的时段,但是通常执行基于脑电图仪31的脑电图的测量,并且脑电图测量结果连续从脑电图仪31供应给信息处理装置41。上述脑电图的检测定时被用于描述信息处理单元93使用通常测量的脑电图信号的哪个时段,而不是测量定时本身。
然而,测量定时可以是通常的测量以避免如上所述未注意到,或者可以仅仅是比包括图5中示为箭头的时段在内的时段更长的时段。这使得能够节省电力。
此外,在脑电图检测定时,在检测到的情绪发生改变、情绪在预定时段没有改变等情况下,可以显示任务。换句话说,在一个示例中,在情绪从“高兴”变为“悲伤”的情况下,可以显示“现在陷入悲伤”的任务,或者在情绪保持“悲伤”一定时间段的情况下,可以显示“持续感到悲伤”的任务。
<与强化对象行为相关联地存储脑电图和生物特征信息的exif格式>
现在参考图6描述与强化对象行为相关联地存储脑电图检测结果、生物特征信息和情绪估计结果的exif格式。
与强化对象行为相关联地记录脑电图检测结果、生物特征信息和情绪估计结果。在这个示例中,强化对象行为是摄影,因此与通过执行作为强化对象行为的摄影而捕获的图像相关联地记录脑电图检测结果、生物特征信息和情绪估计结果。
因此,在本公开中,使用与捕获的图像相关联地存储对图像进行摄影时的信息的格式,因此存储作为强化对象行为的摄影时的脑电图检测结果、生物特征信息和情绪估计结果。
更具体地,配备有由用户用于摄影的相机功能的信息处理装置41以可交换图像文件格式(exif)格式记录通过执行作为强化对象行为的摄影而获得的脑电图检测结果、生物特征信息和情绪估计结果。
然而,在记录执行作为强化对象行为的摄影时所获得的脑电图检测结果、生物特征信息和情绪估计结果中使用exif格式仅是示例,而除exif格式以外的其他格式也可以在记录中使用。此外,执行作为强化对象行为的摄影时的脑电图检测结果、生物特征信息和情绪估计结果可以记录在单独的文件中或者记录在服务器上的记录单元(db等)中。
exif格式是与jpeg文件格式或tiff文件格式兼容的格式,并且定义了被称为应用标记段的区域并将其存储在被称为应用标记段1(app1)的区域中。app1包括被称为图像文件目录(ifd)的多个目录,所述目录保持作为与jpeg文件格式或tiff文件格式兼容的多个标签的组的数据块。
图6示出了app1的结构。app1包括0th_ifd231、1st_ifd232、exif_ifd233、gps_ifd234、相容性_ifd235、makernote236以及printim237。
0th_ifd231是存储与捕获的主图像相关的信息的ifd。
1st_ifd232是存储与缩略图像相关的信息的ifd。
exif_ifd233是存储与捕获图像时的定时处的图像相关的信息的ifd。
gps_ifd234是存储捕获图像的定时处的由全球定位系统(gps)获取的位置信息的ifd。
相容性_ifd235是以exif格式存储相容性(compatibility)信息的ifd。
makernote236是存储制造商特定信息的区域。
printim237不是ifd,并且存储用于递送要在打印机上打印的图像信息的信息。
它们之中,0th_ifd231、1st_ifd232、exif_ifd233、gps_ifd234和相容性_ifd235都从上到下存储count信息、tag信息和nest信息。count信息存储指示存储在ifd中的tag信息的数量的信息。tag信息存储指示各种命令的标签数据。在图6中,为每个ifd存储了六条tag信息。next信息存储在后续存储标签的情况下指定下一个ifd的指针。
此外,0th_ifd231的从上到下第三个tag信息存储指定exif_ifd233的指针信息,并且从上到下第四个tag信息存储指定gps_ifd234的指针信息。第六个tag信息存储指定printim237的指针信息,存储指定被指示为next的下一个ifd的指针信息,该下一个ifd指定1st_ifd232的地址。
此外,exif_ifd233的从上到下第四个tag信息存储指定相容性_ifd235的指针信息,并且从上到下第五个tag信息存储指定makernote236的指针信息。从上到下第六个tag信息存储指定printim237的指针信息。
在本说明书中,makernote236存储用户的脑电图检测结果和生物特征信息,并将作为情绪估计结果的emotion_information241存储为emotion_ifd。
而且,用于存储用户的脑电图和生物特征信息的emotion_information241可以将数据本身作为emotion_ifd存储在makernote中,或者用于存储用户的脑电图检测结果、生物特征信息和情绪估计结果的emotion_information也可以作为与makernote分开的文件存储,并且makernote可以存储指定这个文件的id或标签并将其读出。通过将emotion_information241嵌入在exif中,即使单个图片是分布式的,也能够在其他地方处理情绪估计结果。此外,可以通过将emotion_information241嵌入在exif中来重构化身。
<emotion_information的数据结构>
现在参考图7描述图6中的emotion_information241的数据结构。
emotion_information241在图7的从上到下包括id、timestamp、config_info、user_info、brainwave_raw_1至brainwave_raw_n、emo_info_1以及emo_info_2。
用于存储脑电图检测结果、生物特征信息和情绪估计结果的emotion_information与强化行为对象相关联地记录,并且原则上,在一个示例中,针对通过执行作为强化对象行为的摄影所获得的每张照片附上emotion_information。
然而,在存在针对相同任务拍摄的多张照片的情况下,可以为针对一个任务拍摄的多张照片的组记录emotion_information。在这种情况下,可以与一个任务相关联地记录一条emotion_information,或者可以为针对相同任务拍摄的多张照片中的每张照片记录相同的emotion_information。此外,在针对一个任务拍摄了多张照片的情况下,在一个示例中,在某个事件期间拍摄了五张照片的情况下,这五张照片中的每张照片的exif(或另一个文件)的情绪信息中的每条情绪信息能够与一个任务相关联。换句话说,能够针对一个任务生成多条情绪信息。
在id中,记录分别标识emotion_information的信息。
在timestamp中,记录与emotion_information相关的时间信息,并且具体地,记录脑电图检测的开始时间、检测的结束时间以及执行情绪估计的时间。
在config_info中,记录与脑电图仪31或生物特征传感器32相关的信息。而且,稍后将参考图8详细描述config_info的数据结构。
在user_info中,存储用户信息,在一个示例中,用户信息是关于性别、年龄(或年龄代)、国籍和种族的信息。而且,user_info可以是通过应用软件获取的信息,或者可以在应用软件侧进行管理。
id、timestamp、config_info和user_info各自包括能够提高脑电图检测和情绪估计的准确度的信息。
在brainwave_raw_1至brainwave_raw_n中,记录脑电图检测结果的多个原始数据。在一个示例中,原始数据是设在脑电图仪31中的电极71-1至71-n的测量结果等。具体地,是其中指示电位差的振幅与时间信息相关联的数据。可替代地,它可以是其中通过执行频率分析而获得的结果而非振幅信息针对每个频率与时间信息相关联的数据。原始数据的记录使得能够之后再次执行脑电图检测和情绪估计。而且,在随着容量的增加而记录emo_info的情况下,可能不必记录原始数据。而且,稍后将参考图9详细描述brainwave_raw_n的数据结构。
在emo_info_1和emo_info_2中,记录关于情绪估计结果的信息。仅情绪估计结果作为元数据记录在emo_info_1和emo_info_2中,因此可以减少信息量。
此外,emo_info_1和emo_info_2可以具有不同的功能。换句话说,可以多次记录emo_info_1,或者能够根据每个应用程序在其中记录多个情绪集合(多条emo_info_1)的信息。此外,可以将从情绪集合信息(emo_info_1)获得的高阶信息记录在emo_info_2中。
在本说明书中,高阶信息是取决于应用程序中直接使用的信息的情绪设置信息,诸如主导情绪和个性类型。在emo_info_1存储通常的情绪集合信息并且emo_info_2存储从emo_info_1获得的信息的情况下,当仅存储emo_info_1时,能够进一步减少信息量。稍后将参考图10描述emo_info_1和emo_info_2的数据结构的细节。
<config_info的数据结构>
现在参考图8描述其中存储有脑电图仪31或生物测定传感器32的信息的config_info的数据结构。
config_info包括eeg_type、eeg_ele_num、sensor_1至sensor_n、position、attitude、application_id以及meta_version。
在eeg_type中,存储指示脑电图仪31的类型的型号或版本的信息。
在eeg_ele_num中,存储脑电图仪31的电极71的数量。
在sensor_1至sensor_n中,在存在与脑电图仪31结合使用的生物特征传感器32的情况下,存储关于生物特征传感器32的信息。
在position中,存储脑电图的检测时的在一个示例中基于gps等的位置信息。
在attitude中,存储指示用户的姿势的信息。在一个示例中,在生物特征传感器32设有加速度计等的情况下,通过使用由加速度计检测到的结果而获得的信息被用作用户的姿势。
在application_id中,存储用于标识在执行脑电图检测时使用的应用程序的id。
在meta_version中,存储元数据的版本信息。
<brainwave_raw_n的数据结构>
现在参考图9描述存储由电极71-n检测到的脑电图的原始数据的brainwave_raw_n的数据结构。
brainwave_raw_n包括ele_num、ele_position、ele_type、measure_envr、measure_accur、measure_rate、measure_term、measure_starttime以及data。
在ele_num中,存储标识电极71-1至71-n的编号。
在ele_position中,存储关于电极的位置的信息。在一个示例中,关于电极的位置的信息是关于作为世界标准的国际10-20系统中的电极的位置的信息。
在ele_type中,存储关于电极的类型的信息。在一个示例中,电极的类型是诸如湿电极还是干电极的信息。
在measure_envr中,存储与测量环境相关的信息。在一个示例中,与测量环境相关的信息是诸如环境温度、体温以及有无出汗的信息。
在measure_accur中,存储关于测量准确度的信息。在一个示例中,关于测量准确度的信息是根据电极71-n的信噪比(s/n)估计的绝对值或者关于启用或禁用状态的信息。
在measure_rate中,存储关于测量周期的信息。在一个示例中,关于测量周期的信息是帧速率(fps)。
在measure_term中,存储关于测量时间或测量点数(msec)的信息。
在measure_starttime中,存储关于测量开始时间的信息。
在data中,存储关于每个测量周期的电位的绝对值的信息。换句话说,在一个示例中,在以60fps进行1秒钟的测量时,测量时的电位(诸如5mv、8mv、-3mv等)作为连续数据串记录在data中。
<emotion_info_1和emotion_info_2的数据结构>
现在参考图10描述将情绪估计结果存储为元数据的emotion_info_1的数据结构以及存储根据情绪估计结果进一步估计的高阶信息的emotion_info_2的数据结构。
现在描述图10上部所示的emotion_info_1的数据结构。
emotion_info_1包括emo_type_set和emo_type1_value至emo_typen_value。
在emo_type_set中,存储用于标识情绪集合的信息。
在emo_type1_value至emo_typen_value中,存储用于标识估计的情绪集合的信息。情绪集合对于每个应用程序是不同的。在强化对象行为是摄影的情况下,在一个示例中,估计与摄影相关的“兴奋”、“神秘”、“感动”、“惊奇”和“发现”这五种类型的情绪,并且将包括情绪的估计值的得分存储在emo_type1_value至emo_typen_value中的每一个中。例如,通过针对每种估计的情绪类型将每个强度(0-100)或比例(假设总和为100时的比例)视为得分(估计值)来存储情绪估计结果。
现在描述图10下部所示的emotion_info_2的数据结构。
emotion_info_2包括strongest_type、strongest_type_value、weekest_type、weekest_type_value以及mind_type。
在strongest_type中,存储用于指定emo_type1至emo_typen中最主导的情绪(估计值最高的情绪)的类型的信息。
在strongest_type_value中,存储主导情绪的得分(估计值)。
在weekest_type中,存储用于指定emo_type1至emo_typen中具有最低得分(估计值)的情绪的类型的信息。
在weekest_type_value中,存储具有最低得分(估计值)的情绪的估计值。
在mind_type中,存储关于从每个情绪集合的情绪分布中分析出的个性的信息。
<情绪估计结果和化身的变化>
现在描述情绪估计结果和化身的变化的示例。
基于长期检测到的脑电图检测信息和生物特征信息改变并显示图4的显示示例中示出的化身206。
在这个示例中,例如在根据重复的任务重复由用户拍摄照片的处理时,化身206基于重复拍摄时的脑电图检测信息和生物特征信息生长并改变其形式。
在一个示例中,如图11的最下部所示,在重复执行作为强化对象行为的摄影并且情绪估计结果满足预定条件的情况下,化身206从卵(root)341改变为幼体342,从幼体342改变为亚成体343,从亚成体343改变为成年体344,然后在改变为成年体344之后作为成年体344改变为各种形式。
换句话说,在图11的最下段中,在一个示例中,化身206从卵(root)341开始,并且当预定的情绪重复l次时,改变为幼体342,然后当预定的情绪重复m次时,改变为亚成体343,并且进一步当将预定的情绪重复n次时,改变为成年体344。
另外,幼体342根据重复l次的情绪的类型而具有不同的形式,并且类似地,亚成体343也根据重复m次的情绪的类型而具有不同的形式。成年体344也根据重复n次的情绪的类型而具有不同的形式。
换句话说,存在情绪m1至m3这三种类型的主导情绪,并且化身206根据重复预定次数的情绪的类型,在一个示例中在以图11的上部示出的树状图的形式生长时发生改变。而且,图11中的a-1至a-3表示化身206的幼体342的类型,图11中的b-1至b-5表示化身206的亚成体343的类型,并且图11中的c-1至c-9表示化身206的成年体344的类型。
更具体地,如图11的上部所示,在卵(root)341的状态下将情绪m1作为主导情绪重复l次的情况下,化身206改变为幼体342的类型a-1。此外,在卵(root)341的状态下将情绪m2作为主导情绪重复l次的情况下,化身206改变为幼体342的类型a-2。此外,在卵(root)341的状态下将情绪m3作为主导情绪重复l次的情况下,化身206改变为幼体342的类型a-3。
另外,在幼体342的类型a-1的状态下将情绪m1作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-1。此外,在幼体342的类型a-1的状态下将情绪m2作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-2。此外,在幼体342的类型a-1的状态下将情绪m3作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-1。
此外,在幼体342的类型a-2的状态下将情绪m1作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-2。此外,在幼体342的类型a-2的状态下将情绪m2作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-3。此外,在幼体342的类型a-2的状态下将情绪m3作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-4。
此外,在幼体342的类型a-3的状态下将情绪m1作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-3。此外,在幼体342的类型a-3的状态下将情绪m2作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-4。此外,在幼体342的类型a-3的状态下将情绪m3作为主导情绪重复m次的情况下,化身206改变为亚成体343的类型b-5。
此外,在亚成体343的类型b-1的状态下将情绪m1作为主导情绪重复n次的情况下,化身206改变为成年体344的类型c-1。此外,在亚成体343的类型b-1的状态下将情绪m2作为主导情绪重复n次时,化身206改变为成年体344的类型c-2。此外,在亚成体343的类型b-1的状态下将情绪m3作为主导情绪重复n次的情况下,化身206改变为成年体344的类型c-3。
类似地,在亚成体343的类型b-2的状态下将情绪m1、m2和m3作为主导情绪重复n次的情况下,化身206分别改变为成年体344的类型c-2、c-3和c-4。
此外,在亚成体343的类型b-3的状态下将情绪m1、m2和m3作为主导情绪重复n次的情况下,化身206分别改变为成年体344的类型c-3、c-4和c-5。
此外,在亚成体343的类型b-4的状态下将情绪m1、m2和m3作为主导情绪重复n次的情况下,化身206分别改变为成年体344的类型c-4、c-5和c-6。
此外,在亚成体343的类型b-5的状态下将情绪m1、m2和m3作为主导情绪重复n次的情况下,化身206分别改变为成年体344的类型c-5、c-6和c-7。
换句话说,在卵(root)341的状态下,通过执行取决于任务的强化对象行为来执行情绪估计,并且重复获得情绪估计结果的处理,因此对作为情绪估计结果的主导情绪的情绪m1至m3中的每种情绪的次数进行计数。然后,在将所计数的次数重复作为预定次数的l次、m次或n次的情况下,化身206改变其形式。
<用于存储情绪估计结果的短期变化表的示例性配置>
现在参考图12描述用于存储情绪估计结果的短期变化表。
短期变化表是由信息处理装置41的信息处理单元93管理的表,并且是基于通过基于从脑电图仪31和生物特征传感器32供应的脑电图检测结果和生物特征信息被供应给服务器43而获得的情绪估计结果进行管理的表。而且,在本公开中,假设短期变化表是由信息处理单元93管理的表进行描述,但是它能够由服务器43来管理。
在一个示例中,如图12所示,短期管理表在图中从左到右包括化身类型列、情绪列和得分列。
在化身类型列中,存储指示当前化身206的类型的信息,并且图12图示了图11的卵(root)341。
另外,在情绪列中,从上到下列出了能够作为情绪估计结果获取的情绪的类型。在图12中,从上到下按情绪m1、m2和m3的次序列出了情绪的类型。
在得分列中,记录与情绪估计结果的情绪的类型相关联的得分,并且在这种情况下,从上到下记录了10、60和30。
因此,图12示出,在化身206处于卵(root)341的状态的情况下,基于执行作为强化对象行为的摄影时的定时处的脑电图检测结果和生物特征信息,将情绪m1检测为10分,情绪m2检测为60分,情绪m3检测为30分。换句话说,图12的短期变化表示出具有最高得分(即60分)的情绪m2是主导情绪。而且,短期变化表实质上是通过将化身类型信息添加到参考图10描述的emo_info_1的信息而获得的信息。
<用于存储情绪估计结果的长期变化表的示例性配置>
现在参考图13描述长期变化表的示例性配置。
长期变化表是由信息处理装置41的信息处理单元93管理的表,并且累积短期变化表的结果。
长期管理表如图13的上部和下部这二者所示在图中从左到右设有化身类型列、情绪列和次数列。
在化身类型列中,存储指示当前化身206的类型的信息,并且它示出在图13的上部和下部这二者中都存在卵(root)341。
另外,在情绪列中,从上到下列出了能够作为情绪估计结果获取的情绪的类型。在图13中,从上到下按情绪m1、m2和m3的次序列出了情绪的类型。
在次数列中,记录作为基于每当进行作为强化对象行为的摄影时生成的短期变化表的信息而获得的当前主导情绪的情绪的次数。
换句话说,在一个示例中,如图13的上部所示,在情绪m1是主导情绪的次数为两次、情绪m2是主导情绪的次数为四次并且情绪m3是主导情绪的次数为三次的情况下,当供应上述图12的短期变化表时,信息处理单元93基于关于图12的短期变化表的信息将情绪m2视为主导情绪。然后,如图13的下部所示,信息处理单元93通过将视为主导情绪的情绪m2的计数增加1而将其设置为五。
此外,每当供应短期情绪表时,信息处理单元93就基于长期变化表中的次数来确定是否是时候改变化身206。如果超过预定次数,则信息处理单元93改变化身206的类型并更新长期变化表。
在一个示例中,在图11中的次数l为五次并且如图13的下部所示情绪m2的次数为五次的情况下,改变化身206的状态并且更新长期变化表。
换句话说,在当化身206处于卵(root)341的状态时情绪m2重复l次的情况下,当化身206如图11所示那样改变时,化身206改变为幼体342的类型a-2。因此,如图14所示,信息处理单元93将化身类型列改变为类型a-2,将情绪m1、m2和m3是主导情绪的次数重置为零,然后每当供应新的短期变化表时如上所述对长期变化表进行更新和改变。
以这种方式,信息处理单元93通过管理短期变化表和长期变化表来控制化身206的变化。而且,在化身206改变为成年体344的情况下,在长期变化表中的化身206的类型改变为c-1和c-2的情况下,信息处理单元93可以返回到类型b-1;在化身206的类型改变为c-3的情况下,可以返回到类型b-2;在化身206的类型改变为c-4的情况下,可以返回到类型b-3;在化身206的类型改变为c-5的情况下,可以返回到类型b-4;并且在化身206的类型改变为c-6或c-7的情况下,可以返回到类型b-1。换句话说,化身206的类型改变为成年体344的状态,但是在长期变化表中返回到与当前成年体344接近的亚成体343的状态,能够通过根据主导情绪的次数维持化身206能够从亚成体343改变为成年体344的状态,来保持化身206保持成年体344的状态的状态,从而改变要呈现的化身206。
使用上述长期变化表改变化身206的处理被称为长期情绪反馈处理。
<呈现化身的图像的显示示例>
现在参考图15描述用于取决于长期变化表的促使强化对象行为的化身的显示示例。
如上所述,在本公开的信息处理系统中,通过重复呈现任务来促使强化对象行为,并且基于执行强化对象行为时的定时处的脑电图检测结果和生物特征信息重复创建短期变化表。然后,每当创建短期变化表时,更新长期变化表,并且化身206基于长期变化表而改变。
为了改变化身206,用户重复强化对象行为。因此,每当执行强化对象行为(即,创建短期变化表)时,有必要重复呈现与改变的长期变化表的状态相关联的化身206。
换句话说,图15是每当执行强化对象行为时呈现与当前长期变化表相关联的化身206的显示示例。
如图15的中央所示,与当前长期变化表相关联的化身351显示在显示单元113的中央。此外,在化身351上方放置由化身351为用户提供的评论部分352,并且可以显示诸如用于促使强化对象行为的建议这样的评论。此外,在化身351的右侧,设置了化身351的状态显示部分353,并且在图15中,从上到下显示100点的hp(命中点)、100点的mp(魔法力)、75点的恢复力、100点的敏捷度和25点的防御力。
而且,在一个示例中,状态显示部分353中显示的hp、mp、恢复力、敏捷性和防御力能够是通过将情绪估计结果的得分乘以预定系数而获得的值,如图16所示。
换句话说,在情绪估计结果是“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的情绪的集合的情况下,这五种类型的情绪的得分的10倍、2倍、5倍、5倍和5倍的各个值能够被用作hp、mp、恢复力、敏捷度和防御力的相应点数。
更具体地,如图16的左部所示,在“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”的得分分别为10、50、15、20和5的情况下,hp、mp、恢复力、敏捷度和防御力的点数分别为100(=10×10)、100(=50×2)、75(=15×5)、100(=20×5)和25(=5×5)。
另外,在图15中,在化身351下方设置任务显示部分354,并且显示“拍摄自然照片”的任务。
此外,在任务显示部分354的右侧,从左到右显示历史图像显示按钮355、预测图像显示按钮356和结束按钮357。
当显示表示化身351的过去的历史的历史图像时,操作历史图像显示按钮355。而且,稍后将参考图17和18描述历史图像。
当显示根据化身351的过去的历史表示预测未来变化的预测图像时,操作预测图像显示按钮356。而且,稍后将参考图19和20描述预测图像。
结束按钮357是当呈现图15的化身的图像的显示终止并且返回到显示图4的任务的图像时操作的按钮。
如图15所示,能够检查每当执行强化对象行为时显示的与长期变化表相关联的化身351的变化。如果不存在变化,则能够激发进行改变的期望,而如果存在变化,则能够使得感受到变化的喜悦。
另外,化身的变化可以是反映由用户执行的强化对象行为的变化,因此用户所共情的化身的变化的呈现增加了改变化身的意愿,从而强化强化对象行为。
<历史图像的第一显示示例>
现在参考图17描述历史图像的第一显示示例。
在一个示例中,当操作图15中的历史图像显示按钮355时,显示如图17所示的历史图像。
在图17的历史图像中,在显示图像的左侧,在时间序列条371上从上到下以时间序列将进行作为强化对象行为的摄影时的日期显示为点372-1至372-6。分别显示与点372-1至372-6对应的日期显示部分373-1至373-6。此外,在日期显示部分373-1至373-6的右侧,分别显示这些日期处的化身374-1至374-6。此外,在化身374-1至374-6的右侧,显示在对应的日期通过作为强化对象行为的摄影捕获的图像。
换句话说,在图17中,示出了在由时间序列条371上的点372-1指示的日期2017年5月18日在明野町摄影了图像p101和p102的情况下表示化身374-1。
另外,示出了在由时间序列条371上的点372-2指示的日期2017年5月23日在北杜市摄影了图像p111和p112的情况下表示化身374-2。
此外,示出了在由时间序列条371上的点372-3指示的日期2017年5月27日在港区摄影了图像p121的情况下表示化身374-3。
另外,示出了在由时间序列条371上的点372-4指示的日期2017年5月30日在高崎市摄影了图像p131和p132的情况下表示化身374-4。
此外,示出了在由时间序列条371上的点372-5指示的日期2017年6月3日在港区摄影了图像p141的情况下表示化身374-5。
此外,示出了在由时间序列条371上的点372-6指示的日期2017年6月7日在北杜市摄影了图像p151的情况下表示化身374-6。
此外,在历史图像的右下方设置了结束按钮375。当历史图像的显示终止并返回到取决于图15的长期变化表的促使强化对象行为的呈现的显示图像时,操作结束按钮375。
换句话说,图17中示出的历史图像的显示使得用户能够以时间序列检查化身374如何通过到目前为止已经执行的强化对象行为而改变。此外,在这种情况下,能够检查在某个日期和地点摄影某个图像时图像如何改变。
<历史图像的第二显示示例>
现在参考图18描述历史图像的第二显示示例。
在一个示例中,当操作图15中的历史图像显示按钮355时,可以显示如图18所示的历史图像。
在图18的历史图像中,在整个显示图像上显示地图,并且与地图上的执行强化对象行为的位置相关联地显示历史显示部分401-1至401-3。
历史显示部分401-1指示图中的地图上的左中侧附近的位置。此外,历史显示部分401-1的上部指示这个历史的日期是2017年5月18日。此外,历史显示部分401-1的下部指示当记录历史时捕获了图像p201,并且在图像p201的右侧示出那时的化身411-1。
历史显示部分401-2指示图中的地图上的右中上部附近的位置。此外,历史显示部分401-2的上部指示这个历史的日期是2017年5月27日。此外,历史显示部分401-2的下部指示当记录历史时捕获了图像p211,并且在图像p211的右侧示出那时的化身411-2。
历史显示部分401-3指示图中的地图上的右中下部附近的位置。此外,历史显示部分401-3的上部指示这个历史的日期是2017年5月30日。此外,历史显示部分401-3的下部指示当记录历史时捕获了图像p221,并且在图像p221的右侧示出那时的化身411-3。
此外,在图18中的历史图像的右下方设置了结束按钮402。当历史图像的显示终止并且返回到呈现图15的化身的图像时,操作结束按钮402。
换句话说,图18中示出的历史图像的显示使得用户能够以时间序列检查化身411如何通过到目前为止已经执行的强化对象行为而改变。此外,在这种情况下,能够检查在某个日期和地点摄影某个图像时图像如何改变。此外,在图18的情况下,地图上的显示使得能够直观地识别执行作为强化对象行为的摄影的位置与化身的变化之间的关系。
而且,在多个化身411存在于相同地点的情况下,可以在相同地点以时间序列显示多个化身。通过这种方式,能够在相同的地点并且以时间序列识别化身411的变化。
<预测图像的第一显示示例>
现在参考图19描述预测图像的第一显示示例。
在操作图15的预测图像显示按钮356的情况下,在一个示例中,显示如图19所示的预测图像。
图19中的预测图像是如参考图11所述以树状图的形式表达化身的变化的图像。换句话说,卵(root)、幼体、亚成体和成年体在图中从左到右按这个次序显示。
更具体地,图中最左边的化身441表示卵(root),并且指示化身的变化的起点。
此外,作为幼体的化身442-1至442-3显示在其右侧。
此外,作为亚成体的化身443-1至443-4显示在其更右侧。
此外,作为成年体的化身444-1至444-5显示在其更右侧。
在图19中的预测图像的右下方设置了结束按钮445。当预测图像的显示终止并返回到取决于图15的长期变化表的促使强化对象行为的呈现的显示图像时,操作结束按钮445。
在这个示例中,在化身441、442-1至442-3、443-1至443-4以及444-1至444-5中,到目前为止已经改变的化身显示为视觉识别的状态并且用点线圆圈标记,但是其他化身显示为轮廓。
另外,在该图的左上部中,示出了指示器431,并且示出了直到化身的下一次变化为止的指示。换句话说,在针对长期变化表中的每种情绪计数为主导情绪的次数中,当前次数与直到具有最高值的化身发生改变为止的作为阈值的次数的比例显示在指示器431上作为直到化身的下一次变化为止的指示。
如上所述的显示使得用户能够检查化身的变化的当前状态与树状图中的哪个位置对应。因此,能够通过将来执行哪种强化对象行为来预测化身将被改变为何种程度。
<预测图像的第二显示示例>
现在参考图20描述预测图像的第二显示示例。
在一个示例中,当操作图15中的预测图像显示按钮356时,可以显示如图20所示的预测图像。
图20中的预测图像示出了针对情绪估计结果的每种情绪的雷达图上的变化。
换句话说,考虑情绪估计结果在一个示例中是“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型情绪的集合的情况。图20是通过标绘在连接基于五种类型情绪的得分由雷达图表达时的点时形成的图形的重心作为情绪估计结果而得到的图像。将日期添加到每个绘图并且这些绘图按时间顺序用线连接。
换句话说,图20示出重心471-1指示由执行在2017年5月17日作为强化指定行为的摄影时的五种类型的情绪得分形成的雷达图上的图形的重心。
此外,图20示出重心471-2指示由执行在2017年5月18日作为强化指定行为的摄影时的五种类型的情绪得分形成的雷达图上的图形的重心。
此外,图20示出重心471-3指示由执行在2017年5月23日作为强化指定行为的摄影时的五种类型的情绪得分形成的雷达图上的图形的重心。
换句话说,图20示出重心471-4指示由执行在2017年5月27日作为强化指定行为的摄影时的五种类型的情绪得分形成的雷达图上的图形的重心。
此外,化身472指示由执行在2017年5月30日作为强化指定行为的摄影时的五种类型的情绪得分形成的雷达图上的图形的重心处示出的当前化身。
另外,在图20中的预测图像的右下方设置了结束按钮473。当预测图像的显示终止并返回到取决于图15的长期变化表的促使强化对象行为的呈现的显示图像时,操作结束按钮473。
如上所述的显示使得用户能够识别直到当前状态的化身的变化,因此可以视觉识别情绪估计结果和化身的变化。因此,能够通过在某种程度上重复强化对象行为来预测化身被改变。
而且,虽然在图19和20中描述了示出化身的变化的示例,但是,在一个示例中,不仅可以指示化身的变化,而且能够指示化身的每个部分的变化。
<强化对象行为强化处理>
现在参考图21的流程图描述由图3的信息处理系统执行的强化对象行为强化处理。
在步骤s11中,图像处理单元95生成参考图4描述的呈现用于促使执行强化对象行为的任务的图像,控制通信单元92使得通信单元92将图像输出到显示装置42。显示装置42控制通信单元114使得通信单元114接收图像,并且显示装置42使显示单元113显示图像。
在一个示例中,这个处理使得如参考图4所述在任务显示部分207中显示“拍摄自然照片”的任务,使得显示当前摄影方向上的预览图像,并且使得对用户促使取决于任务的作为强化对象行为的摄影。
在步骤s12中,信息处理装置41经由通信单元92确定是否操作了在一个示例中在图4中示出的显示装置42的显示单元113上的拍摄按钮204并且执行了作为强化对象行为的摄影。在步骤s12中,信息处理装置41重复类似的处理,直到认为执行了摄影为止。
在步骤s12中,在用户选择摄影的构图的情况下,操作拍摄按钮204,执行作为强化对象行为的摄影,处理进到步骤s13。
在步骤s13中,信息处理单元93在操作拍摄按钮204时控制成像单元94使得成像单元94捕获图像,控制图像处理单元95使得图像处理单元95对图像执行预定的图像处理,然后使图像的数据存储在存储单元96中。
此外,信息处理单元93控制通信单元92以获取分别从脑电图仪31和生物特征传感器32供应的脑电图检测结果和生物特征信息并记录它们。特别地,信息处理单元93使存储单元96将它们与通过作为强化对象行为的摄影而捕获的图像中的exif相关联地存储。
而且,在典型的处理过程中,如果通过步骤s11的处理促使了强化对象行为并且通过步骤s12的处理检测到强化对象行为的执行,则执行步骤s13的处理和后续的处理。然而,在本实施例中,强化对象行为具体是摄影,因此执行步骤s13的记录图像的处理,作为伴随强化对象行为的执行的处理。此外,根据任务而存在各种强化对象行为。在一个示例中,在使用户拍摄五张照片并且用户选择其中一张的任务的情况下,在步骤s12中,如果执行了选择五张照片中的一张照片的行为,则能够认为已执行强化对象行为。然而,在这种情况下,情绪估计必须使用拍摄所选择的一张照片时的定时的脑电图或生物特征信息用于情绪估计。
在步骤s14中,信息处理单元93控制通信单元92,使得通信单元92将脑电图检测结果和生物特征信息发送到服务器43。
在步骤s15中,服务器43的情绪估计单元131基于脑电图检测结果和生物特征信息来估计情绪,并将情绪估计结果发送到信息处理装置41。信息处理装置41的信息处理单元93控制通信单元92,使得通信单元92接收从服务器43发送的情绪估计结果。
在步骤s16中,信息处理单元93基于情绪估计结果创建短期变化表。在本说明书中,在一个示例中,要创建的短期变化表是如图12所示的短期变化表。在这种情况下,信息处理单元93使存储单元96将情绪估计结果与通过作为强化对象行为的摄影而捕获的图像中的exif相关联地存储。而且,虽然给出了exif与图像相关联地存储的示例的描述,但是exif不必与图像相关联地存储,在一个示例中,它可以独立于图像而记录。
在步骤s17中,信息处理单元93控制图像处理单元95,使得图像处理单元95生成反映关于短期变化表的信息的显示图像,并且使生成的显示图像显示在显示装置42的显示单元113上。更具体地,信息处理单元93使图4中示出的主导情绪显示部分203的显示内容切换为关于作为短期变化表中的具有最高得分的情绪的主导情绪的信息。
换句话说,即使在无动于衷的状态下执行摄影时,化身也不发生改变,因此用户试图找到可能改变情绪的状况以改变化身。在这种情况下,在摄影之后立即呈现主导情绪,因此能够立即识别哪种类型的情绪正在发挥最大的作用。因此,用户能够尝试抑制无动于衷的摄影,从而强化强化对象行为。
而且,虽然以上描述给出了将主导情绪显示部分203的显示内容切换为关于作为短期变化表中的具有最高得分的情绪的主导情绪的信息并显示的示例,作为反映关于短期变化表的信息的显示图像的示例,但是关于短期变化表的信息可以由用户采用其他方式识别。在一个示例中,根据情绪估计结果,能够通过改变颜色、通过发出声音、通过改变显示内容的大小或形状或者通过改变化身的动作来实现呈现。换句话说,可以实现各个方面,只要将一次的摄影中的脑电图测量结果和情绪估计结果反馈给用户即可。
在步骤s18中,信息处理单元93执行长期变化表管理处理并且反映关于短期变化表的信息以用于其更新。稍后将参考图22的流程图详细描述长期变化表管理处理。
在步骤s19中,信息处理单元93控制图像处理单元95,使得图像处理单元95基于长期变化表来生成在一个示例中参考图15描述的呈现化身的显示图像,并且使生成的显示图像显示在显示装置42的显示单元113上。
换句话说,参考图15描述的图像使得用户通过重复取决于先前任务的作为强化对象行为的摄影来检查当前化身的变化。
在步骤s20中,信息处理单元93确定是否操作了用作触摸面板的显示单元113并且给出了用于终止强化对象行为强化处理的指令。如果给出了其终止的指示,则处理结束。并且,在步骤s20中,如果没有给出其终止的指示,则处理进到步骤s21。
而且,在确定强化对象行为强化处理的终止时,直接给出处理的终止的指令的情况、经过预定时间的情况(时间限制方法)或者摄影的次数达到预定次数的情况(次数限制方法)中的任何一种情况都可以认为是处理的终止的指令。
另外,可以根据任务的内容来设置终止的指令,或者在一个示例中,在时间受到任务的限制的情况下,已经经过了任务中设置的时间的定时可以认为是终止的指令。
此外,在检测到特定构图或姿势的情况下,能够认为给出了终止的指令。可替代地,在检测到相机关闭的情况下、关闭电源的情况下、读取预定qr码(注册商标)的情况下或者在取景器中摄影或检测到特定被摄体的情况下,能够认为给出了终止的指令。
另外,可以认为终止的指令是在化身的变化达到预定状态时的定时处给出的。
在步骤s21中,信息处理单元93确定是否操作了在一个示例中在图15中示出的显示图像上的结束按钮357并且给出了用于显示图4中的呈现任务的图像的指令,该任务给出用于作为下一个强化对象行为的图像摄影的指令。在步骤s21中,在一个示例中,在确定未操作结束按钮357的情况下,处理进到步骤s22。
在步骤s22中,信息处理单元93确定是否操作了在一个示例中在图15中示出的显示图像上的历史图像显示按钮355并且给出了用于显示化身的历史图像的指令。如果在步骤s22中确定操作了历史图像显示按钮355,则处理进到步骤s23。
在步骤s23中,信息处理单元93执行历史图像显示处理,生成在一个示例中参考图17或图18描述的历史图像,使历史图像显示在显示装置42的显示单元113上,然后处理返回到步骤s19。而且,稍后将参考图23的流程图详细描述历史图像显示处理。
另一方面,如果在步骤s22中确定未操作历史图像显示按钮355,则处理进到步骤s24。
在步骤s24中,信息处理单元93确定是否操作了在一个示例中在图15中示出的显示图像上的预测图像显示按钮356并且给出了用于显示化身的预测图像的指令。如果在步骤s24中确定操作了预测图像显示按钮356,则处理进到步骤s25。
在步骤s25中,信息处理单元93执行预测图像显示处理,生成在一个示例中参考图19或图20描述的预测图像,使预测图像显示在显示装置42的显示单元113上。然后处理返回到步骤s19。而且,稍后将参考图24的流程图详细描述预测图像显示处理。
另一方面,如果在步骤s21中确定操作了结束按钮357,则处理返回到步骤s11,并且重复后续的处理。
而且,在步骤s24中,如果未给出用于显示预测图像的指令,则跳过步骤s25中的处理并且处理返回到步骤s19。
换句话说,在显示任务、促使用户执行作为强化对象行为的摄影以及由用户执行作为强化对象行为的摄影的情况下,检测该定时处的脑电图并检测对应的生物特征信息。然后,基于脑电图检测结果和生物特征信息来执行情绪估计,并且创建短期变化表。根据短期变化表来更新长期变化表,化身基于关于长期变化表的信息而改变然后呈现。
出于这个原因,每当用户根据任务而重复执行强化对象行为时,化身发生改变,因此激发了想要改变化身的意识。作为结果,能够不使用户意识到强化对象行为而强化强化对象行为。
而且,虽然以上描述给出了强化对象行为强化处理在执行强化对象行为的定时开始的示例,但是它也能够在任何其他定时开始。其开始的示例可以包括由用户开始,在系统检测到情绪的变化时的定时开始,以及使用从预定定时开始经过预定时间的定时的时间限制方法。
另外,在化身很可能改变的情况下,可以执行使得识别变化的迹象的显示。根据任务执行诸如“它将在拍摄后续n张照片时改变”或“它将在后续n次被感动时改变”的显示。可替代地,可以显示化身使得出现光环。这样的显示使得能够实现促使用户继续使用、给予用户动力并且不使用户更加无聊的机制。
<长期变化表管理处理>
现在参考图22的流程图描述长期变化表管理处理。
在步骤s41中,信息处理单元93基于关于短期变化表的信息来确定主导情绪。换句话说,在如图12所示的短期变化表的情况下,情绪m1、m2和m3的得分分别是10、60和30,因此信息处理单元93将主导情绪确定为情绪m2。
在步骤s42中,信息处理单元93确定作为检测主导情绪的结果的得分是否是有效值。换句话说,确定情绪估计结果中包括的情绪集合中的情绪得分中的最高得分是否是大于预定值的有效值。在一个示例中,在每种情绪的得分阈值为50的情况下,作为主导情绪的情绪m2的得分60大于图12的短期变化表中的阈值。因此,在这种情况下,在步骤s42中,将该得分视为有效值,并且处理进到步骤s43。
在步骤s43中,信息处理单元93将主导情绪的检测结果反映在长期变化表中。换句话说,如参考图13所描述,信息处理单元93在通过将作为主导情绪检测到的情绪的次数列中的次数增加一来对其进行计数。
在步骤s44中,信息处理单元93确定在作为长期变化表管理的情绪的类型中检测为主导情绪的次数是否超过预定次数。如果在步骤s44中确定在作为长期变化表管理的情绪的类型中检测为主导情绪的次数超过了作为阈值的预定次数,则处理进到步骤s45。
在步骤s45中,如参考图11所述,信息处理单元93更新长期变化表的化身类型列中的信息(以改变化身的特点)并且重置次数列,使得当前化身改变为与检测为主导情绪的次数超过预定次数的情绪类型对应的化身。
在步骤s46中,信息处理单元93将当前的长期变化表的信息与通过作为强化对象行为的摄影捕获的图像相关联地作为历史存储在存储单元96中。
而且,如果在步骤s42中确定了主导情绪的得分不是有效值,则跳过步骤s43至s45中的处理,不实质上更新长期变化表,并且处理进到步骤s46。
在步骤s44中,如果不存在长期变化表中的次数列的次数超过预定次数的情绪,则跳过步骤s45的处理。换句话说,在这种情况下,检测为主导情绪的情绪的次数列被更新,但是化身不改变,并且处理进到步骤s46。
上述处理使得每当供应与通过任务重复的强化指定行为对应的情绪估计结果时供应短期变化表并基于短期变化表来检测主导情绪,并且在得分为有效值的情况下,使得对检测为主导情绪的次数进行计数,并且如果检测到所检测的次数超过预定次数,则化身被改变。
这使得基于与通过任务的呈现而重复的强化指定行为对应的情绪估计结果来长期地重复更新长期变化表,并且根据更新结果来改变化身。因此,化身能够通过强化指定行为而改变,从而激发想要改变化身的意识。因此,改变化身的期望的意识使得可以不引起用户的意识而强化强化对象行为。
而且,虽然以上描述给出了在长期变化表中存储主导情绪的指定的次数并且与存储在长期变化表中的作为主导情绪超过预定次数的情绪相关联地改变化身的示例,但是还能够对所有情绪的得分进行整合,并与具有超过预定值的得分的整合值的情绪相关联地改变化身。此外,在某种条件下指定情绪估计结果中的任何情绪并且指定的次数超过预定次数的情况下,化身根据超过预定次数的情绪而改变即可,因此可以使用除主导情绪以外的情绪。在一个示例中,能够根据连续超过预定得分的情绪的指定的次数是否超过预定次数来改变化身。
此外,化身可以改变为与在预定次数的测量中最频繁记录的主导情绪对应的化身。此外,可以通过对每个测量中的元素情绪而非主导情绪进行整合并且通过当达到预定测量数量时选择具有最高整合值的情绪来改变化身。此外,化身的下一次改变可以通过情绪的平衡而非一种情绪来确定。
此外,化身不仅可以基于测量次数而且可以基于主导情绪的频率、间隔、情绪强度(分析结果的可靠性)、任务的内容以及是否移动了一定距离而改变。
此外,在检测到特定情绪(诸如第一情绪或稀有情绪)的情况下,该特定情绪的检测可以被视为文本显示、反映在任务上、化身的变化、化身光环或面部表情的变化,以提供反馈。
此外,可以将预定的过滤器应用于长期变化表。在一个示例中,在对情绪的得分进行整合时,能够通过乘以倒数或者使用对与所检测到的情绪相反的情绪的得分进行整合的过滤器来生成具有与用户的个性相反的个性的化身。可替代地,能够通过准备乘以抵消或强化针对每个任务所假设的测量偏差的系数的过滤器来抵消或强化针对每个任务生成的测量偏差。
此外,对于长期变化表,在一个示例中,可以将血型为o的男性和血型为a的女性利用具有良好相容性(诸如良好性格相合度)的过滤器组合。
此外,对于存储在长期变化表中的情绪估计结果,可以使用除特定情绪以外的其他情绪来计算偏差值。在一个示例中、示例了“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种情绪的集合,但是除了这五种情绪的集合以外,在估计“无趣”和“无聊”的情绪并获得“无趣”和“无聊”的情绪的情况下,可以减去主导情绪的整合,因此能够改变积累对感兴趣的被摄体的摄影的影响或者不执行整合而消除影响。此外,不针对每个强化对象行为重新计算长期变化表,但是能够使用针对多个强化对象行为的情绪估计结果的平均值、中值或代表值等,或者距上次检测的时间间隔、用户的位置的差异等,并且在这种情况下,可以将重新计算的定时与任务同步。
另外,化身不一定必须显示为图像,并且在一个示例中,可以是诸如机器人的硬件。此外,化身的类别能够被选择或者它可以被适当地设置或改变。此外,在一个示例中,它可以根据用户的偏好而改变。此外,在一个示例中,它能够通过执行摄影被摄体的图像分析并反映结果来根据偏好而改变。此外,可以设置与强化对象行为对应的化身的类型,并且在一个示例中,在学习系统的情况下,可以设置学生化身。
另外,化身可以是诸如角色植物的生物的模仿,或者可以是诸如城堡、城镇或交通工具的无机素材。
而且,化身不仅可以显示为图像,而且还可以显示为文本格式、语音、振动、气味、触觉、味觉以及来自机器人的动作的反馈等(例如,在狗形机器人的情况下如何跳舞、如何摆尾巴、面部表情等)来表示化身的特点。
此外,化身可以反映用户的个性,或者它可以通过将存储在长期变化表中的得分、主导情绪的指定的次数等乘以倒数而成为个性的相反,或者可替代地,它可以是具有良好的相容性的个性。
此外,化身可以改变其形式或外观,它能够遵循取决于其在如图11所示的预定树状图中的变化中的情绪估计结果的路线,或者包括构成身体的多个部分(手、脚、眼睛、嘴等)并且这些部分能够根据情绪估计结果而单独改变。
此外,化身可以改变其装饰物,诸如武器、物品、衣服、装饰品等。
此外,化身可以具有简档,使得能够改变诸如角色的力量、防御力和速度的各种设置值然后与其他人进行比较并排名。
此外,可以针对每个情绪估计结果呈现或获取新的化身,而不是改变一个固定的化身。在这种情况下,执行使用长期变化表的长期反馈,因此也能够呈现总体趋势,诸如布置按时间序列布置的频繁类型的化身。
在定义了n种类型的情绪的情况下,长期变化表可以反映主导情绪,或者可以根据比例来反映它,或者可替代地,可以将其反映为绝对值。
虽然以上描述给出了当主导情绪的指定的次数超过预定次数时化身改变的示例,但是在一个示例中,在累积了基于强化对象行为的得分的情况下,可以使将得分反映在化身中的定时是用户可选择的。具体地,在执行五次强化对象行为的情况下,不是每次将得分反映在化身上,而是将累积的得分或其数量呈现给用户,并且用户在用户优选的定时执行将累积的得分的全部或部分反映在化身中的操作。这使得用户能够在执行强化对象行为时专注于强化对象行为,并且在将得分反映在化身中以及伴随它的其他定时享受。
此外,用户可以选择性地控制附加的变化,诸如附到化身的装饰物。换句话说,可以混合不能由用户控制的化身主体的变化和能够由用户控制的装饰物的变化。
在这种情况下,在一个示例中,可以将取决于情绪估计结果的特点给予可与另一个玩家交换的装饰物。在这种情况下,可以考虑基于强化对象行为的改变。在一个示例中,它可以将所拍摄的照片的颜色、纹理等反映在化身或背景上,或者可替代地,它可以反映摄影时的位置信息和相机设置。
此外,可以限制化身的状态变化发生的时段。在一个示例中,能够根据用户的实际学校年级的改变来重置下一个化身,并且这样的限制可以应用于场所或空间(场),或者该限制可以应用于任务时段等。
此外,可以准备多个化身,使得根据环境而呈现不同的化身。此外,可以针对每个交流组改变用作反映对象的化身。此外,能够根据用户的状态(哪种状态或你和谁在一起)的估计结果来改变化身。可替代地,根据社交图分析结果、位置、生物特征感测、周围环境(照片中示出的内容)、时区和会话对手的地点,可以改变对应的化身。
此外,可以分别设置和使用用作反映对象的多个化身。可以为每个事件生成化身。可以每次将反映应用于每个tpo的固定对象。
因此,化身的个性随着执行强化对象行为而反映用户,因此能够为用户提供激励来执行强化对象行为。此外,通过化身的外观的变化,能够为期望继续强化对象行为并继续脑电图测量的用户提供激励。
因此,能够不引起用户的意识而强化强化对象行为。此外,强化对象行为的强化使得能够持续获取有用的脑电图数据。
<历史图像显示处理>
现在参考图23的流程图描述历史图像显示处理。
在步骤s61中,信息处理单元93将通过作为强化对象行为的摄影捕获的图像、与该图像相关联地存储的关于长期变化表的信息以及exif格式中包括的emotion_information的信息作为历史信息读出到存储单元96。
在步骤s62中,在一个示例中,信息处理单元93基于所读取的历史信息生成如图17和图18所示的历史图像,并使其显示在显示装置42的显示单元113上。
在步骤s63中,在一个示例中,信息处理单元93确定是否操作了用作触摸面板的显示单元113上的图17中示出的结束按钮375或图18中示出的结束按钮402并且给出了用于终止历史显示的指令。如果在步骤s63中没有给出终止的指令,则处理返回到步骤s62,重复步骤s62和s63的处理,并且继续显示历史图像。另一方面,如果在步骤s63中确定给出了终止的指令,则处理结束。
上面提到的步骤中的处理使得显示如图17或图18所示的历史图像,因此用户能够识别化身在作为过去的强化指定行为的摄影中如何改变,并且进一步,还能够激发改变化身的期望。
因此,能够不引起用户的意识而实现强化对象行为的强化。
<预测图像显示处理>
现在参考图24的流程图描述预测图像显示处理。
在步骤s81中,信息处理单元93将通过作为强化对象行为的摄影捕获的图像、与该图像相关联地存储的关于长期变化表的信息以及exif格式中包括的emotion_information的信息作为历史信息读出到存储单元96。
在步骤s82中,在一个示例中,信息处理单元93基于所读取的历史信息生成如图19和图20所示的历史图像,并使其显示在显示装置42的显示单元113上。
在步骤s83中,在一个示例中,信息处理单元93确定是否操作了用作触摸面板的显示单元113上的图19中示出的结束按钮445或图20中示出的结束按钮473并且给出了用于终止历史图像显示的指令。如果在步骤s83中没有给出终止的指令,则处理返回到步骤s82,重复步骤s82和s83的处理,并且继续显示预测图像。另一方面,如果在步骤s83中确定给出了终止的指令,则处理结束。
而且,不仅可以通过分别按下结束按钮375或445,而且还可以通过其他触发器来执行历史图像显示的终止或预测图像显示的终止。可替代地,可以考虑在用户已经来到拍摄好照片的地方时或者当情绪改变时给出终止的指令。
上面提到的步骤中的处理使得显示如图19或图20所示的预测图像,因此用户能够识别化身在作为过去的强化指定行为的摄影中如何改变,可以预测化身的未来改变,并且进一步,还能够激发改变化身的期望。
因此,能够不引起用户的意识而实现强化对象行为的强化。
<<3.第一变形例>>
<存储通过对作为相同的强化对象行为的摄影的图像多次执行强化对象行为而获得的脑电图检测结果和生物特征信息的示例>
以上描述给出了为通过作为强化对象行为的单次摄影捕获的一个图像提供用于存储脑电图检测结果和生物特征信息的一条emotion_information的示例。然而,可以为作为相同的强化对象行为的摄影的图像存储通过多次执行强化对象行为而获得的脑电图检测结果和生物特征信息。
在一个示例中,如图25的左部所示,emotion_information可以包括多个文件,即,emotion_information1和emotion_information2。
此外,如图25的右部所示,可以将emotion_information1和emotion_information2的多条信息存储在一条emotion_information中。然而,在图25的右部的情况下,data_num存储多个存储的脑电图检测结果和生物特征信息的数量。此外,emotion_information1和emotion_information2将它们各自的id省略。
在任何情况下,基于多个脑电图检测结果和生物特征信息,能够在与执行强化对象行为的定时不同的定时检测脑电图或执行情绪估计。
<<4.第二变形例>>
<将在校准时测量到的基准脑电图检测信息以及基准情绪估计结果存储在emotion_information中的示例>
可以将在校准时测量到的基准脑电图检测信息以及基准情绪估计结果存储在存储有脑电图检测结果和生物特征信息的emotion_information中。这使得能够通过应用程序以更高的准确度执行脑电图检测和情绪估计。
在本说明书中,校准是用于为每个用户指定个性、消除测量误差并提高准确度的调整处理。
具体地,在校准中,对于第一次或前几次,执行每个用户共同的强化对象行为,促使静止环境中的脑电图测量,并且呈现对强化对象行为的结果的问卷。然后,执行用于输入主观评价的处理,并且基于通过这些处理操作获取的基本的脑电图和生物特征信息来调整各种配置和处理。此外,这一系列的行为可以由任务作为强化对象行为指导并执行。
更具体地,在图26的最左部的emotion_information中,如阴影部分所指示,在通常的emotion_information的数据结构中,将brainwave_base附加地存储为基准脑电图检测信息,并且将emotion_info_base附加地存储为基准情绪估计结果。
另外,如图26的最右部所示,可以生成包括作为基准脑电图检测信息的brainwave_base和作为基准情绪估计结果的emotion_info_base的独立元数据文件。
在这种情况下,可以通过参考元数据文件来独立地使用存储有第一脑电图检测结果和生物特征信息的emotion_information1以及存储有第二脑电图检测结果和生物特征信息的emotion_information2。
<<5.第三变形例>>
<切换化身的部分的示例>
虽然以上描述给出了如图11所示根据主导情绪的数量改变树状图中的化身的示例,但是可以针对幼体、亚成体和成年体中的每一个根据情绪的变化切换化身的部分。
换句话说,可以想到从“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”这五种类型的情绪的集合的得分中获得情绪估计结果的情况。
如图27所示,幼体由“头部”部分和“第一身体”部分构成。
在每个部分中,设置与构成情绪集合的五种类型的情绪中的每种情绪对应的素材。
然后,基于情绪估计结果或主导情绪的比例,选择与相关情绪对应的素材的类型。
在一个示例中,在“兴奋”情绪的比例为66%而“神秘”情绪的比例为33%的情况下,如果存在三种类型的部分,“头部”、“手臂”和“身体”,则与“兴奋”情绪对应的得分针对这三种类型的部分中的三分之二累积,在一个示例中,在“头部”、“手臂”和“身体”这三个部分中的“头部”和“手臂”两个部分中累积。此外,在一个示例中,针对“头部”、“手臂”和“身体”这三个部分的三分之一,与“神秘”情绪对应的得分累积到“身体”这一部分。然后,在得分超过阈值的定时,改变与超过阈值的情绪对应的部分的素材。
在主导情绪而非比例的情况下,如果主导情绪是“兴奋”,则针对从“头部”、“手臂”和“身体”中随机选择的任何一个累积“兴奋”情绪的得分。
此外,如图27中的圆圈所指示,在幼体中,“头部”和“第一身体”部分被改变。然后,当“头部”和“第一身体”部分被改变时,化身从幼体改变为亚成体。
在这个示例中,虽然在幼体中不存在部分,但是由图27中的三角形标记表示的幼体中的“手臂”、“腿”和“第二身体”的部分也被改变。
换句话说,由三角形标记表示的未附到当前化身的部分是仅素材信息发生改变并且不显现为化身显示的隐藏的部分。然后,当化身从幼体改变为亚成体时,给出与当时的“手臂”、“腿”和“第二身体”的素材的信息对应的部分。
另外,如图27中的圆圈所指示,亚成体由“头部”、“手臂”、“腿”和“第二身体”部分构成。
然后,由图27中的圆圈指示的“头部”、“手臂”、“腿”和“第二身体”部分被改变。
此外,在亚成体中,对于由图27中的三角形标记指示的亚成体中的“角”、“翅膀”和“尾巴”部分,它不作为一部分存在,但是仅改变素材的信息。
换句话说,对于由三角形标记表示的未附到当前化身的隐藏部分,仅改变素材的信息。然后,当化身从亚成体改变为成年体时,给出与“角”、“翅膀”和“尾巴”的素材的信息对应的类型的部分。
此外,如图27所示,成年体由“头部”、“手臂”、“腿”、“第二身体”、“角”、“翅膀”和“尾巴”部分构成。
然后,“头”、“手臂”、“腿”、“第二身体”、“角”、“翅膀”和“尾巴”中的每一个被改变为与素材的信息对应的部分。
如上所述,可以基于情绪估计结果中的每个情绪估计结果,通过改变与每种情绪对应的化身的部分来改变化身。
<<6.第四变形例>>
<将取决于任务的类型的系数反映在化身的变化中的示例>
可以将取决于任务的类型的系数反映在化身的变化中。换句话说,根据任务的内容,特定情绪的得分倾向于高或低。因此,可以根据任务的内容来设置每种情绪的系数,因此可以将特定情绪的得分设置得不太高或不太低。
更具体地,基于图28的左上部中示出的与情绪估计结果对应的短期变化表中的信息,生成针对每个部分将要为每种情绪添加的相加得分放在一起的相加表,如图28的上部中间部分所示。然后,将相加表中的每个相加得分乘以图28下部中央处的系数表中的系数,并且在图28的右上部分中示出的整合表中将每个得分的整合结果放在一起。
针对情绪估计结果的五种类型的情绪中的每种情绪来设置化身的每个部分,并且针对整合表中的每个部分选择并组合具有最高得分的类型的那部分,以确定化身。
在一个示例中,在与情绪估计结果对应的短期变化表中,可以想到“兴奋”为0、“神秘”为60、“感动”为0、“我找到了”为“30、“真棒”为10并且化身的部分为“手臂”、“腿”、“尾巴”、“角”、“翅膀”和“爪”的情况。
在这种情况下,与情绪估计结果对应的短期变化表是图28的左上部中示出的短期变化表。
相加表是基于短期变化表针对化身的每个部分记录为每种情绪添加的得分的表。换句话说,在图28的上部中央部分示出的相加表的情况下,与“神秘”情绪对应的部分“手臂”、“腿”和“角”具有60得分,并且被分配“ 1”点。此外,作为与“我找到了”情绪对应的部分的“尾巴”和“爪”具有30得分,因此被分配“ 1”点。此外,与“真棒”情绪对应的“翅膀”具有10得分,因此被分配“ 1”点。
而且,在相加表中,可以针对分配了哪个部分和多少点来不同地设置短期变化表中的每种情绪的得分。图28的上部中央处的示例仅是示例。此外,要分配的点数可以为负,或者要分配的点数之和可以为零。
图28的下部中央部分的系数表是要与相加表的得分相乘的系数的表,并且为每个部分存储针对每种对应情绪的系数。每个系数与任务的内容对应。在一个示例中,在可能通过任务的内容为“神秘”情绪分配高分作为情绪估计结果的情况下,如图28底部中央的系数表所示,可以将0.5得分设置为与相加表中的“神秘”情绪对应的系数,并且可以为其他系数设置1得分。
换句话说,如图28的系数表所示,在相加表的值中由“神秘”的情绪估计结果分配的“手臂”、“腿”和“角”的点全部乘以0.5的系数,成为“ 0.5”。
此外,图28的右上部示出的整合表是每当执行强化对象行为时顺序地累积相加表的点的表。在图28中示出了示例,其中从左到右,化身的部分设有“手臂”、“腿”、“尾巴”、“角”、“翅膀”和“爪”列,并且记录由“兴奋”、“神秘”、“感动”、“我找到了”和“真棒”的情绪给出的整合的点的结果。
换句话说,在图28右上部的整合表中,作为“手臂”的每种情绪的得分,“兴奋”是4、“神秘”是5.5、“感动”是2、“我找到了”是2、
“真棒”是1。
作为“腿”的每种情绪的得分,“兴奋”是5、“神秘”是3.5、“感动”是1、“我找到了”是3、“真棒”是2。
作为“尾巴”的每种情绪的得分,“兴奋”是4、“神秘”是7、“感动”是1、“我找到了”是3、“真棒”是2。
作为“角”的每种情绪的得分,“兴奋”是2、“神秘”是1.5、“感动”是0、“我找到了”是0、“真棒”是0。
作为“翅膀”的每种情绪的得分,“兴奋”是0、“神秘”是0、“感动”是0、“我找到了”是0、“真棒”是1。
作为“爪”的每种情绪的得分,“兴奋”是1、“神秘”是1、“感动”是0、“我找到了”是2、“真棒”是0。
信息处理单元93通过在整合表中的部分中选择与具有最高得分的情绪相关联地设置的类型来确定化身。
换句话说,在图28的右上部示出的整合表中,“手臂”的部分被确定为与得分为“5.5”的“神秘”情绪相关联地设置的类型。
“腿”的部分被确定为与得分为“5”的“兴奋”情绪相关联地设置的类型。
“尾巴”的部分被确定为与得分为“7”的“神秘”情绪相关联地设置的类型。
“角”的部分被确定为与得分为“2”的“兴奋”情绪相关联地设置的类型。
“翅膀”的部分被确定为与得分为“1”的“真棒”情绪相关联地设置的类型。
“爪”的部分被确定为与得分为“2”的“我找到了”情绪相关联地设置的类型。
在图28的右部示出的整合表中,分配有颜色的方形指示当前设置的部分的类型。因而,如图28的右上部所示更新整合表,使得将“手臂”的部分从与当前的“兴奋”情绪相关联地设置的类型改变为与“神秘”情绪相关联地设置的类型。
如上所述,每当根据任务重复强化对象行为并供应短期变化表时,都生成对应的相加表并添加乘以根据任务设置的系数表的系数的值,然后顺序地更新整合表。然后,对于整合表中的每个部分,通过组合与具有最高得分的情绪相关联地设置的类型的部分来配置化身,从而改变化身。
这使得与任务对应的系数反映在化身的变化中,使得可以根据任务而适当地改变化身。
因此,能够通过激发用户改变化身的意愿来强化强化对象行为而不引起用户的意识。
而且,虽然以上描述给出了使用系数来调整得分的示例,但是在一个示例中,脑电图测量是与任务相结合地执行的,因此,在清楚了诸如在事件期间“神秘”情绪由于诸如“找到神秘的事物”的任务而处于强状态的情况下,可以通过减去与“神秘”情绪相关的得分来对其进行添加,或者可以通过注意“神秘”情绪来添加强度。
此外,图28右上方的整合表与参考图13和图14描述的长期变化表对应。换句话说,在参考图13和图14描述的长期变化表中,基于情绪估计结果针对每种情绪累积主导情绪的指定的次数,并且化身根据主导情绪的指定的次数而改变。另一方面,在图28的整合表中,对于情绪估计结果的每种情绪,针对化身的每个部分累积得分本身,并且为每个部分确定与具有最高得分的情绪相关联地设置的类型。这二者都是关于基于每当执行强化对象行为时供应的情绪估计结果的短期变化表的信息,并且长期变化表被更新,并且化身基于在长期变化表中累积管理的主导情绪的指定的次数或者每个部分的得分而改变。
此外,不仅可以根据任务的类型来切换系数,而且在一个示例中,还可以在诸如在相同用户中检测到第一次检测到的情绪、在相同任务中检测到不寻常的情绪、在相同属性(相同年级、相同种族或相同性别)的用户中检测到稀有的情绪这样检测到特殊情绪的情况下切换系数。
<<7.第五变形例>>
<由多个用户共享一个化身的示例>
虽然以上描述给出了一个用户使用一个化身的示例,但是一个化身可以被多个用户共享。
换句话说,可以通过收集多个用户的情绪来生成和改变一个化身。
图29图示了收集多个用户的情绪以生成一个化身并对其进行改变的信息处理系统的示例性配置。
图29的信息处理系统包括服务器501和由各个用户使用的终端511-1至511-3。
终端511-1至511-3中的每个终端具有与图3的信息处理系统11对应的配置,并且将每个用户的脑电图检测信息和生物特征信息发送到服务器501。
服务器501具有类似于信息处理装置41中的信息处理单元93的功能,获取从终端511-1至511-3供应的多个用户的脑电图检测信息和生物特征信息,基于多个用户的脑电图检测信息和生物特征信息创建短期变化表,将其反映在长期变化表中,并且将通过改变化身来呈现化身的图像发送到终端511-1至511-3。此外,服务器501将呈现任务的图像发送到终端511-1至511-3。
终端511-1至511-3通过显示作为从服务器501发送的任务的图4的任务的图像或图15的化身的显示图像来重复地促使执行强化对象行为,并且重复显示化身的处理。
更具体地,在一个示例中,服务器501使用多个用户的脑电图检测信息和生物特征信息的平均值、中值、最大值、最小值或其他统计值,因此服务器501执行与就像执行实质上一个用户的脑电图检测信息和生物特征信息一样执行多个用户的脑电图检测信息和生物特征信息的情况下的处理类似的处理。然而,可以在化身的变化中反映统计地获得的多个用户的脑电图检测信息和生物特征信息。
上述处理使得能够创建表示分类的化身,例如,表示支援某个偶像的多个粉丝的化身,或者针对每个偶像支援团体的化身。在一个示例中,通过连接到支援战的任务等,这使得能够防止用户感到无聊。
此外,能够用针对不是向用户本身反馈而是向除用户之外的其他人(所属团体或支援对象)的反馈的激励来强化强化对象行为。换句话说,将化身呈现给另一个人可以是对用户的强化对象行为的激励。
此外,能够使用化身定量表达组织、公司和团体的个性。
此外,能够通过设置定义多个用户的类别(诸如性别、年龄和地区)来强化强化对象行为。
此外,可以形成具有相同目的的人的团体,使得能够在一个示例中针对具有相同目的的多个人的团体改变和强化一个化身。此外,还能够为每个团体设置多个化身并使各团体竞争变化,从而实现强化整个团体的强化对象行为。
此外,在区域等中,能够不是连续地强化一个人的行为而是强化访问该场所的未指定数量的用户的强化对象行为。换句话说,可以设置表示区域的化身、本地化身、针对每个事件的化身、表示博物馆中的艺术品的化身等。
换句话说,可以通过使用位置信息积累观看者对博物馆中的每件艺术品的情绪来为每件艺术品设置和改变化身。
可替代地,可以设置对预定内容的观看者/听众的倾向进行拟人化的化身,因此为该内容的每个观看者/听众创建基于化身的角色。
<<8.第六变形例>>
<启用与另一个人的化身的诸如聊天的对话的示例>
虽然以上描述给出了一个化身由一个人使用或者由多个人共享的示例,但是可以与另一个人的化身进行诸如聊天的对话。
在一个示例中,如图30所示,可以允许多个化身加入对话。
在图30中,化身551和561分别显示在显示单元113的中间的左边和右边。化身551和561的简档等可以在分别设在化身551和561的下部中的简档部分550和560中描述。此外,化身551和561分别设有标记气球552和562,并且每个用户使用每个显示装置42的显示单元113的触摸面板的功能等,并且用自然语言进行聊天。
化身551和561这二者可以是通过重复用户的强化指定行为生成的化身。此外,化身中的一个化身可以是通过用户的情绪估计结果的正得分改变的化身,而另一个化身可以是通过用户的情绪估计结果的负得分改变的化身。以这种方式,在一个示例中,在使用户使用聊天功能呈现多个化身的情况下,一个化身可以向另一个化身询问关于用户自己的强化对象行为的建议。
此外,来自化身的建议可以是反映取决于用户的情绪估计的结果的建议。
此外,用户可以向化身进行查询使得化身呈现建议。在这种情况下,通过与作为反映用户自己的个性的“另一个自己”的化身进行交流,用户可以客观地看待用户自己,或者可以被促使做出决定。
此外,要与另一个用户交流的对手是化身,因此能够实现通过真实意图的交流。
此外,在用户与另一个人的化身进行聊天等的情况下,可以在另一个人的设备上呈现该用户的化身。
此外,化身可以被显示给孩子的父母或者爱人,并且可以经由所显示的化身来呈现当前用户的情绪估计结果。
此外,用户的化身和另一个用户的化身可以进行对话并观察其状况。
此外,可以使用化身来执行相容性算命。
此外,可以通过使得能够选择合适的朋友化身来寻求建议来了解朋友的观点和价值观,并且通过对其进行应用,在一个示例中,它还可以被用于在婚姻咨询师处寻找婚姻伴侣,以及在公司中招聘人力资源。
此外,与另一个用户的化身的交流可以执行为相互许可系统,或者可以基于关于其位置的信息进行交流。
此外,在一个示例中,它适用于战斗游戏。
换句话说,在将其应用于化身之间的战斗游戏的情况下,可以显示化身之间的参数。此外,可以改变根据化身的变化而可用的命令,使得用户可以从这些命令中选择动作(攻击、防御等)。此外,即使当在游戏战斗时没有来自用户的命令输入时,也可以通过预测基于关于累积的情绪的信息的动作来自动进行战斗。
可以根据基于情绪估计结果的主导情绪来分布化身的属性,并且可以以三向关系来设置化身的分布属性。在这种情况下,可以将基于用户情绪的估计结果而固定的化身主体的属性和基于用户情绪的估计结果而生成的属性与可与其他用户交换的项目进行组合。此外,在生成多个化身的情况下,用户可以适当地选择化身以对抗其他化身。此外,可以收集多个化身或与其他用户的化身交换多个化身。
<<9.第七变形例>>
<强化对象行为是教育或学习的示例>
虽然以上描述给出了强化对象行为是摄影的示例,但是强化对象行为可以是其他行为,只要它是用户想要强化而不引起用户的意识的行为即可,在一个示例中,它可以是教育或学习。
在一个示例中,如图31所示,为每个课程设置了化身,并且通过提高想要改变取决于每个课程的化身的意愿,可以强化诸如每个课程的教育和学习的行为。
在图31中,将国语、算术和科学设置为课程,并设置与每个课程对应的化身。此外,它示出根据在一个示例中通过每个课程的学习进度设置的参数而改变的每个化身,并且在图31中,国语的参数为lv4,算术的参数为lv20,科学的参数为lv12,因此设置与每个级别对应的化身。而且,虽然图31示出了为每个课程设置不同的化身的示例,但是化身可以是一种类型,并且可以根据擅长的课程或者对学习的态度来改变显示状态。
此外,在教育或学习的行为是强化对象行为的情况下,可以取决于任务基于最优学习方法、学习时间带和学习感觉来控制学习定时。
在这种情况下,可以促使用户以化身通过任务建议的形式来执行强化对象行为。此外,在这种情况下,可以使用化身建议的定时作为基准来检测脑电图和生物特征信息。
此外,化身的变化或情绪估计结果的累积可以链接到学习单元。
此外,可以通过任务来设置取决于用户的心情的课程。此外,可以在对于进行弱项课程而言的最优定时呈现任务。此外,可以在取决于遗忘曲线的最优定时呈现任务。已知取决于遗忘曲线的学习对于教育中的记忆保持高度有效。此外,通过使用化身表达情绪估计结果,能够将学习结果的客观评价呈现为指示努力的定性指标而非诸如测试的定量指标。
此外,在将教育或学习设置为强化对象行为的情况下,要估计的情绪集合可以包括与学习效率相关的情绪,诸如专注和沉浸。此外,可以给不专注以惩罚,而非给专注以激励。此外,化身可以基于消极情绪而改变。此外,可以改变化身,使得可以评价诸如“努力过了”的定性手段。在这种情况下,在一个示例中,化身的变化不仅可以由用户通过将其视为对强化对象行为的评价来检查,而且可以由诸如用户的指导者的第三方通过将其视为对强化对象行为的评价来检查。指导者可以通过化身的评价来决定针对强化对象行为的指导内容。此外,即使不增加与学习相关的得分,也可以设置任务以对努力进行评价并使得更加刻苦。然后,可以根据学习内容来改变化身。
化身可以具有反映擅长的课程的外观。此外,估计不擅长的课程,并且化身改变,使得化身随着克服不擅长的课程而变得强大并且其强度增加,并且优点增加的事实或弱点被克服的事实可以反映在化身的形式或参数中。
而且,本文中使用的教育的示例包括学习(认知教育)、学校教育、非认知教育、交流、道德、感性、学校未教授的东西、武术精神、俱乐部活动、体育锻炼、禅修、精神统一、正念、爱好训练(诸如瑜伽)以及广义的达成目标。
而且,在一个示例中,强化对象行为可以是进行交流的行为。
在这种情况下,可以在作为触发的与另一个人的对话的开始之前和之后测量脑电图。此外,要测量的脑电图可以是另一个用户的脑电图而非用户自己的脑电图。另一个用户的脑电图的测量使得能够量化和可视化另一个用户具有的关于该用户的情绪或者关于该用户的评价。
此外,可以基于取决于对手自己的话语的对手的反应来改变化身。
因此,可以识别用户自己的对话特点。在这种情况下,通过设置想要进行的对话或想要成为的用户自己或者推荐这样的外观,能够执行要获得这样的外观的想要进行的对话的强化作为短期和长期神经反馈。此外,要进行的对话的设置使得能够进行温和、有趣或独创的对话。
在这种情况下,交流的教育的内容可以用于销售人员的销售讲座、演示练习以及管理工作时与下属的交流练习。
此外,在这种情况下,化身可以给出取决于对话的习惯的建议,并且在这种情况下,能够提供以设置的“想成为的自己”为目标的指导。
此外,可以改变化身,使得可以理解教练的效果。
此外,在交流是强化对象行为的情况下,如果不加修改地反映对手的情绪的估计结果,则另一个用户的情绪估计结果反映在用户的化身中,因此可以反映基于对手的反应的估计的用户自己的情绪估计结果,而不是不加修改地反映对手的情绪估计结果。
此外,可以根据对手来改变不同的化身。
此外,可以基于通过累积情绪估计结果而获得的化身来估计兴趣和关心,因此,在一个示例中,其适用于广告和产品推荐。
换句话说,可以执行与从情绪估计结果和化身获知的趋势对应的产品推荐、与情绪估计结果对应的产品和服务推荐以及基于来自相同情绪估计结果的具有相似情绪趋势的人的购买日志的产品推荐、内容(电影或音乐)的推荐。
此外,基于情绪估计结果或化身,其适用于内容的内容的动态变化、产品广告布局、web配置的变化、取决于当前状态的实时变化以及取决于个性类型的变化。
此外,可以基于情绪估计结果来优化搜索结果。
此外,可以将情绪估计结果合并到搜索算法中。
此外,化身反映了通过用户执行强化对象行为时的脑电图检测结果和生物特征信息的重复的长期测量而获得的用户的潜在意识。因此,可以以高准确度推荐产品等,从而执行有效的产品推荐。
具体地,在学习是强化对象行为的情况下,可以推荐辅助学习的产品。换句话说,可以将与强化对象行为相关的产品设置为推荐产品。
<<10.第八变形例>>
<使用虚拟现实(vr)护目镜型脑电图仪的示例>
虽然以上描述给出了包括脑电图仪31、生物特征传感器32、信息处理装置41和显示装置42的信息处理系统11,但是在一个示例中,可以通过采用虚拟现实(vr)护目镜型脑电图仪来集成脑电图仪和显示装置。
图32图示了集成了脑电图仪31和显示装置42的显示单元113的vr护目镜型脑电图仪601的示例性配置。图32的左部是鸟瞰图,并且图32的右部是护目镜部分611从后面看的透视图。
vr护目镜型脑电图仪601包括护目镜部分611和带子612,并且在护目镜部分611与用户21的眼睛接触的情况下通过带子612固定到用户21的头部。
护目镜部分611在图中的后表面部分611a上设有与显示装置42的显示单元113对应的显示单元,用于在显示单元113上显示显示图像。
另外,带子612包括缠绕在头部的侧表面周围的部分612a和缠绕在头部的顶部周围的部分612b。
在带子612的部分612a的侧面的左侧和右侧分别设置了与用户21的头部接触的两个电极613b。此外,在部分612a的头部的背面设置了与用户21的头部接触的三个电极613c。此外,在带子612的部分612b的顶部设置了与用户21的头部接触的两个电极613a。此外,在护目镜部分611的背面部分611a的与前额接触的上部设置了三个电极613d。电极613a至613d与图2中的电极31a至31c对应。
vr护目镜型脑电图仪601通过12个电极613a至613d来测量脑电图。此外,用户能够在观看由护目镜部分611显示的图像的时强化强化对象行为。
而且,虽然在这个示例中电极的数量是12,但是电极的数量可以是12以外的数量,并且即使电极的数量是12,也可以使用从这些电极中选择的一些电极。
此外,除了如图33所示的配置之外,vr护目镜型脑电图仪还可以具有被布置在头部的背面、头部的顶部、头部的侧面等的配置。此外,vr护目镜型脑电图仪可以根据其放置在头部的位置来测量特有的脑电图,因此可以根据其应用或使用来执行考虑要放置到头部的哪个位置或者要使用哪个电极的设计。
<<11.第九变形例>>
<使用增强现实(ar)眼镜型脑电图仪的示例>
虽然以上描述给出了vr护目镜型脑电图仪,但是可以使用增强现实(ar)眼镜型脑电图仪。
图33图示了ar眼镜型脑电图仪的示例性配置。图33的上部示出了集成式ar眼镜型脑电图仪的示例性配置,并且图33的下部示出了ar眼镜型脑电图仪的功能被添加到现有眼镜的示例性配置。
图33的左侧所示的ar眼镜型脑电图仪631包括透明显示器631a、成像单元631b和电极631c。
透明显示器631a是在从用户的眼睛透射出外界的状态下可见并且在叠加了ar显示图像的状态下可见的显示器,并且具有与显示装置42的显示单元113对应的配置。
成像单元631b具有与信息处理装置41中的成像单元94对应的配置。
电极613c是与前额的中部和左右太阳穴之间的头皮接触的电极,并且与图2中的电极31a至31c对应。
此外,附到图33的下部示出的现有眼镜651的ar眼镜型脑电图仪641包括电极661、成像单元662和投影仪663。
电极661是与用户21的头部接触的电极,并且与图2中的电极31a至31c对应。
成像单元662具有与信息处理装置41中的成像单元94对应的配置。
投影仪663将图像直接投影在用户21的眼睛上,使得其上叠加有ar图像的图像被观看,并且具有与显示装置42的显示单元113对应的配置。
脑电图仪631或641附到用户,使得用户能够同时观看现实世界和以增强形式叠加在现实世界上的信息。
为此,在一个示例中,能够实现如图34所示的显示图像。
图34图示了通过穿戴ar眼镜型脑电图仪631或641观看到的图像的示例。在图34中,在现实世界中的另一个用户581能够直接观看的状态下,示出了用户自己的化身591、用户自己的化身591的标记气球592、对手化身582、另一个用户的标记气球583和对手化身582的标记气球584叠加在现实世界上的图像。
此外,除了如图35所示的配置之外,ar眼镜型脑电图仪还可以具有被布置在头部的背面、头部的顶部、头部的侧面等的配置。此外,ar眼镜型脑电图仪可以根据其放置在头部的位置来测量特有的脑电图,因此可以根据其应用或使用来执行考虑要放置到头部的哪个位置或者要使用哪个电极的设计。
<<12.第十变形例>>
<与信息处理系统的配置集成的脑电图仪的示例>
虽然以上描述给出了使用ar眼镜型脑电图仪的示例,但是信息处理系统11的配置可以与脑电图仪集成。
图35图示了集成了信息处理系统11的配置和脑电图仪的情况下的示例性配置。
换句话说,将集成了信息处理系统11的配置和脑电图仪的信息处理装置701以带状缠绕在用户21的头部周围,并且在右头部设置有成像单元702,并且在右眼上设置有透视显示单元703。
如图36所示,信息处理装置701包括电极721-1和721-2、信号处理单元722、信息处理单元723、显示控制单元724、图像处理单元725、加速度计726、温度传感器727、gps728、控制单元729、通信单元730、输入/输出单元731以及存储单元732。
如上所述,集成配置使得能够进行实时分析,并且不需要通信,因此它可以离线使用并且功耗小,从而使得能够用电池长期驱动。
而且,电极721-1和721-2与图3中的电极71-1和71-2对应,并且信号处理单元722与图3中的信号处理单元72对应。信息处理单元723和图像处理单元725分别与信息处理单元93和图像处理单元95对应。控制单元729、通信单元730、输入/输出单元731和存储单元732分别与控制单元91、通信单元92、输入/输出单元112和存储单元96对应。因此,将省略其描述。此外,其操作基本上类似于图3的信息处理系统的操作,因此将省略描述。
<<13.由软件执行的示例>
在本说明书中,上述一系列处理能够由硬件执行,但是也能够由软件执行。在这一系列处理由软件执行的情况下,软件中包括的程序在一个示例中从记录介质安装到内置有专用硬件的计算机或者通过安装各种程序等而能够执行各种功能的通用个人计算机。
图37示出了通用个人计算机的配置示例。该个人计算机具有内置的中央处理单元(cpu)1001。输入/输出接口1005经由总线1004连接到cpu1001。只读存储器(rom)1002和随机存取存储器(ram)1003连接到总线1004。
包括用户通过其输入操作命令的诸如键盘和鼠标的输入设备的输入单元1006、将处理操作画面或处理结果的图像输出到显示设备的输出单元1007、包括存储程序或各种数据的硬盘驱动器等的存储单元1008以及包括局域网(lan)适配器等并通过由互联网代表的网络执行通信处理的通信单元1009连接到输入/输出接口1005。此外,磁盘(包括软盘)、光盘(包括紧凑盘只读存储器(cd-rom)和数字多功能盘(dvd))、磁光盘(包括迷你盘(md))或者从诸如半导体存储器的可移动记录介质1011读写数据的驱动器1010连接到输入/输出接口1005。
cpu1001根据rom1002中存储的程序或者从磁盘、光盘、磁光盘或诸如半导体存储器的可移动记录介质1011中读取并安装在存储单元1008中并从存储单元1008加载到ram1003的程序来执行各种处理。ram1003还适当地存储cpu1001执行各种处理所需的数据。
在如上所述配置的计算机中,cpu1001经由输入/输出接口1005和总线1004将存储在例如存储单元1008中的程序加载到ram1003上,并且执行该程序,从而执行上述一系列处理。
例如,可以在可移动记录介质1011中记录并提供要由计算机(cpu1001)执行的程序,该可移动记录介质1011是封装式介质等。此外,可以经由有线或无线传输介质(诸如局域网、互联网和数字卫星广播)来提供程序。
在计算机中,通过将可移动记录介质1011安装到驱动器1010上,可以经由输入/输出接口1005将程序安装到存储单元1008中。程序也可以由通信单元1009经由有线或无线传输介质接收,并被安装到存储单元1008中。此外,可以预先将程序安装到rom1002或存储单元1008中。
注意,由计算机执行的程序可以是以本文中描述的次序在时间序列中按时间顺序进行处理的程序,或者可以是并行或者在诸如调用处理时的必要的定时进行处理的程序。
而且,图3中的信息处理装置41与图37中的个人计算机对应。
另外,在本说明书中,系统具有多个结构元素(诸如装置或模块(部分))的集合的含义,并且没有考虑是否所有结构元素都在相同壳体中。因而,包含在不同壳体中并经由网络连接的多个设备和多个模块包含在一个壳体中的一个设备都是系统。
注意,本公开的实施例不限于上述实施例,并且可以在不脱离本公开的范围的情况下进行各种改变和变形。
例如,本公开可以采用云计算的配置,其中多个设备经由网络共享单个功能并且协同执行处理。
此外,上述流程图中的每个步骤可以由单个设备执行,或者由多个设备共享并执行。
此外,在一个步骤中包括多个处理的情况下,这一个步骤中包括的多个处理可以由一个设备执行,或者可以通过分配给多个设备来执行。
另外,本公开可以包括以下配置。
<1>一种信息处理装置,包括:
信息处理单元,被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点。
<2>根据<1>所述的信息处理装置,
其中信息处理单元呈现用于促使强化对象行为的信息,并且
信息处理装置还包括脑电图检测单元,该脑电图检测单元被配置为在基于执行强化对象行为的定时的预定定时检测脑电图。
<3>根据<2>所述的信息处理装置,
其中脑电图检测单元在执行强化对象行为的定时、在从执行强化对象行为的定时的预定时间之前的定时到执行强化对象行为的定时的预定时间之后的定时的时段期间、或者在从执行强化对象行为的定时之前的预定时间的定时开始的预定时段期间检测脑电图。
<4>根据<1>至<3>中的任一项所述的信息处理装置,
其中化身是用于使用户识别情绪估计结果的表示的形式。
<5>根据<1>至<4>中的任一项所述的信息处理装置,
其中特点是化身的外观、文本格式的显示内容、语音、振动、气味、触觉、味觉以及使用机器人的情况下的移动或姿势。
<6>根据<2>所述的信息处理装置,
其中强化对象行为是摄影。
<7>根据<6>所述的信息处理装置,还包括:
成像控制单元,被配置为控制在摄影中捕获的照片的成像;以及
显示控制单元,被配置为使照片和化身被显示。
<8>根据<2>所述的信息处理装置,
其中信息处理单元将用于促使强化对象行为的信息呈现为课题。
<9>根据<1>至<8>中的任一项所述的信息处理装置,还包括:
情绪估计单元,被配置为分析检测到的脑电图,确定指示多种元素情绪中的每种元素情绪的强度或比率的得分,并且输出该得分作为情绪估计结果。
<10>根据<9>所述的信息处理装置,
其中信息处理单元每当情绪估计结果被输出时基于多种元素情绪中的每种元素情绪的得分来指定预定情绪,并且针对多种元素情绪中的每种元素情绪将预定情绪的指定的次数存储在长期变化表中。
<11>根据<10>所述的信息处理装置,
其中信息处理单元基于针对每种情绪的预定情绪的指定的次数来改变并呈现化身的形式,该次数被存储在长期变化表中。
<12>根据<10>所述的信息处理装置,
其中预定情绪是在多种元素情绪中具有最高强度或比率的主导情绪,并且
信息处理单元根据主导情绪的指定的次数大于预定次数的情绪来改变和呈现化身的特点,该次数被存储在长期变化表中。
<13>根据<1>所述的信息处理装置,
其中强化对象行为是摄影,并且
信息处理单元将通过摄影捕获的图像与关于化身的特点的信息相关联地存储为历史。
<14>根据<13>所述的信息处理装置,
其中信息处理单元还将与基于情绪估计结果的情绪相关的信息与通过摄影捕获的图像相关联地记录。
<15>根据<1>至<14>中的任一项所述的信息处理装置,
其中信息处理单元使显示单元显示指示化身的特点的变化的历史的历史图像。
<16>根据<1>所述的信息处理装置,
其中信息处理单元使显示单元显示用于基于多次获得的情绪估计结果来预测化身的特点的变化的预测图像。
<17>一种信息处理方法,包括:
基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点的信息处理。
<18>一种程序,该程序使计算机用作:
信息处理单元,被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点。
<19>一种信息处理系统,包括:
脑电图仪;以及
信息处理装置,
其中脑电图仪包括
脑电图检测单元,被配置为响应于用户的强化对象行为来检测脑电图,并且
信息处理装置包括
信息处理单元,被配置为基于根据检测到的脑电图估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现特点。
附图标记列表
11信息处理系统
21用户
31脑电图仪
32传感器
41信息处理装置
42显示装置
43服务器
71-1至71-n电极
72信号处理单元
73控制单元
74通信单元
91控制单元
92通信单元
93信息处理单元
94成像单元
95图像处理单元
96存储单元
111控制单元
112输入/输出单元
113显示单元
114通信单元
501服务器
511-1至511-3终端
601vr护目镜型脑电图仪
631、641ar眼镜型脑电图仪
1.一种信息处理装置,包括:
信息处理单元,被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点,并呈现所述特点。
2.根据权利要求1所述的信息处理装置,
其中,所述信息处理单元呈现用于促使所述强化对象行为的信息,并且
所述信息处理装置还包括脑电图检测单元,该脑电图检测单元被配置为在基于执行所述强化对象行为的定时的预定定时检测所述脑电图。
3.根据权利要求2所述的信息处理装置,
其中,所述脑电图检测单元在执行所述强化对象行为的定时、在从执行所述强化对象行为的定时的预定时间之前的定时到执行所述强化对象行为的定时的预定时间之后的定时的时段期间、或者在从执行所述强化对象行为的定时之前的预定时间的定时开始的预定时段期间检测脑电图。
4.根据权利要求1所述的信息处理装置,
其中,所述化身是用于使用户识别所述情绪估计结果的表示的形式。
5.根据权利要求1所述的信息处理装置,
其中,所述特点是所述化身的外观、文本格式的显示内容、语音、振动、气味、触觉、味觉以及使用机器人的情况下的移动或姿势。
6.根据权利要求2所述的信息处理装置,
其中,所述强化对象行为是摄影。
7.根据权利要求6所述的信息处理装置,还包括:
成像控制单元,被配置为控制在所述摄影中捕获的照片的成像;以及
显示控制单元,被配置为使所述照片和所述化身被显示。
8.根据权利要求2所述的信息处理装置,
其中,所述信息处理单元将用于促使所述强化对象行为的信息呈现为课题。
9.根据权利要求1所述的信息处理装置,还包括:
情绪估计单元,被配置为分析检测到的脑电图,确定指示多种元素情绪中的每种元素情绪的强度或比率的得分,并且输出该得分作为所述情绪估计结果。
10.根据权利要求9所述的信息处理装置,
其中,所述信息处理单元每当所述情绪估计结果被输出时基于所述多种元素情绪中的每种元素情绪的得分来指定预定情绪,并且针对所述多种元素情绪中的每种元素情绪将所述预定情绪的指定的次数存储在长期变化表中。
11.根据权利要求10所述的信息处理装置,
其中,所述信息处理单元基于针对所述情绪中的每种情绪的所述预定情绪的指定的次数来改变并呈现所述化身的形式,所述次数被存储在所述长期变化表中。
12.根据权利要求10所述的信息处理装置,
其中,所述预定情绪是在所述多种元素情绪中具有最高强度或比率的主导情绪,并且
所述信息处理单元根据所述主导情绪的指定的次数大于预定次数的情绪来改变和呈现所述化身的特点,所述次数被存储在所述长期变化表中。
13.根据权利要求1所述的信息处理装置,
其中,所述强化对象行为是摄影,并且
所述信息处理单元将通过所述摄影捕获的图像与关于所述化身的特点的信息相关联地存储为历史。
14.根据权利要求13所述的信息处理装置,
其中,所述信息处理单元还将与基于所述情绪估计结果的情绪相关的信息与通过所述摄影捕获的图像相关联地记录。
15.根据权利要求1所述的信息处理装置,
其中,所述信息处理单元使显示单元显示指示所述化身的特点的变化的历史的历史图像。
16.根据权利要求1所述的信息处理装置,
其中,所述信息处理单元使显示单元显示用于基于多次获得的所述情绪估计结果来预测所述化身的特点的变化的预测图像。
17.一种信息处理方法,包括:
基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果将由先前情绪估计结果确定的化身的特点改变为其他特点并呈现所述特点的信息处理。
18.一种程序,该程序使计算机用作:
信息处理单元,被配置为基于根据响应于强化对象行为而检测到的脑电图来估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点,并呈现所述特点。
19.一种信息处理系统,包括:
脑电图仪;以及
信息处理装置,
其中,所述脑电图仪包括脑电图检测单元,被配置为响应于用户的强化对象行为来检测脑电图,并且
所述信息处理装置包括信息处理单元,被配置为基于根据检测到的脑电图估计的情绪估计结果,将由先前情绪估计结果确定的化身的特点改变为其他特点,并呈现所述特点。
技术总结