本公开涉及信息提供系统、服务器、移动终端、非暂时性存储介质和信息提供方法。
背景技术：
已经提出了通过在车辆行驶期间向驾驶员呈现警告来避免各种事故的危险的方法。例如，在第2004-252550号日本未审查专利申请公开(jp2004-252550a)中公开的驾驶辅助系统在车辆前方的捕获图像中通过图像处理指定危险场景，并通知驾驶员危险场景。
技术实现要素：
用于预测诸如车辆的行驶的移动期间的危险的技术需要在较早的时机进行更准确的预测。
本发明提供了提高了移动期间的危险预测的及时性和准确性的信息提供系统等。
根据本公开的第一方面给的信息提供系统具有彼此发送和接收信息的车载装置、服务器和移动终端。车载装置具有成像单元和第一发送单元，成像单元捕获车辆附近的图像，第一发送单元将位置信息、车辆状态信息和捕获的图像数据发送至服务器。服务器具有危险地点信息创建单元和第二发送单元，危险地点信息创建单元基于车辆状态信息和捕获的图像数据创建具有危险等级并且与位置信息相关联的危险地点信息，第二发送单元将危险地点信息发送至移动终端。移动终端具有第三发送单元、接收单元和输出单元，第三发送单元将移动终端的位置信息发送至服务器，接收单元接收与移动终端的位置信息相对应的危险地点信息，输出单元输出基于危险地点信息的警告。
根据本公开的第二方面的服务器包括：接收单元，其从车载装置接收位置信息、车辆状态信息和车辆附近的捕获的图像数据，并从移动终端接收移动终端的位置信息；危险地点信息创建单元，其基于车辆状态信息和捕获的图像数据，创建具有危险等级并且与位置信息相关联的危险地点信息；以及发送单元，其将与从移动终端接收的移动终端的位置信息相对应的危险地点信息发送至移动终端，从而在移动终端处生成基于危险地点信息的警告。
根据本公开的第三方面的移动终端包括：发送单元，其将移动终端的位置信息发送至服务器，服务器基于从车载装置获得的位置信息、车辆状态信息和捕获的图像数据，创建具有危险等级的危险地点信息；接收单元，其从服务器接收与移动终端的位置信息相对应的危险地点信息；以及输出单元，其输出基于危险地点信息的警告。
根据本公开的第四方面的存储程序的非暂时性存储介质，该程序使移动终端将移动终端的位置信息发送至服务器，服务器基于从车载装置获得的位置信息、车辆状态信息和捕获的图像数据，创建具有危险等级的危险地点信息，程序还使移动终端从服务器接收与移动终端的位置信息相对应的危险地点信息，并输出基于危险地点信息的警告。
根据本公开的第五方面的信息提供方法由彼此发送和接收信息的车载装置、服务器和移动终端实现。在该信息提供方法中，车载装置捕获车辆附近的图像，并将位置信息、车辆状态信息和捕获的图像数据发送至服务器，并且服务器基于车辆状态信息和捕获的图像数据创建具有危险等级并且与位置信息相关联的危险地点信息，并将危险地点信息发送至移动终端，而移动终端将移动终端的位置信息发送至服务器，接收与移动终端的位置信息相对应的危险地点信息，并输出基于危险地点信息的警告。
本公开的信息提供系统等可以提高移动期间危险预测的及时性和准确性。
附图说明
本发明的示例实施例的特征、优点和技术及工业意义，将在下文中参考附图而加以描述，其中相似标号表示相似要素，且其中：
图1是展示信息提供系统的配置的图；
图2是展示服务器的配置的图；
图3是展示车载装置的配置的图；
图4是展示移动终端的配置的图；
图5是示出车载装置的操作过程的流程图；
图6是示出服务器的操作过程的流程图；
图7是展示服务器和移动终端的操作过程的序列图；
图8是展示危险地点信息数据库(database，db)的示例的图；和
图9是示出危险地点信息的输出示例的图。
具体实施方式
将参考附图描述本发明的一个实施例。
图1展示了根据一个实施例的信息提供系统1的配置。信息提供系统1具有服务器10、移动终端12和安装在车辆14上的车载装置11。车辆14例如是汽车，但不限于此，并且可以是用户可以进入的任何车辆。车载装置11具有捕获图像的成像功能。服务器10、车载装置11和移动终端12通过有线或无线连接，使得数据可以经由网络13在它们之间传输。信息提供系统1可以具有分别安装在多个车辆14上的多个车载装置11。利用这种配置，服务器10、车载装置11和移动终端12彼此发送和接收各种信息。
信息提供系统1基于危险事件的捕获的图像和该事件时的车辆状态，指定在车辆行驶期间具有高的危险事件的发生的可能性的危险地点，并向用户提供危险地点信息。例如，车载装置11捕获车辆附近的图像或图像，并将位置信息、车辆状态信息和捕获的图像数据发送至服务器10。然后，服务器10基于车辆状态信息和捕获的图像数据指定具有特定危险等级的危险地点。然后，服务器10将与移动终端12的位置信息相对应的危险地点信息发送至移动终端12。然后，移动终端12接收危险地点信息，并输出警告。由于信息提供系统1基于实际成像的危险场景和场景出现时车辆14的特征车辆状态来确定危险等级，因此系统1可以高准确性地指定具有高的危险的发生的可能性的危险地点，并且可以向用户提供具有更高可靠性的危险地点信息。
图2展示了服务器10的配置。服务器10具有通信单元20、存储单元21和控制器22。服务器10可以是一台计算机，或者由可以彼此通信的两个或更多台计算机组成。
通信单元20包括连接至网络13的一个或多个通信模块。例如，通信单元20可以包括符合有线局域网(localareanetwork，lan)标准的通信模块。在该实施例中，服务器10经由通信单元20连接至网络13。
存储单元21包括一个或多个存储器。包括在存储单元21中的每个存储器用作主存储装置、辅助存储装置或高速缓冲存储器。存储单元21存储用于服务器10的操作、控制和处理程序以及数据库的任何信息。存储单元21还存储将每个危险地点与危险等级相关联的危险地点信息数据库(database，db)23。稍后将详细描述危险地点信息db23。
控制器22具有一个或多个处理器。每个处理器是通用处理器，或专用于特定处理的专用处理器，但不限于这些处理器。控制器22根据存储在存储单元21中的控制和处理程序来控制服务器10的操作。控制器22还具有用于获得当前时间的时间测量功能。
图3展示了车载装置11的配置。.车载装置11具有通信单元31、存储单元32、检测单元33、成像单元34和控制器36。车载装置11可以是单个装置，或者可以由两个或更多个装置组成。
通信单元31具有一个或多个通信模块。通信模块包括符合移动电信标准(例如第四代(4thgeneration，g)或第五代(5thgeneration，5g))的一个或多个模块。此外，通信单元31可以具有通信设备，例如数据通信模块(datacommunicationmodule，dcm)。车载装置11经由通信单元31连接至网络13，并且与服务器10进行数据通信。通信模块还包括全球定位系统(globalpositioningsystem，gps)接收器模块。车载装置11经由通信单元31接收gps信号。
存储单元32包括一个或多个存储器。存储单元32中包括的每个存储器例如是半导体存储器、磁存储器或光存储器，但不限于此。例如，每个存储器用作主存储装置、辅助存储装置或高速缓冲存储器。存储单元32存储用于车载装置11的操作的任何信息。例如，存储单元32可以存储控制和处理程序、内置软件等。
检测单元33具有检测车速、制动力、加速度、转向角、横摆角速度等的各种传感器。检测单元33以给定间隔将这些传感器的检测结果发送至控制器36。
成像单元34实现车载装置11的成像功能。例如，成像单元34具有捕获在行驶方向上的车辆14前方的景观和物体的图像的一个或多个摄像头。成像单元34还可以具有在车辆14的横向方向上和车辆14的后方捕获图像的摄像头。成像单元34的每个摄像头可以是单目摄像头或立体摄像头。成像单元34捕获自身车辆外部的景观和物体的图像，以创建捕获的图像数据，并将数据发送至控制器36。
控制器36具有一个或多个处理器。每个处理器是通用处理器，或专用于特定处理的专用处理器，但不限于这些处理器。例如，安装在车辆14上的电子控制单元(electroniccontrolunit，ecu)可以用作控制器36。控制器36控制车载装置11的整体操作。而且，控制器36具有用于获得当前时间的时间测量功能。
图4展示了移动终端12的配置。移动终端12具有通信单元41、存储单元42、输入-输出单元43，导航单元44和控制器45。移动终端12例如是提供路线引导的导航装置，并且与车载装置11连接或一体形成，以固定到车辆14。替代性地，移动终端12可以是具有导航功能的便携式电子装置，例如智能手机或平板电脑。
通信单元41具有连接至网络13的一个或多个通信模块。通信模块可以包括符合移动电信标准(例如4g或5g)的一个或多个模块。移动终端12经由通信单元41连接至网络13。通信模块包括gps接收器模块。移动终端12经由通信单元41接收指示当前位置的gps信号。
存储单元42具有一个或多个存储器。例如，每个存储器是半导体存储器，但不限于此。例如，每个存储器可以用作主存储装置、辅助存储装置或高速缓冲存储器。存储单元42存储关于移动终端12的控制和处理操作的任何信息。
输入-输出单元43具有检测由用户输入的输入信息的输入接口，并将输入的信息发送至控制器45。输入接口的形式例如为物理键、电容键、与面板显示器一体提供的触摸屏，或接收语音输入的麦克风，但不限于这些，并且可以是任何输入接口。此外，输入-输出单元43具有输出接口，该输出接口将由控制器45创建的或从存储单元42读取的信息输出至用户。输出接口例如是以图像或视频的形式输出信息的面板显示器，或者以语音形式输出信息的扬声器，但不限于这些，并且可以是任何输出接口。
导航单元44具有执行关于路线引导的处理的一个或多个处理器。替代性地，导航单元44可以由控制器45执行的软件(例如程序等)来实现。导航单元44从存储单元42获得地图信息，并从输入-输出单元43获得由用户输入的输入信息。此外，导航单元44从通信单元41获得gps信号，并基于gps信号检测当前位置(例如，纬度和经度)。导航单元44基于用户输入信息、当前位置等创建用于路线引导的信息，并使输入-输出单元43将信息呈现给用户。此外，导航单元44经由通信单元41从服务器10获得危险地点信息，并使输入-输出单元43将警告呈现给用户。
控制器45具有一个或多个处理器。每个处理器例如是通用处理器，或专用于特定处理的专用处理器，但不限于这些处理器。控制器45根据存储在存储单元42中的控制和处理程序控制移动终端12的操作，并执行各种应用程序。
参照图5至图7，将描述信息提供系统1的操作。图5、图6和图7是示出根据该实施例的信息提供系统1的操作的流程图。图5展示了车载装置11的操作过程，图6展示了服务器10的操作过程。图7展示了服务器10和移动终端12的操作过程。
举例来说，一旦车载装置11被激活，则周期性地(例如，以几毫秒到几秒的间隔)执行图5所示的车载装置11的操作过程。
最初，车载装置11检测位置信息，并创建车辆状态信息(步骤s500)。在车载装置11中，控制器36从通信单元31获得gps信号，并且例如基于gps信号检测车辆14的当前位置。此外，控制器36从检测单元33获得各种传感器的检测结果，并创建包括制动力、加速度、转向角、横摆角速度等的车辆状态信息。车辆状态信息用于确定危险的车辆状态，该危险的车辆状态是危险场景的特征。
然后，车载装置11捕获车辆附近的图像，并检测图像被捕获的时间(将被称为“成像时间”)(步骤s501)。例如，控制器36指令成像单元34捕获图像，并且成像单元34捕获行进方向上的车辆14前方的景观和物体的图像。而且，控制器36使用其中包含的时间测量功能来获得成像时间。
然后，车载装置11将位置信息、车辆状态信息、捕获的图像数据和成像时间信息发送至服务器10(步骤s502)。例如，控制器36从成像单元34获得捕获的图像数据，并且经由通信单元31将捕获的图像数据和检测到的成像时间信息、位置信息和车辆状态信息发送至服务器10。
步骤s500、s501和每个步骤中的操作顺序不限于图5中所示的示例的顺序。而且，替代于周期性地执行步骤s500至s502，例如，车载装置11可以响应于在步骤s500中的预定车辆状态(例如，给定制动力或转向角)的检测作为触发而执行步骤s502。
举例来说，周期性地(例如，以几毫秒到几秒的间隔)执行图6所示的服务器10的操作过程。
最初，服务器10从车载装置11接收位置信息、车辆状态信息、捕获的图像数据和成像时间信息(步骤s600)。在服务器10中，控制器22经由通信单元20从车载装置11接收位置信息、车辆状态信息、捕获的图像数据和成像时间信息。当多个车辆14中的多个车载装置11中的每个车载装置11周期性地执行图5所示的过程时，服务器10针对地图上的不同位置处的多个地点中的每个地点收集车辆状态信息、捕获的图像数据和成像时间信息。
然后，服务器10从针对每个位置的捕获的图像数据中检测危险场景(步骤s601)。危险场景的示例包括：从某一物体后面突然出现的其他车辆(例如二轮车辆)、行人等，以及在过高亮度状态下(例如，背光或过度太阳辐射)或在低亮度状态下(例如，黄昏、夜间、多云天气或阴雨天气)其他车辆、静止物体、行人等的可见度的降低。例如，控制器22通过对捕获的图像数据执行图像识别处理(例如边缘识别、图像亮度分布和模式识别)以及距离检测处理来检测危险场景。例如，控制器22基于多条连续的捕获的图像数据的按时间发生的变化来检测对象的移动及其速度。例如，当物体从其他物体后面出现同时以等于或高于给定的参考速度的速度移动时，控制器22确定物体的突然出现。并且，当在过高亮度状态下从高亮度背景或者在低亮度状态下从低亮度背景在比给定的参考距离更小的距离处检测到例如其他车辆、静止物体或行人时，控制器22确定可见度的降低。在这方面，任何方法(例如机器学习)可以用于捕获的图像数据上的图像识别处理等。
然后，服务器10从车辆状态信息中检测危险的车辆状态(步骤s602)。危险的车辆状态是特征性的或典型的危险场景的车辆状态。危险的车辆状态包括例如突然制动、突然转向以及这些状态的组合。控制器22检测表示突然制动的制动力或负加速度，或表示突然转向的转向角或横摆角速度。用于检测危险的车辆状态的制动力、负加速度、转向角和横摆角速度的参考值根据实验等设定。除了上述方法之外，还可以通过任何给定的方法(例如机器学习)检测危险的车辆状态。
然后，服务器10创建并存储危险地点信息(步骤s603)。例如，当在某个位置检测到危险场景或危险的车辆状态时，控制器22将该位置确定为危险地点。然后，控制器22在危险地点信息db23中与危险场景类型82、危险的车辆状态类型83、时间84和危险等级85相关联地存储针对每个危险地点的位置信息(纬度和经度)81，如图8所示。例如，危险场景类型82具有数据，例如“行人的突然出现”、“车辆的突然出现”、“在高亮度状态下降低可见度”和“在低亮度状态下降低可见度”等数据。例如，危险的车辆状态类型83具有数据，例如“突然制动”和“突发转向”。例如，时间84是其中检测到危险场景的捕获的图像数据的成像时间，即，可能发生危险场景的时间。当检测到危险场景和危险的车辆状态二者时，危险等级85被确定为“危险等级：高”，并且当检测到危险场景和危险的车辆状态中的任何一者时，危险等级85被确定为“危险等级：中”。
这里，执行步骤s601至s603的控制器22对应于“危险地点信息创建单元”。
举例来说，当移动终端12的通信单元41或导航单元44被激活时，周期性地(例如，以几毫秒到几秒的间隔)执行图7中所示的服务器10和移动终端12的操作过程。
移动终端12将位置信息和当前时间信息发送至服务器10(步骤s700)。在移动终端12中，控制器45定期基于gps信号检测当前位置，并通过其中包含的时间测量功能获得当前时间。然后，控制器45经由通信单元41将位置信息和当前时间信息发送至服务器10。
服务器10从移动终端12接收位置信息和当前时间信息(步骤s701)，并获得与位置信息相对应的危险地点信息(步骤s702)。在服务器10中，控制器22经由通信单元20从移动终端12接收位置信息。然后，控制器22参考危险地点信息db23读取与移动终端12的位置相对应的危险地点的危险等级。与移动终端12的位置相对应的危险地点位于距移动终端12的位置的给定的距离范围(例如，10至20米)内。危险地点也可以位于移动终端12在移动方向上的轨迹的延伸。移动终端12的移动方向是从在过去操作中接收的移动终端12的位置的位移导出的。此外，控制器22可以将存在与移动终端12的当前时间相对应的危险场景时间的条件用作用于读取危险等级的条件。以这种方式，可以防止在白天的时间段中错误地读取日落(昏暗)时在低亮度状态下的危险等级，并且可以防止在冬季时间错误地读取在夏季时间的背光的高亮度状态下的危险等级。并且，控制器22可以根据危险等级选择性地挑选一个或多个危险地点，或者可以读取所有危险等级的危险地点的危险地点信息。随着危险等级越高，在危险地点处的危险的预测的准确性越高。因此，确保了预测的准确性。可以预先设定基于危险等级的选择标准，或者用户可以将选择输入到移动终端12中，并且服务器10的控制器可以根据选择而选择危险地点信息。
然后，服务器10将获得的危险地点信息发送至移动终端12(步骤s703)。控制器22使通信单元20发送危险地点信息。
然后，移动终端12接收危险地点信息(步骤s704)，并输出该信息(步骤s705)。例如，控制器45经由通信单元41接收危险地点信息，并以图像的形式在输入-输出单元43的面板显示器上输出危险地点信息。
图9展示了由移动终端12生成的危险地点信息的示例。如图9所示，移动终端12在地图信息屏幕画面90上显示车辆的当前位置91，以及当前位置附近的或预测为接近车辆的危险地点92。此外，移动终端12可以针对危险地点92显示或通过语音输出与各个危险场景类型相对应的警告93。
例如，可以根据移动终端12的操作模式改变与各个危险场景类型相对应的警告的输出(显示或语音输出)模式。操作模式是从在移动终端12被用作车辆14的导航装置的情况下的车辆模式和在移动终端12由用户在他/她正行走时携带的情况下的行人模式之中选择的。为了选择每个模式，用户在输入-输出单元43上输入他/她的选择。例如，对于检测到行人的突然出现的危险地点，在车辆模式中生成“注意行人突然出现”，而在行人模式中生成“不要跑到路上”。警告93还可以包括针对每个危险区域92的危险等级。移动终端12根据用户的需要以这种方式使用，确保了对于用户的提高的便利性。
因此，信息提供系统1可以提供更全面的危险地点信息。并且，当车辆14或用户接近危险地点时，可以预先呈现警告；因此，警告可以在更早的时机出现。此外，基于每个危险地点的图像处理结果和车辆状态确定危险等级；因此，确保了危险的预测的准确性。
虽然已经基于附图和实施例描述了本发明，但是应当理解，本领域技术人员可以基于本公开容易地进行各种修改和校正。因此，应注意，这些修改和校正包括在本发明的范围内。例如，可以重新布置包括在各个装置或各个步骤中的功能等，以使其在逻辑上不矛盾，并且可以将两个或更多个装置或步骤组合成一个装置或步骤，或者可以将单个装置或步骤分成两个或者更多个装置或步骤。在该实施例中，服务器10的控制器22和车载装置11的控制器36分别从存储单元21、32读取描述用于执行上述操作的过程的程序。因此，使得服务器10的控制器22、车载装置11的控制器36和移动终端12的控制器45执行根据实施例的操作的程序也包括在本发明的范围内。
此外，除了上述实施例中的网络之外，根据该实施例的网络13可以包括ad-hoc网络、局域网(localareanetwork，lan)、城域网(metropolitanareanetwork，man)、蜂窝网、无线个域网(wirelesspersonalareanetwork，wpan)、公共交换电话网(publicswitchedtelephonenetwork，pstn)，地面无线网络、光网络或其他网络，或这些网络中的两个或更多个网络的组合。无线网络的构成要素包括例如接入点(例如，wi-fi接入点)，微蜂窝基站等。此外，无线通信装置可以使用除蓝牙(注册商标名)之外的wi-fi(注册商标名)、蜂窝通信技术或其他无线技术和技术标准连接到无线网络。
因此，本公开的各个方面可以在许多不同的实施例中实现，并且这些实施例都包括在本发明的范围内。
1.信息提供系统，其具有彼此发送和接收信息的车载装置、服务器和移动终端，其特征在于：
所述车载装置具有成像单元和第一发送单元，所述成像单元捕获车辆附近的图像，所述第一发送单元将位置信息、车辆状态信息和捕获的图像数据发送至所述服务器；
所述服务器具有危险地点信息创建单元和第二发送单元，所述危险地点信息创建单元基于所述车辆状态信息和所述捕获的图像数据创建具有危险等级并且与所述位置信息相关联的危险地点信息，所述第二发送单元将所述危险地点信息发送至所述移动终端；并且
所述移动终端具有第三发送单元、接收单元和输出单元，所述第三发送单元将所述移动终端的位置信息发送至所述服务器，所述接收单元接收与所述移动终端的位置信息相对应的所述危险地点信息，所述输出单元输出基于所述危险地点信息的警告。
2.根据权利要求1所述的信息提供系统，其特征在于：
所述第一发送单元还将所述捕获的图像数据的成像时间发送至所述服务器；
所述危险地点信息创建单元将所述成像时间包括在所述危险地点信息中；
所述第三发送单元还将当前时间发送至所述服务器；并且
所述第二发送单元发送与所述当前时间相对应的所述危险地点信息。
3.根据权利要求1或2所述的信息提供系统，其特征在于，所述第二发送单元发送具有预定危险等级的危险地点信息。
4.根据权利要求1至3中任一项所述的信息提供系统，其特征在于，所述输出单元根据所述移动终端的操作模式来改变所述危险地点信息的输出模式。
5.服务器，其包括：
接收单元，其从车载装置接收位置信息、车辆状态信息和车辆附近的捕获的图像数据，并从移动终端接收所述移动终端的位置信息；
危险地点信息创建单元，其基于所述车辆状态信息和所述捕获的图像数据，创建具有危险等级并且与所述位置信息相关联的危险地点信息；以及
发送单元，其将与从所述移动终端接收的所述移动终端的位置信息相对应的所述危险地点信息发送至所述移动终端，从而在所述移动终端处生成基于所述危险地点信息的警告。
6.根据权利要求5所述的服务器，其特征在于：
所述接收单元还从所述车载装置接收所述捕获的图像数据的成像时间；
所述危险地点信息创建单元将所述成像时间包括在危险地点信息中；并且
所述发送单元发送与从所述移动终端接收的当前时间相对应的所述危险地点信息。
7.根据权利要求5或6所述的服务器，其特征在于，所述发送单元发送具有预定危险等级的危险地点信息。
8.移动终端，包括：
发送单元，其将所述移动终端的位置信息发送至服务器，所述服务器基于从车载装置获得的位置信息、车辆状态信息和捕获的图像数据，创建具有危险等级的危险地点信息；
接收单元，其从所述服务器接收与所述移动终端的位置信息相对应的危险地点信息；以及
输出单元，其输出基于所述危险地点信息的警告。
9.根据权利要求8所述的移动终端，其特征在于，所述输出单元根据操作模式来改变所述危险地点信息的输出模式。
10.存储程序的非暂时性存储介质，所述程序使移动终端将所述移动终端的位置信息发送至服务器，所述服务器基于从车载装置获得的位置信息、车辆状态信息和捕获的图像数据，创建具有危险等级的危险地点信息，所述程序还使所述移动终端从所述服务器接收与所述移动终端的位置信息相对应的危险地点信息，并输出基于所述危险地点信息的警告。
11.信息提供方法，其由彼此发送和接收信息的车载装置、服务器和移动终端实现，其特征在于：
所述车载装置捕获车辆附近的图像，并将位置信息、车辆状态信息和捕获的图像数据发送至所述服务器；
所述服务器基于所述车辆状态信息和所述捕获的图像数据创建具有危险等级并且与所述位置信息相关联的危险地点信息，并将所述危险地点信息发送至所述移动终端；并且
所述移动终端将所述移动终端的位置信息发送至所述服务器，接收与所述移动终端的位置信息相对应的所述危险地点信息，并输出基于所述危险地点信息的警告。
技术总结