相关申请的交叉引用
本申请要求根据35usc第119(e)条享有的2017年10月5日提交的美国临时申请第62/568,709号和2018年5月2日提交的美国非临时申请第15/969,632号的优先权，在此通过引用将其全部内容并入本文。
本申请涉及生理感测系统和方法，并且更具体地涉及用于获得和显示超声、心电图和听诊数据的此类系统和方法。
背景技术：
通常是由受过训练的超声专家在临床环境中利用专门设计用于获得超声数据的超声系统操作超声成像。类似地，通常是由受过训练的专家在临床环境中，利用专门设计用于获得心电图数据的设备操作心电图(electrocardiography,ekg)。通常是由医师或其他临床医师利用听诊器获得听诊数据。
因此，常规上利用不同的设备并且通常是在单独的患者访视或单独的环境中来获得这些不同类型的临床数据，即超声数据、ekg数据和听诊数据。
技术实现要素：
本发明提供用于获得或提供组合的超声、心电图和听诊数据的系统、方法和设备。所有三个信号或任意两个信号的组合可以通过连接到超声传感器、心电图(ekg)传感器和听诊传感器的单个计算设备同时获得。获得到的信号可以彼此同步，使得可以以时间对准的方式(time-alignedmanner)存储来自所述各个传感器获得到的数据。替代地或附加地，获得的信号能被同步显示。替代地或附加地，所述计算设备可以被配置为使得每个信号被分别获得和显示。可以利用人工智能技术来分析来自超声传感器、ekg传感器和听诊传感器接收到的信号，以确定所述信号是否，单独地或是彼此组合地，指示一种或多种病理。
在至少一个实施例中，提供了一种系统，所述系统包括超声传感器、ekg传感器、听诊传感器和计算设备。所述计算设备包括存储器和处理器，并且所述处理器被配置为接收和处理来自所述超声传感器、所述ekg传感器和所述听诊传感器的信号。
在另一个实施例中，提供了一种手持式设备，所述手持式设备包括处理器、耦接到所述处理器的存储器、超声传感器、ekg传感器和听诊传感器。所述超声传感器、ekg传感器和听诊传感器位于所述手持式设备的感测表面上。所述超声传感器、所述ekg传感器和所述听诊传感器中的每一个传感器通信地耦接到所述处理器。
在另一个实施例中，提供了一种方法，所述方法包括由计算设备接收超声数据、ekg数据和听诊数据；同步至少两个接收到的超声数据、ekg数据和听诊数据；并且将所述超声数据、ekg数据和听诊数据存储在存储器中。
在又一个实施例中，提供了一种系统，所述系统包括计算设备和人工智能(artificialintelligence，ai)数据识别模块。所述计算设备被配置为获得超声数据、ekg数据和听诊数据。所述ai数据识别模块被配置为接收获得到的超声数据、ekg数据和听诊数据，并且基于对所述数据的组合分析来自动评估所述数据以产生临床相关的确定结果(例如，自动确定接收到的数据是否指示一种或多种病理)。
在另一个实施例中，提供了一种手持式探头，所述手持式探头包括位于所述探头的感测表面上的超声传感器和位于所述探头的感测表面上的心电图ekg传感器。
附图说明
图1示出了根据本发明的一个或多个实施例的用于获得、同步和显示超声、心电图和听诊信号的组合的系统的框图。
图2示出了根据本发明的一个或多个实施例的用于获得、同步和显示超声、心电图和听诊信号的组合的系统的框图。
图3a是根据本发明的一个或多个实施例的可以在图2所示的系统中使用的探头的透视图。
图3b是根据本发明的一个或多个实施例的图3a中所示的探头的正视图。
图4示出了根据本发明的一个或多个实施例的同步模块的框图，所述同步模块同步从听诊传感器、ekg传感器和超声传感器获得的数据。
图5示出了根据本发明的一个或多个实施例的同步显示获得到的超声数据、ekg数据和听诊数据的示意图。
图6示出了根据本发明的一个或多个实施例的用于获得超声、ekg和听诊信号的系统的框图，所述系统包括人工智能(ai)数据识别模块。
图7示出了根据一个或多个实施例的图6所示的ai数据识别模块的训练的框图。
具体实施方式
在医学中广泛用于例如心胸腔的生理评估的三种主要技术包括超声检查、听诊和心电图检查。每种技术提供了不同种类的信息，可用于评估感兴趣的区域(例如心胸腔)中存在的器官的解剖结构和生理状况。
医学超声成像(超声检查)已成为检查心脏和肺部最有效的方法之一。超声成像可提供心脏的解剖信息，以及有关通过瓣膜和主要动脉(如主动脉和肺动脉)的血流的定性和定量信息。超声成像的一个主要优点是，由于其高帧率(framerate)，其可以提供动态解剖和血流信息，这对于评估始终处于运动状态的心脏状况尤为重要。结合提供血流信息，超声成像提供了评估心腔、瓣膜和动脉/静脉的结构和功能的最佳可用工具之一。类似地，超声成像可以评估体内的液体状态，并且是评估心包积液(心脏周围的液体)的最佳工具。
对于肺部，超声成像可提供有关肺部解剖结构的信息，能够显示与各种肺部疾病相关的特定成像模式，并能够评估肺部周围以及在各个肺部腔内的液体状态，包括评估心包积液。
听诊可以通过捕获由这些器官产生或与之相关的声音来评估器官(如心脏和肺部)的生理状况和功能。这些器官或视状况而定的其他器官的状况和功能可以基于临床信息进行评估，所述临床信息指示不同的声音如何与各种生理现象关联以及声音对于每种病理状况如何变化。
心电图(ekg或ecg)通过捕获心脏的电活动而聚焦在心脏上，因为心脏的电活动与心动周期的各个阶段有关。可以基于临床知识来评估心脏的状况和功能，所述临床知识指示心脏的电活动基于各种病理状况如何变化。
本发明提供了系统、设备和方法，获得和显示这三种类型的信号(即，听诊、ekg和超声信号)并且经由一个或多个视听输出(可能以同步的方式)进行显示。提供听诊、心电图和超声数据的组合可显着增强医师和其他人员准确有效地评估患者(尤其是患者心脏和肺部)生理状况的能力。此外，通过将所有三个信号数字化，使得能够使用数字信号处理来分析这样的信号，从而允许实施各种信号和图像处理算法，所述算法可以组合地评估所述信号数据。这种算法可以包括基于机器学习和模式识别的算法，以检测的三个信号中的每个中的已知与某些疾病状况相关的模式。
与通过分别对三个信号的每个信号进行分别的单独的评估相比，组合并共同评估时，所述三个信号可以提供对患者生理状况的更多了解。意即，这些信号的组合获得和显示提供了额外的信息，特别是如果信号是同步的，这最终会导致比单独使用任何一个信号获得明显更佳的灵敏度和特异性。如本文所述，通过以同步方式组合这三个信号有助于使用机器学习对信号进行分析，包括诸如深度学习之类的进阶方法，所述方法为捕获与所有三个信号相关的专家医师知识到系统和设备中提供了一条清晰的路径。这导致非专家医师和其他人具有以高灵敏度和特异性快速评估患者生理状况的能力。
本发明提供的系统和设备允许将超声、ekg和听诊传感器连接到单个计算设备、数字化、存储在存储器中，并通过用户界面或显示器向用户显示所有三个信号，显示的三个信号可以是实时获得的。此外，提供了用于在获得所有三个信号时使所述三个信号同步的模块和方法，从而适当捕获了患者中的动态现象并针对所有三个信号进行了时间对准。所述三个信号的同步具有临床重要性，因为当生理现象适当地由所有三个不同信号表示并以时间对准的方式显示时，超声、听觉声音和电信号中显示的信息会反映与在同一时间的生理有关的状况。
图1示出了用于获得超声、心电图和听诊信号的系统10的框图。系统10包括计算设备12(也称为“医疗设备”)、至少一个听诊传感器14、至少一个心电图(ekg)传感器16以及至少一个超声传感器18。可以进一步包括一个或多个附加传感器26，例如脉搏血氧测定传感器，尽管本文提供的实施例不限于此。例如，附加传感器26可以包括陀螺仪、压力传感器、运动传感器、温度传感器、eeg传感器或用于感测生理状态、状况或患者响应的、患者周围的环境或系统10的状态或状况的任何其他类型的传感器中的一个传感器或多个传感器。
听诊传感器14、ekg传感器16和超声传感器18分别通过有线或无线通信信道通信地耦接至计算设备12。计算设备12获得、数字化(优选地)、并处理三个类型的信号，例如听诊、ekg和超声信号。
听诊传感器14可以是检测患者体内声音的任何传感器，声音例如包括与循环系统、呼吸系统和胃肠道系统相关的身体声音。听诊传感器14具有传感器表面，所述传感器表面可以放置成与患者的皮肤接触，以便通过皮肤表面检测声音信号。听诊传感器14可以是电子听诊器或数字听诊器(digitalstethoscope)，并且可以包括用于放大和处理感测到的信号的放大和信号处理电路，如在相关领域中是已知的。
如在相关领域中已知的，ekg传感器16可以是检测患者心脏的电活动的任何传感器。例如，ekg传感器16可以包括任意数量的电极，所述电极在操作中被放置在患者的皮肤上，并且被用于检测在每次心跳期间由于心肌的去极化和复极化模式而引起的患者体内的电变化。
超声传感器18包括转换器，所述转换器被配置为向患者的感兴趣区域(regionofinterest)中的目标结构发送超声信号。所述转换器还被配置为响应于所述超声信号的发送而接收从所述目标结构返回的回波信号(echosignal)。为此，所述转换器可以包括能够发射超声信号并接收随后的回波信号的转换器元件。在各种实施例中，所述转换器元件可以被布置为相控阵列(phasedarray)的元件。合适的相控阵列转换器在本领域中是已知的。
超声传感器18的转换器阵列可以是转换器元件的一维(1d)阵列或二维(2d)阵列。所述转换器阵列可以包括压电陶瓷，例如锆钛酸铅(pzt)，或者可以基于微机电系统(mems)。例如，在各种实施例中，超声传感器18可以包括压电微机械超声转换器(pmut)，所述pmut是基于微机电系统(mems)的压电超声转换器，或者超声传感器18可以包括电容式微机械超声转换器(cmut)，其中由于电容变化提供了能量转换。
如图1所示，听诊传感器14、ekg传感器16和超声传感器18可以分别经由相应的有线或无线信道分别耦接到计算设备12。例如，听诊传感器14、ekg传感器16和超声传感器18中的每一个传感器可以通过各自的电缆电耦接并且通信地耦接到计算设备12。在ekg传感器16可以包括任何数量的电极的状况下，所述电极可以通过引线(leads)耦接到计算设备12。例如，ekg传感器16可以是10个电极、12根引线的ekg传感器，尽管根据本发明，任何ekg感测配置可以用作ekg传感器16。例如，下面更详细描述的图3a和3b所示的探头140包括具有三个电极的ekg传感器116。
在操作中，系统10的用户可以将每个传感器14、16、18放置在期望的位置，以便从每个所述传感器获得信号(优选同时或在重叠的时间间隔期间)。例如，ekg传感器16可以包括多个电极，所述电极可以以合适的配置放置在患者的身体上，其中电极通过一根或多根引线耦接到计算设备12。使用者可以将听诊传感器14放置在患者皮肤上的任何期望位置，并且类似地，可以根据期望定位超声传感器18以获得感兴趣的信号。因此，在操作中，优选地，当获得信号时，计算设备12可以从听诊传感器14、ekg传感器16和超声传感器18中的每一个传感器接收所述信号。
计算设备12包括各种电子设备和处理器(在本文中统称为“电子设备和处理器20”，或者在某些状况下简称为“处理器20”)。电子设备和处理器20可以包括处理电路和驱动电路。部分地，所述处理电路或处理器控制来自听诊传感器14、ekg传感器16和超声传感器18的信号的获得。
例如，电子设备和处理器20可以包括控制来自超声传感器18的转换器元件的超声信号的发送的处理电路，以及可操作地耦接到转换器元件以驱动超声信号的发送的驱动电路。驱动电路可以响应于来自所述处理电路接收到的控制信号来驱动超声信号的发送。计算设备12还可以包括电源，所述电源向电子设备和处理器20供电，例如为所述驱动电路供电以发送超声信号。电子设备和处理器20可类似地包括处理电路，所述处理电路控制来自听诊传感器14的听诊信号的获得，并控制来自ekg传感器16的ekg信号的获得。
另外，电子设备和处理器20可以包括信号处理电路，例如滤波器、放大器、预处理和数字化电路等，其处理从听诊传感器14、ekg传感器16和超声传感器18接收到的信号。特别地，电子设备和处理器20可以包括或以其他方式实现用于同步接收到的信号的同步模块，如将关于图4更详细地讨论。
电子设备和处理器20可以包括一个或多个专用集成电路(asic)，用于提供或实现本文所述的计算设备12的操作。
图1所示的计算设备12还包括存储器22和显示器24。存储器22可以是或可以包括任何计算机可读存储介质，包括例如只读存储器(rom)、随机存取存储器(ram)、闪存、硬盘驱动器、光学存储设备、磁存储设备、电可擦除可编程只读存储器(eeprom)、有机存储介质等。存储器22耦接到电子设备和处理器20，电子设备和处理器20可以执行存储在存储器22中的编程指令，以执行如本文所述的计算设备12的功能。此外，存储器22可以存储由计算设备12获得的信号。所述信号可以以同步的方式或者与用于同步信号的相关信息一起被存储在存储器22中，如将在下面关于图4更详细地讨论的。
显示器24向计算设备12的用户提供视觉和/或听觉信息的输出界面。显示器24和/或计算设备12可以包括或耦接到一个或多个扬声器以向用户提供听觉信息。显示器24可以使用例如任何类型的显示技术，包括但不限于led显示技术。显示器24可以显示来自听诊传感器14、ekg传感器16和超声传感器18获得的信号。更具体地，显示器24可以用于以同步的方式显示来自听诊传感器14、ekg传感器16和超声传感器18获得的信号和/或图像，如将在下面关于图4和5更详细地讨论。在一些实施例中，显示器24可以提供输入界面，例如能够接收来自触摸屏幕的用户的输入的触摸屏。在一些实施例中，计算设备12可以包括一个或多个按钮、旋钮、开关等，其能够从计算设备12的用户接收输入。
图2示出了用于获得超声、心电图和听诊信号的系统100的框图。系统100在很多方面与系统10相似。然而，图2的系统100和图1的系统10之间的主要差异在于，在系统100中，听诊传感器114、ekg传感器116和超声传感器118都包含在探头140中，所述探头例如通过任何有线或无线通信信道通信地耦接到计算设备112。例如，探头140可以通过一根或多根电缆耦接到计算设备112。
此外，探头140本身可以包括电子设备和处理器130，其可以与图1的计算设备12的电子设备和处理器20基本相同。例如，探头140中的电子设备和处理器130可以包括处理电路和驱动电路，其控制来自听诊传感器114、ekg传感器116和超声传感器118的信号的获得。在探头140包括电源的实施例中，所述探头可以与计算设备112分开操作以从患者获得超声、心电图和听诊信号数据，并且以后如果需要时，可以通信地耦接至计算设备112以上传获得的信号数据进行进一步处理。
在一些实施例中，探头140可以被配置以在所述探头与计算设备112分开操作时，使用电子设备和处理器130。但在探头140耦接(或“对接”)到计算设备112时，探头140可以使用计算设备112中的某些或全部电子设备和处理器120来代替其自己的电子设备和处理器130。这可能是有利的，因为在计算设备112中的电子设备和处理器120采用更高质量的组件(例如更安静的电源、更精确的振荡器和/或改进的散热元件)或提供更大的计算资源来生成、接收和/或处理获得到的信号或信号数据。
例如，转让给本发明的受让人并通过引用并入本文的美国专利申请第15/446,290号描述了一种超声系统，所述超声系统包括超声探头和对接站(dockingstation)。所述超声探头优选地是便携式超声探头，例如手持式探头，其包括一个或多个第一转换器元件，所述一个或多个第一转换器元件朝着感兴趣区域中的目标结构发送超声信号。所述超声探头还包括控制来自所述一个或多个第一转换器元件的超声信号的发送的处理电路，以及可操作地耦接到所述一个或多个第一转换器元件和所述处理电路的驱动电路。所述驱动电路响应于来自所述处理电路接收到的控制信号来驱动所述一个或多个第一转换器元件的超声信号的发送。所述超声探头还包括一个或多个第二转换器元件和电源，所述一个或多个第二转换器元件接收响应于所述超声信号的发送而从所述目标结构返回的回波信号，所述电源至少在操作的脉冲波模式下向所述驱动电路供电以发送超声信号。
所述对接站包括允许耦接到所述超声探头的界面。所述对接站还包括通过所述界面电耦接到所述超声探头并增强所述超声探头的超声功能的电路。在至少一个实施例中，所述对接站与所述超声探头分开设置。在各种实施例中，所述对接站中的电路通过采用更高质量的组件(例如，更安静的电源、振荡器和/或散热元件)或通过提供更大的计算资源来生成、接收和/或处理超声信号或数据，来增强所述超声探头的超声功能。
美国专利申请第15/446,290号中描述的系统可以适于进一步包括如本文所述的听诊和ekg信号获得，并且根据本发明的原理提供组合探头140。当组合探头140电耦接或对接至计算设备112时，组合探头140的听诊和ekg信号获得也可以类似地增强。
此外，探头140可包括耦接至电子设备和处理器130的存储器132。存储器132可以存储由电子设备和处理器130获得的并且可能被数字化的信号。如本文所述，听诊、ekg和超声信号数据可以以同步的方式存储，或者与用于同步所述信号的相关信息一起存储。
听诊传感器114、ekg传感器116和超声传感器118可以类似于以上关于图1的系统10描述的听诊传感器14、ekg传感器16和超声传感器18。然而，一些实施例可以包括如本文参考图2以及图3a和3b所描述的某些差异。
图3a是探头140的至少一个实施例的透视图，图3b是图3a所示的实施例的主视图，其示出了探头140的感测表面160。
如图3b所示，听诊传感器114、ekg传感器116和超声传感器118可设置在所述探头的感测表面160上。例如，超声传感器118(其可以包括超声转换器阵列)可以形成感测表面160的中央部分，而ekg传感器116和听诊传感器114可以定位在感测表面160的从超声传感器118所定位的中央部分向外延伸的部分上。
听诊传感器114可以与图1所示的听诊传感器14基本相同，并且可以是用于检测患者的体内声音的任何传感器，包括例如与循环、呼吸和胃肠道系统有关的身体声音。可以在探头140的感测表面160上设置多个听诊传感器114。在这种状况下，一个或多个听诊传感器114可以位于超声传感器118的任一侧或两侧。探头140中可以包括任何数量的听诊传感器114，并且例如定位在感测表面160上。
如在相关领域中已知的，ekg传感器116可以是用于检测患者心脏的电活动的任何传感器。如图3b所示，ekg传感器116可以包括布置在探头140的感测表面160上的多个电极。在这种状况下，一个或多个ekg传感器116可位于超声传感器118的任一侧或两侧。ekg传感器116可优选地被定位成使得在超声传感器118的每一侧上定位至少一个ekg传感器116，这在ekg电极之间提供了更大的距离。
超声传感器118包括转换器，所述转换器可以包括转换器元件，如上面关于图1的超声传感器18所述，所述转换器元件能够发送超声信号并接收后续的回波信号。
在使用中，探头140的感测表面160可以放置在患者的皮肤上，并且探头140可以接收(优选同时接收)听诊、ekg和超声信号。信号的获得可以通过电子设备和处理器130控制，并以与以上关于图1的电子设备和处理器20以及存储器22所描述的方式相同或相似的方式存储在探头140中的存储器132中。
在一些实施例中，仅超声传感器118和ekg传感器116可以位于探头140的感测表面160上，而在其他实施例中，听诊传感器114可以进一步位于探头140的感测表面160上。
返回图2，如图2所示的计算设备112包括电子设备和处理器120和存储器122。除了由所述探头的电子设备和处理器130和存储器132执行的信号获得之外，或作为其替代，计算设备112的电子设备和处理器120和存储器122可以控制由探头140进行的信号获得。计算设备112的电子设备和处理器120和存储器122也可以控制计算设备112的操作。例如，电子设备和处理器120和存储器122可以从探头140接收信号，并且使计算设备112在显示器124上显示所述信号和/或与所述信号相关联的图像。
计算设备112可以是例如平板计算机、pc或工作站计算机、诸如智能电话之类的移动计算设备。计算设备112可以在任何有线或无线通信信道上与探头140通信，并且因此可以接收由探头140获得、处理和/或存储的信号，并且可以显示这种信号或与这种信号相关联的或从这种信号中导出的图像。
在一个或多个实施例中，探头140可以包括显示器，所述显示器用于显示获得到的信号、图像或与获得到的信号相关联或从获得到的信号中导出的临床参数。在这种状况下，可能不需要计算设备112来获得、处理和显示来自听诊传感器114、ekg传感器116和超声传感器118的信号，因为这全部可以由探头140本身执行。
图4示出了同步模块400的框图，同步模块400同步从听诊传感器、ekg传感器和超声传感器中的任何两个传感器或更多个传感器同时获得的信号或数据。在一个或多个实施例中，同步模块400可以同步从听诊传感器、ekg传感器和超声传感器的全部三个中获得的信号或数据，如将在本文中描述的。然而，将容易理解，本文提供的实施例不限于来自全部三个传感器的信号的同步，因为所述同步模块可以使来自任何两个这种传感器或更多个这种传感器的信号同步。关于图1的系统10，同步模块400可以被包括在电子设备和处理器20和存储器22中或者可以由电子设备和处理器20和存储器22访问。在图2的系统100中，同步模块400可以被包括在探头140中的电子设备和处理器130和存储器132中或者可以由在探头140中的电子设备和处理器130和存储器132访问，和/或可以被包括在计算设备112中的电子设备和处理器120和存储器122中或由在计算设备112中的电子设备和处理器120和存储器122访问。
如图4所示，分别从听诊传感器、ekg传感器和超声传感器接收到的信号导出的听诊数据、ekg数据和超声数据被提供给同步模块400。在一个实施例中，同步模块400通过将时间戳信息附加或关联到这些数据中的每一个数据来同步听诊数据、ekg数据和超声数据。例如，同步模块400可以包括时钟(或者可以访问时钟)，并且可以用指示接收数据时间的时间戳信息对数据进行时间戳。所述时间戳信息可以指示相对于参考时间的时间，例如utc时间。
同步模块400可以耦接到存储器(例如，图1的存储器22，或者图2的存储器122或132)，从而可以以同步的方式将输出数据存储在存储器中。例如，所述数据可以与同步模块400提供的关联时间戳信息一起存储在存储器中。替代地或附加地，同步模块400可以将听诊数据、ekg数据和超声数据提供给位于远处(remotely-located)的存储器，以便以同步的方式进行存储。
在另一个实施例中，同步模块400不将时间戳附加到接收到的数据，而是将同时获得听诊数据、ekg数据和超声数据关联并以组合方式将数据存数在已排序的或可基于接收数据的顺序进行检索的存储位置中。例如，在同一时间点(例如，时间t1)获得的听诊数据、ekg数据和超声数据可以由同步模块400彼此关联，然后存储在有序存储位置中。在下一时间点(例如，在时间t2)，当时的听诊数据、ekg数据和超声数据可以彼此关联并存储在有序存储位置中，该有序存储位置依序跟随在时间t1获得到的数据的存储器位置。意即，可以基于同步模块400接收到数据的相对时间将获得的数据进行排序。
图5示出了同步显示听诊数据、ekg数据和超声数据的示意图，所述听诊数据、ekg数据和超声数据可以由系统10中的独立的听诊传感器14、ekg传感器16和超声传感器18来获得，或者可以通过组合的听诊传感器114、ekg传感器116和超声传感器118来获得，所述听诊传感器114、ekg传感器116和超声传感器118设置在系统100中的探头140的同一感测表面160上。数据的同步显示可以在系统10的计算设备12的显示器24上提供、在系统100的计算设备112的显示器124上提供，或可以在探头包括显示器的实施例中，在探头140上显示。
图5示出了对于特定时间点t示出的超声图像502。在时间t的ekg波形504由虚线描绘。类似地，时间t的听诊波形506用虚线表示，所述虚线对应于ekg波形504的虚线。由于本实施例中的信号是实时获得的，因此超声图像502被依序更新(例如，反映当前的超声图像)，并且ekg和听诊波形504、506从左向右生成(grow)，而虚线始终表示与显示的超声图像502相对应的时间t。
可以实时(即在获得它们时)显示三个听诊、心电图和超声信号，或者可以以同步方式将它们存储在存储器中，然后从存储器中检索并如图5所示在同步显示器中显示。另外，可以与听诊数据、ekg数据和超声数据中的一个或多个数据的显示同步地提供音频信息。可以通过一个或多个扬声器来提供音频信息。例如，听诊数据可以与与所述听诊数据相关联的视频信息的显示同步地通过一个或多个扬声器作为听觉信息输出。
超声数据可以是与任何超声模式相关联的任何超声数据，包括但不限于a模式、b模式、c模式、m模式、多普勒模式，其包括连续波(cw)和脉冲波(pw)等。可以在任何超声模式下获得超声数据，并且可以在任何超声模式下显示超声数据和/或作为听觉信息提供超声数据。
在一个或多个实施例中，可以在人工智能(“ai”)数据识别模块中采用人工智能技术，以分析通过本文所述的任何设备或系统获得的听诊、ekg和超声信号。通过ai数据识别模块进行的分析可以分别基于听诊、ekg和超声信号中的任何一个信号，或者可以基于这些信号的任何组合。
例如，转让给本发明的受让人并通过引用并入本文的美国专利申请第15/454,678号描述了用于超声成像的人工智能网络系统和方法的各种实施例，其利用超声图像识别模块来进行关于所获得的超声图像的确定(determination)，例如确定(i)获得到的超声图像是否准确地或基本准确地描绘或表示结构和/或解剖结构的期望视图，包括例如患者的器官或其他组织、特征或患者的感兴趣区域，以及(ii)表示临床期望的解剖学视图的所获得的图像是否指示正常功能或特定病理。
美国专利申请第15/454,678号中描述的人工智能技术可以在本发明的实施例中修改和实现，以类似地分析获得到的听诊、ekg和超声信号并确定所述信号是否指示一种或多种病理。在至少一个实施例中，通过处理来自已知指示一种或多种病理的听诊、ekg和超声信号获得的训练数据，来学习用于实施人工智能技术的ai参数。
图6示出了根据本发明的实施例的，用于获得超声、ekg和听诊信号的系统200的框图。图6中所示的系统200类似于图2中所示的系统100。然而，不同之处在于，系统200进一步包括用于分析获得到的听诊、ekg和超声信号的ai数据识别模块228。
如图6所示，系统200包括计算设备112和探头140，其可以与关于图2所示出和所描述的相同。在一个或多个实施例中，系统200可以替代地利用分别耦接到听诊传感器14、ekg传感器16、超声传感器18和附加传感器26中的一个传感器或多个传感器的计算设备12，如关于图1所示出和所描述的。在一个或多个实施例中，系统200可以替代地利用探头140而不使用计算设备112。
系统200可以进一步包括通信网络202、ai数据识别模块228和ai知识数据库226。ai数据识别模块228和ai知识数据库226之一或两者可以被并入计算设备112或探头140，或者它们可以构成可操作地和/或可通信地彼此链接或可链接的多个设备。
如关于图2所描述的，探头140可以用于获得听诊数据、ekg数据和超声数据。获得到的数据可以通过通信网络202提供给ai数据识别模块228。通信网络202可以利用一种或多种协议来经由一个或多个物理网络进行通信，所述物理网络包括局域网、无线网络、专用线路、内联网、因特网等。
在一个或多个实施例中，可以在计算设备112内提供ai数据识别模块228，或者可以在计算设备112内包含ai数据识别模块228的本地实现和/或ai知识数据库226中存储的知识。其中计算设备112可以访问位于(例如，存储在一个或多个服务器计算机上或存储在“云”中的)远程的ai数据识别模块228，例如用于接收更新的数据识别算法和/或知识。
ai数据识别模块228接收由计算设备112获得的听诊、ekg和超声数据，并基于获得到的数据进行确定。例如，ai数据识别模块228可以确定获得到的数据是否指示正常功能或特定病理。这种确定可以由ai数据识别模块228基于单独的数据信号(例如，听诊数据、ekg数据或超声数据中的任何一个数据)或基于获得到的数据信号的任何组合来做出。
ai数据识别模块228可以由任何采用人工智能的计算智能系统ai知识数据库226中提取(draw)来实现，从用以确定获得到的数据是否指示特定病理。例如，响应于接收到获得的听诊、ekg和超声数据，可以由ai数据识别模块228自动执行这种确定。
本文使用“人工智能”来广泛地描述可以学习知识(例如，基于训练数据)并且使用所学习的知识来适应其解决一个或多个问题的方法的任何计算智能系统和方法。人工智能机器可以采用例如神经网络、深度学习、卷积神经网络和贝叶斯程序(bayesianprogarm)学习技术来解决诸如图像识别之类的问题。此外，人工智能可以包括以下计算技术中的任何一种或组合：约束程序、模糊逻辑、分类、常规人工智能、符号操纵，模糊集理论、进化计算、控制论、数据挖掘、近似推理、无导数优化、决策树和/或软计算。利用一种或多种计算智能技术，ai数据识别模块228可以学习适应于未知和/或变化的环境，以更好地评估听诊、心电图和超声信号数据。
ai知识数据库226可以包括各种信息，所述信息便于ai数据识别模块228针对接收到的听诊、ekg和/或超声数据进行数据分析。特别是ai知识数据库226可以包含将特定的听诊、ekg和/或超声数据与各种病理相关的信息。ai知识数据库226可以存储在ai数据识别模块228可访问的任何计算机可读存储介质中。
图7示出了根据一个或多个实施例的ai数据识别模块228的训练的框图。可以基于训练数据210来训练ai数据识别模块228。训练数据210可以包括任何听诊、ekg或超声信息。例如，训练数据210可以包括与特定病理相关联的各种听诊数据(例如，音频波形)，诸如可能与心脏杂音(heartmurmurs)等相关的异常心音、诸如喘息(heezes)或爆裂音(crepitation)等异常肺音，，或可能与一种或多种病理相关的任何其他身体声音。类似地，训练数据210可以包括与诸如心律不齐、心肌梗塞、肺栓塞等特定病理相关的各种ekg数据(例如，电波形)。训练数据210可以进一步包括与诸如心脏的器官的已知视图相关联的各种超声数据(例如，超声图像数据)，以及与特定病理学相关联的超声数据。
可以将其他训练输入220进一步提供给ai数据识别模块228以进行训练。其他训练输入220可以包括例如手动输入的输入，以通过训练过程来调整或以其他方式管理在ai数据识别模块228中开发的数据识别模型。
通过使用训练数据210，ai数据识别模块228可以实施迭代训练过程。训练可以基于各种各样的学习规则或训练算法。例如，所述学习规则可以包括以下一项或多项：反向传播、实时递归学习、逐模式学习、监督学习、插值、加权和、强化学习、时间差异学习、无监督学习，和/或记录学习。
作为训练的结果，ai数据识别模块228可以学会响应于训练数据210而修改其行为，并获得或生成ai知识230。ai知识230可以代表ai数据识别模块228可以根据其确定针对新数据或状况的适当响应的任何信息。特别地，ai知识230表示听诊、ekg和超声数据与一种或多种病理之间的关系。ai知识230可以存储在ai知识数据库226中。
基于训练数据210，ai识别模块228可以学习修改其行为，并且可以应用ai知识数据库226中包含的知识来改变其相对于新输入(例如，计算设备112接收的听诊、心电图和超声数据)做出确定的方式。ai数据识别模块228可以将获得的知识应用于传入的听诊、ekg和超声数据，并且基于对数据的组合分析，自动评估数据以产生一个或多个临床相关的确定结果。例如，ai识别模块228可以自动确定接收到的数据是否指示一种或多种特定病理。
在一个或多个实施例中，本发明提供一种系统，所述系统包括：计算设备以及人工智能(ai)数据识别模块，所述计算设备被配置为获得超声数据、心电图(ekg)数据和听诊数据；所述ai数据识别模块被配置为接收获得到的超声数据、ekg数据和听诊数据，并且自动确定所接收的数据是否以任何组合指示一种或多种病理。
所述系统可以进一步包括通信地耦接到所述计算设备的同步模块，并且所述同步模块可以被配置为同步获得到的超声数据、ekg数据和听诊数据中的两个数据或更多个数据。
ai数据识别模块可以被配置为确定获得到的超声数据、ekg数据和听诊数据中同步的两个数据或更多个数据是否指示一种或多种病理。
在一个或多个实施例中，本发明提供了一种手持式探头，所述手持式探头包括：超声传感器和心电图(ekg)传感器；所述超声传感器位于所述探头的感测表面上；所述ekg传感器位于所述探头的感测表面上。
所述手持式探头进一步可以包括：处理器和耦接到处理器的存储器，其中所述超声传感器和所述ekg传感器通信地耦接到所述处理器。所述ekg传感器可以包括位于所述探头的感测表面上的多个电极。
可以将以上描述的各种实施例组合以提供其他实施例。本说明书中提及的和/或在申请数据表中列出的所有美国专利申请均通过引用整体并入本文。如果需要采用各种专利、申请和出版物的概念以提供其他实施例，则可以修改实施例的各方面。
可以根据上述详细描述对实施例进行这些和其他改变。通常，在所附权利要求书中，不应将所使用的术语解释为将权利要求限制于在说明书中公开的特定实施例和权利要求书，而是应该解释为包括所有可能的实施例以及这些权利要求所赋予的等同物的全部范围。因此，权利要求不受公开内容的限制。
1.一种系统，其特征在于，所述系统包括：
超声传感器；
心电图ekg传感器；
听诊传感器；以及
计算设备，所述计算设备包括存储器和处理器，其中所述处理器被配置为接收和处理来自所述超声传感器、所述ekg传感器和所述听诊传感器的信号。
2.根据权利要求1所述的系统，其特征在于，所述系统进一步包括显示器，所述显示器耦接到所述计算设备并且被配置为显示与来自所述超声传感器、所述ekg传感器和所述听诊传感器的信号相关联的信息。
3.根据权利要求1所述的系统，其特征在于，所述系统进一步包括同步模块，所述同步模块被配置为同步从所述超声传感器、所述ekg传感器和所述听诊传感器中的两个传感器或更多个传感器接收的信号。
4.根据权利要求3所述的系统，其特征在于，所述同步模块将时间戳信息与从所述超声传感器、所述ekg传感器和所述听诊传感器中的两个传感器或更多个传感器接收的信号相关联。
5.根据权利要求3所述的系统，其特征在于，所述同步模块被配置为以同步的方式将从所述超声传感器、所述ekg传感器和所述听诊传感器中的两个传感器或更多个传感器接收的信号存储在存储器中。
6.根据权利要求3所述的系统，其特征在于，所述系统进一步包括耦接到所述计算设备的显示器，其中，所述显示器被配置为以同步的方式显示与来自所述超声传感器、所述ekg传感器和所述听诊传感器的信号相关联的信息。
7.根据权利要求1所述的系统，其特征在于，所述系统进一步包括探头，所述探头具有感测表面，所述超声传感器和所述ekg传感器位于所述探头的感测表面上。
8.根据权利要求7所述的系统，其特征在于，所述听诊传感器位于所述探头的感测表面上。
9.根据权利要求8所述的系统，其特征在于，所述探头与所述计算设备无线通信。
10.根据权利要求1所述的系统，其特征在于，所述系统进一步包括脉搏血氧测定传感器，其中，所述处理器进一步被配置为接收和处理来自所述脉搏血氧饱测定传感器的信号。
11.一种手持式设备，其特征在于，所述手持式设备包括：
处理器；
存储器，所述存储器耦接到所述处理器；
超声传感器；
心电图ekg传感器；以及
听诊传感器，
所述超声传感器、所述ekg传感器和所述听诊传感器位于所述设备的感测表面上，并且所述超声传感器、所述ekg传感器和所述听诊传感器均通信地耦接到所述处理器。
12.根据权利要求11所述的手持式设备，其特征在于，所述设备进一步包括显示器，所述显示器耦接到所述处理器，所述显示器被配置为显示与来自所述超声传感器、所述ekg传感器和所述听诊传感器的信号相关联的信息。
13.根据权利要求11所述的手持式设备，其特征在于，所述设备进一步包括：同步模块，所述同步模块被配置为同步从所述超声传感器、所述ekg传感器和所述听诊传感器中的两个传感器或更多个传感器接收的信号。
14.根据权利要求13所述的手持式设备，其特征在于，所述同步模块将时间戳信息与被同步的每个所述信号相关联。
15.根据权利要求13所述的手持式设备，其特征在于，所述同步模块被配置为以同步的方式将所述信号存储在所述存储器中。
16.一种方法，其特征在于，所述方法包括：
由计算设备接收超声数据、心电图ekg数据和听诊数据；
同步接收到的超声数据、ekg数据和听诊数据中的至少两个数据；
将所述超声数据、ekg数据和听诊数据存储在存储器中。
17.根据权利要求16所述的方法，其特征在于，所述方法进一步包括：以同步的方式在组合的显示器上显示所述超声数据、ekg数据和听诊数据。
18.根据权利要求16所述的方法，其特征在于，同步接收到的超声数据、ekg数据和听诊数据中的至少两个数据包括将时间戳信息与所述超声数据、ekg数据和听诊数据中的至少两个数据均相关联。
19.根据权利要求16所述的方法，其特征在于，所述超声数据、ekg数据和听诊数据以同步的方式存储在所述存储器中。
20.根据权利要求16所述的方法，其特征在于，所述方法进一步包括：由人工智能ai数据识别模块分析接收到的超声数据、ekg数据和听诊数据，以确定接收到的数据是否指示一种或多种病理。
21.一种手持式探头，其特征在于，所述探头包括：
超声传感器，所述超声传感器位于所述探头的感测表面上；以及
心电图ekg传感器，所述ekg传感器位于所述探头的感测表面上。
22.根据权利要求21所述的手持式探头，其特征在于，所述探头进一步包括：
处理器；以及
存储器，所述存储器耦接到所述处理器，
其中所述超声传感器和所述ekg传感器通信地耦接到所述处理器。
23.根据权利要求21所述的手持式探头，其特征在于，所述ekg传感器包括位于所述探头的所述感测表面上的多个电极。
技术总结