相关申请的交叉引用
本申请是国际(pct)申请，涉及并且要求于2017年5月24日提交的题为“methodsforusingradialendobronchialultrasoundprobesforthree-dimenationalreconstructionofimagesandimprovedtargetlocalization(用于使用径向支气管内超声探针对影像进行三维重建及改进的靶标定位的方法)”的共同拥有的待决美国临时专利申请第62/510,729号的权益，所述美国临时专利申请的内容通过引用以其全文并入本文。
本发明涉及医学成像。更具体地，本发明有关于涉及使用径向支气管内超声的方法。更具体地，本发明有关于涉及使用通过使用径向支气管内超声成像所获取的医学影像来提供靶标(诸如病灶)的定位的方法。
背景技术：
径向支气管内超声是一项医学成像技术，通过所述技术，从放置在患者支气管通道内的探针径向地发射超声波。超声波被处理以产生医学影像，所述医学影像显示出患者的支气管通道周围组织的截面(例如“切片”)。
技术实现要素：
在实施方案中，一种方法包括：从成像模态获取至少一个术前影像；在所述至少一个术前影像上标识位于感兴趣区域内的至少一个元素；获取至少一个术中影像；高亮显示所述至少一个术中影像上的所述至少一个元素；使用所述至少高亮显示的至少一个元素将径向支气管内超声探针导航到所述感兴趣区域；采集多个径向支气管内超声影像；提取所述元素的多个二维表示，所述元素的所述多个二维表示中的每一个是从所述多个径向支气管内超声影像中的对应一个影像中提取的；从所述元素的所述多个二维表示重建所述元素的三维表示；以及将所述元素的所述三维表示的二维投影投影在所述至少一个术中影像中的至少一个上。
在实施方案中，实时地执行将所述元素的所述三维表示的所述二维投影投影在所述至少一个术中影像中的至少一个上的步骤。
在实施方案中，一种方法包括从所述感兴趣区域中移除所述径向支气管内超声探针；以及将另一个支气管内工具导航到所述感兴趣区域。在实施方案中，一种方法包括使用所述另一个支气管内工具对所述元素执行手术。在实施方案中，一种方法包括：移除所述另一个支气管内工具；将所述径向支气管内超声探针导航到所述感兴趣区域；采集多个更新的径向支气管内超声影像；提取所述元素的多个更新的二维表示，所述元素的所述多个更新的二维表示中的每一个是从所述多个更新的径向支气管内超声影像中的对应一个影像中提取的；以及从所述元素的所述多个二维表示重建所述元素的更新的三维表示。
在实施方案中，一种方法包括计算所述径向支气管超声探针的中心与所述靶标的边界上的多个边界点之间的距离；以及基于所述距离中的最大距离来估计用于消融的裕度大小。在实施方案中，所述至少一个术中影像包括x射线。
在实施方案中，所述元素的所述三维表示被用作用于从所述术中影像的至少一个中进行体积重建的先验条件(prior)。在实施方案中，一种方法还包括将所述靶标的所述三维表示配准到三维计算机断层摄影体积中；以及将所述元素的所述三维表示从所述三维计算断层摄影体积投影在所述至少一个术中影像中的至少一个上。在实施方案中，所述三维计算断层摄影体积是术前计算断层摄影扫描体积或从所述至少一个术中影像中重建的三维计算断层摄影体积。
在实施方案中，一种方法包括：将径向支气管内超声探针导航到感兴趣区域；采集多个径向支气管内超声影像和多个术中影像，所述多个径向支气管内超声影像的每一个与所述多个术中影像中的每一个相对应、并且与所述超声探针的不同位置相对应；从所述术中影像中的每一个中提取径向支气管内超声探针尖端位置；生成所述术中影像和所述支气管内超声影像对的数据库，每个对与所述术前影像坐标系中的特定探针尖端位置和取向相对应；从所述感兴趣区域中移除所述径向支气管内超声探针；将另一个支气管内工具导航到所述感兴趣区域；采集另外的多个术中影像；从所述另外的多个术中影像中提取所述另一个支气管内工具的位置；在所述数据库中标识所述对中与所述另一个支气管内工具的位置最接近的一个对；以及显示与所述对中所标识出的一个对相对应的超声影像。
在实施方案中，所述另一个支气管内工具是活检器械或消融导管。在实施方案中，一种方法包括：从成像模态获取至少一个术前影像；在所述至少一个术前影像上标识位于感兴趣区域内的至少一个元素；获取至少一个术中影像；在所述至少一个术中影像上高亮显示所述至少一个元素，其中，使用所述高亮显示的至少一个元素执行将所述径向支气管内超声探针导航到所述感兴趣区域的步骤。
在实施方案中，一种方法包括：将径向支气管内超声探针导航到感兴趣区域；选择所述径向支气管内超声探针的已确认位置；当所述径向支气管内超声探针被放置在所述已确认位置时，采集所述感兴趣区域的至少一个术中影像；从所述至少一个术中影像中的至少一个中提取所述径向支气管内超声探针的位置；以及在所述至少一个术中影像的至少一个上覆盖所述支气管内超声探针的所述已确认位置。
在实施方案中，一种方法包括：采集至少两个另外的术中影像，所述至少两个另外的术中影像中的每一个都具有所述径向支气管内超声探针的所述确认位置的已知几何关系；基于所述至少两个另外的术中影像在三维空间中重建所述已确认位置；以及在具有已知几何关系的所述另外的术中影像中的至少一个上覆盖所述径向支气管内超声探针的所述已确认位置。
在实施方案中，一种方法包括移除所述径向支气管内超声探针；以及将另一个支气管内器械导航到所述已确认位置，从而确保所述另一个支气管内器械的准确定位。在实施方案中，所述另一个支气管内器械是活检器械或消融导管。
附图说明
图1是使用径向支气管内超声影像来提供靶标定位的示例性方法的流程图。
图2是用于执行图1中所示出的方法的一部分的示例性方法的流程图。
图3a是在径向支气管内超声影像的样本系列中的第一影像，所述第一影像可以在执行图1的示例性方法期间采集。
图3b是在径向支气管内超声影像的样本系列中的第二影像，所述第二影像可以在执行图1的示例性方法期间采集。
图3c是在径向支气管内超声影像的样本系列中的第三影像，所述第三影像可以在执行图1的示例性方法期间采集。
图3d是在径向支气管内超声影像的样本系列中的第四影像，所述第四影像可以在执行图1的示例性方法期间采集。
图3e是在径向支气管内超声影像的样本系列中的第五影像，所述第五影像可以在执行图1的示例性方法期间采集。
图3f是在径向支气管内超声影像的样本系列中的第六影像，所述第六影像可以在执行图1的示例性方法期间采集。
图3g是在径向支气管内超声影像的样本系列中的第七影像，所述第七影像可以在执行图1的示例性方法期间采集。
图3h是在径向支气管内超声影像的样本系列中的第八影像，所述第八影像可以在执行图1的示例性方法期间采集。
图4是用于执行图1中所示出的方法的一部分的示例性方法的流程图。
图5a是示出靶标的位置的示例性术中影像。
图5b是通过如在图5a中所示定位的径向支气管内超声探针采集的示例性径向支气管内超声影像。
图6a是径向支气管内超声影像的示例性系列。
图6b是基于图6a中示出的一系列径向支气管内超声影像重建的靶标的示例性三维模型。
图7a是示出了靶标的位置的、包括通过图1的示例性方法提供的投影靶标轮廓的示例性术中影像。
图7b是通过如在图7a中所示定位的径向支气管内超声探针采集的示例性径向支气管内超声影像。
具体实施方式
将参考附图进一步解释本发明，其中，在全部几个视图中，相同的结构用相同的附图标记表示。所示出的附图不一定按比例绘制，而是通常将重点放在说明本发明的原理上。此外，一些特征可能被放大以示出特定组件的细节。
这些附图构成本说明书的一部分，并且包括本发明的说明性实施方案以及说明了其各种目标和特征。此外，附图不一定按比例绘制，一些特征可能被放大以示出特定组件的细节。另外，附图中所示的任何测量、规格等均旨在是说明性的而非限制性的。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为用于教导本领域技术人员以各种方式使用本发明的代表性基础。
在已经公开的那些益处和改进中，从结合附图进行的以下描述中，本发明的其他目标和优点将变得显而易见。本文公开了本发明的详细实施方案；然而，应当理解，所公开的实施方案仅仅说明本发明可以以各种形式实施。另外，结合本发明的各实施方案给出的每个实施例都旨在是说明性的而非限制性的。
在整个说明书和权利要求书中，除非上下文另外明确指出，否则以下术语具有本文明确关联的含义。本文使用的短语“在一个实施方案中”和“在一些实施方案中”不一定指代(多个)相同的实施方案，尽管他们可以这样指代。此外，本文中使用的短语“在另一个实施方案中”和“在一些其他实施方案中”不一定指代不同的实施方案，尽管他们可以这样指代。因此，如下文描述的，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施方案。
术语“基于”不是排他性的并且允许基于未描述的其他因素，除非上下文另有明确规定。另外，在整个说明书中，“一个(a)”、“一种(an)”和“所述(the)”的含义包括复数的引用。“在...中”的含义包括“在...中”和“在...上”。
如本文所使用的，“绝对滚动(absoluteroll)”是指影像的一部分相对于绝对(例如，全局)参照系的取向。如本文所用，“相对滚动(relativeroll)”是指当前滚动相对于参考滚动已改变的量。参考滚动是无法移动的滚动，并且可以预先指定。
在一些实施方案中，本发明的方法使用通过使用径向支气管内超声(“rebus”)探针获取的影像来改善支气管内手术的临床结果。在一些实施方案中，rebus提供患者支气管气道内的径向超声影像。在一些实施方案中，可以在pct/us15/56489、pct/us14/67328和pct/us15/10381中描述的方法之外使用rebus，这些pct申请的全部内容通过引用并入本文。pct/us15/56489公开了一种用于利用来自术前影像(例如但不限于计算断层摄影，磁共振成像)的数据来增强术中影像(例如但不限于x射线，c-臂等)以便在支气管内手术期间对医师进行协助的方法。在一些实施方案中，所述方法包括检测肺内部的致密组织(例如，与周围组织相比密度增加10％、20％、30％、40％、50％等的组织)，诸如病灶。
在本发明的方法的一些实施方案中，同时采集术中影像(例如，在使用诸如但不限于荧光影像的成像技术的手术期间获取的影像)和rebus影像。在本发明的方法的一些实施方案中，术中影像和rebus影像不是同时采集(例如，先采集rebus影像并且随后采集荧光术中影像)。在一些实施方案中，使用例如但不限于pct/us15/56489中描述的方法来采集rebus探针尖端在术前影像中的3d位置。在一些实施方案中，生成了rebus探针尖端的多个影像(例如但不限于术前影像)。在一些实施方案中，当每个术中影像和rebus影像对与术前影像坐标系统中的特定探针尖端位置和取向相对应时，本发明的方法进一步产生术中影像和rebus影像对的数据库。在一些实施方案中，可以使用以下非限制性实施例来查询或搜索数据库：查找与术前影像中预先标记的位置相匹配的最近对。
在一些实施方案中，一种方法使用在靶标区域(例如，包含诸如病灶的靶标的限定区域)附近采集的一组rebus影像和其在三维空间中的位置和取向来重建靶标(例如但不限于病灶)的轮廓和/或拓扑结构，在本文中将其称为“重建的3d靶标”。在一些实施方案中，可以在术中影像上修改重建的3d靶标，例如但不限于投影在重建的3d靶标上或高亮显示重建的3d靶标。
在一些实施方案中，可以根据图1所示出的方法100来执行靶标重建的非限制性实施例。在步骤110中，采集至少一个术前影像。在一些实施方案中，术前影像是二维影像。在一些实施方案中，术前影像是三维影像。在一些实施方案中，术前影像是任何已知的合适类型的医学影像(例如，计算断层摄影(“ct”)影像)。在步骤120中，接收对术前影像上感兴趣区域的选择。感兴趣区域可以是例如病灶。
在步骤130中，接收术中影像(即，在手术期间采集的影像)。在一些实施方案中，术中影像是二维影像。在一些实施方案中，术中影像是三维影像。在一些实施方案中，术中影像是任何已知的合适类型的医学影像(例如，荧光镜影像，诸如x射线影像)。
在步骤140中，在术中影像中高亮显示感兴趣区域。
在一些实施方案中，步骤100-140是根据在国际专利申请号pct/ib2015/002148中描述的示例性方法执行的，所述国际专利申请的全部内容通过引用并入本文。在一些实施方案中，根据图2中所示出的过程执行步骤100-140。
现在参考图2，方法200开始于步骤210，在所述步骤中接收来自用户的对术前影像(诸如ct或mri影像)上的感兴趣区域的选择。在步骤220中，生成感兴趣体积的术前影像。在一些实施方案中，生成所述感兴趣体积，其方式为使得在手术影像(诸如荧光影像)上可检测到感兴趣区域中的解剖结构(诸如病灶)和附属解剖结构(诸如支气管或血管)。在一些实施方案中，ddr影像用于评估荧光影像上的检测能力。在步骤230中，接收至少一个术中影像。在实施方案中，使用至少一个术中影像计算或记录术中模态的姿态(pose)。
继续参考图2，在步骤240中，在术中影像与术前影像之间进行粗略配准(例如但不限于对ddr的荧光检查)，以评估在术前影像数据内ddr的视点，诸如但不限于ct体积。在一些实施方案中，通过对视点表示矢量x应用迭代优化方法来执行步骤240的粗略配准。在一些实施方案中，以初始估值x0(例如，对应于前后(ap)角度并位于主隆凸上方的视点)对优化器进行初始化。在一些实施方案中，针对每个优化步骤，执行以下步骤：(1)生成逼真的(realistic)drr影像；以及(2)计算drr影像与x射线影像之间的相似度。在一些实施方案中，如在kubias等人的“2d/3dimageregistrationonthegpu”，universityofkoblenz-landau,koblenz,germany,thomasbrunner,siemensmedicalsolutions,forchheim,germany,2007中描述的那样执行粗略配准，其全部内容通过引用并入本文。在一些实施方案中，使用了基于肋骨的刚性影像配准；例如，2d/3d影像配准、术前体积(例如ct或mrt)与术中x射线影像配准。在一些实施方案中，使用了刚性影像配准，其中只能根据三个坐标轴平移和旋转体积，其中通过参数矢量x＝(tx,ty,tz,rx,ry,rz)给出变换，其中参数tx、ty、tz代表沿x轴、y轴和z轴的以毫米为单位的平移，而参数rx、ry、rz属于矢量r＝(rx,ry,rz)。在一些实施方案中，将自动执行粗略配准。
在一些实施方案中，使用多个术中(例如，x射线)影像和术前ct体积、根据基于强度的自动配准方法来执行步骤240的粗略配准过程。在一些实施方案中，所述方法是迭代的。在一些实施方案中，针对每个优化步骤，生成高质量的数字重建射线影像(“drr”)，并且然后与采集的术中(例如，x射线)影像进行比较。在一些实施方案中，方法200使用在khamene等人的“automaticregistrationofportalimagesandvolumetricctforpatientpositioninginradiationtherapy”，medicalimageanalysis10(2006)96-112中公开的配准技术，其全部内容通过引用并入本文。在一些实施方案中，作为非限制性实施例，取决于特定的医疗应用，这样的配准可以被实施为基于强度的和/或基于特征的。在一些实施方案中，基于强度的和基于特征的配准如由david等人的“intensity-basedregistrationversusfeature-basedregistrationforneurointerventions”，medicalvisionlaboratory,dep’tofengineeringscience,universityofoxford,england中所描述的，其全部内容通过引用并入本文。在一些实施方案中，使用患者胸部上的已知解剖学标志来实施基于点的配准。在一些实施方案中，可以在ct影像和/或荧光影像上标记至少一个已知的标志。在一些实施方案中，在手术过程中将特殊标记贴到患者的胸部以提高/增加荧光影像上的可检测性。
继续参考图2，在步骤250中，取决于期望的配准方法，从术前影像的感兴趣体积中生成一组特征或图案。在一些实施方案中，当患者的软组织结构被观察到并且相对于患者的肋骨移动时，在240处的粗略配准期间计算出的视点在已知公差范围内逼近。在一些实施方案中，在步骤250中生成的一组图案允许在后续步骤中对查看区域进行微调(即，精细配准)。在步骤260中，实施精细配准以找到在250处根据配准方法生成的每个特征或图案与术中影像上的感兴趣区域之间的最佳拟合。在一些实施方案中，精细配准包括基于强度的精细配准(即，模板匹配)，其中，用来自术前成像模态或参考成像模态的基于强度的图案启动所述方法。在一些实施方案中，来自术中影像的信号包含噪声和比例，并在感兴趣区域内被测量。在一些实施方案中，将步骤260的精细配准过程应用于每个术中影像并且包括以下步骤：(1)将来自术前成像模态或参考成像模态的基于强度的图案与术中影像进行比较，并且在与图案相似度最大的术中影像中找到位置；(2)计算图案的新位置与先前位置之间的二维偏移；以及(3)使用计算出的二维偏移对粗略配准进行校正。在一些实施方案中，如在mahalakshmi等人的“anoverviewoftemplatematchingtechniqueinimageprocessing”，schoolofcomputing，sastrauniversity，thanjavur，tamilnadu，india，researchjournalofappliedsciences，engineeringandtechnology4(24):5469-5473，2012中所描述的那样执行精细配准，其全部内容通过引用并入本文。
在一些实施方案中，步骤260的精细配准过程包括以下步骤：(1)特征识别：识别两个影像中的一组相关特征，诸如边缘、线的交点、区域轮廓、区域等；(2)特征匹配：建立特征之间的对应关系(即，将感测影像中的每个特征与参考影像中的对应特征进行匹配)，每个特征都用影像中的像素位置来标识，并且这些对应点通常称为控制点；(3)空间变换：使用在上一步中获取的控制点信息，确定可以匹配影像中其余点的映射函数；(4)插值：使用上述映射函数对感测影像进行重采样，以使其与参考影像对准。一些实施方案使用基于区域的方法、也称为相关性类方法或精细配准(即，模板匹配)，诸如在fonseca等人的“registrationtechniquesformultisensorremotelysensedimagery”，pe&rs-photogrammetricengineering&remotesensing62(9)，1049-1056(1996)中所描述的，其描述了特征检测和特征匹配的组合。在一些实施方案中，方法200适用于不具有与影像相对应的强特征的模板，因为模板直接对值块进行操作。在一些实施方案中，基于影像和模板两者的强度值来估计匹配。在一些实施方案中，使用的技术包括固定强度的平方差、基于校正的方法、优化方法、交互信息或其任何组合。在一些实施方案中，自动执行精细配准。在一些实施方案中，精细配准包括将通过粗略配准获取的、来自ct扫描中的解剖结构的2d投影与从荧光影像中提取的相应解剖结构对准。
继续参考图2，在步骤270中，增强来自精细配准步骤的匹配信号，以高亮显示在感兴趣区域中发现的解剖结构，如在术前影像中所示出的。在一些实施方案中，除了从术中影像中高亮显示信号之外，源自参考影像中的信号可以覆盖在显示器/影像上。在一些实施方案中，可以根据应用程序配置或根据用户请求显示来自术中影像的原始信号、来自参考影像的模拟信号和任何计划信息的组合。
返回参考图1，在步骤150中，将rebus探针导航(navigate)到靶标附近的感兴趣区域。在一些实施方案中，导航是通过使用由上述步骤生成的增强影像来完成的。在步骤160中，随着rebus探针沿着支气管通道移动，采集一系列rebus影像。如上所述，在一些实施方案中，每个这样的rebus影像都代表患者组织的截面“切片”。图3a-3h示出了一组代表性的rebus影像。在步骤170中，针对来自所述系列的每个rebus影像，从相对于rebus探针尖端的超声影像中提取靶标轮廓，所述轮廓在rebus影像上和术中影像中均被检测到。在一些实施方案中，靶标轮廓作为具有强烈强度梯度的曲线，在径向支气管内超声影像上可见。在一些实施方案中，通过计算影像梯度、应用阈值以及计算包括检测到的曲线像素的连接组件来检测此类曲线。在一些实施方案中，使用在noble等人的“ultrasoundimagesegmentation:asurvey”,ieeetransactionsonmedicalimaging,vol.25，no.8,(august2006)中描述的方法。在一些实施方案中，机器学习方法是基于训练神经网络来使用的，以用更鲁棒的方式检测此类轮廓。在一些实施方案中，训练过程使用大量带注释的样本影像。在一些实施方案中，根据在shen等人的“deepcontour:adeepconvolutionalfeaturelearnedbypositive-sharinglossforcontourdetection”,cvpr2015中描述的技术从一组rebus切片中检测靶标轮廓。
在步骤180中，基于从rebus影像中提取的靶标轮廓以及来自术中影像的探针尖端的已知位置和取向，来重建靶标的三维形状。在一些实施方案中，所提取的靶标轮廓以及探针尖端的已知位置和取向定义了基于rebus的真实空间。在一些实施方案中，重建过程包括以下步骤：(1)将每个二维靶标轮廓点映射到基于rebus的真实空间中的体素；(2)遍历基于rebus的真实空间，并且通过将轮廓点包围的或属于轮廓点的每个体素标记为靶标体素来生成三维靶标模型；(3)应用表面提取算法以从重建的靶标模型中生成三维靶标表面。在一些实施方案中，根据在zang等人的“3dsegmentationandreconstructionofendobronchialultrasound”,medicalimaging2013:ultrasonicimaging,tomographyandtherapy(vol.8675)中描述的技术从一组rebus切片中重建3d体积。
在一些实施方案中，可以使用国际专利申请号pct/ib17/01376中描述的技术来标识rebus探针的位置和取向，其内容通过引用整体并入本文。在一些实施方案中，为了便于进行这种标识，rebus探针上提供不透射线的图案。在一些实施方案中，rebus探针的位置和取向可以根据图4中所示出的过程来执行。
图4示出了用于确定rebus探针在患者体内的位置和取向的示例性方法400。方法400接收沿着设备的不透射线的材料(例如，图案)的密度模型(401)和示出位于患者体内的设备的荧光影像数据(402)作为输入。在一些实施方案中，使用模板匹配方法(403)计算模型与影像像素之间的变换函数(404)。在一些实施方案中，模板匹配方法按以下方式执行：当不透射线的材料的一部分图案可见时，可以计算出成像图案与密度函数之间的一维平移(例如，相关性)。设备的射线不透性与灰度级之间的关系可以用于此目的。在一些实施方案中，使用了一种模板匹配方法，所述模板匹方法搜索在影像中设备的可见片段的灰度级与设备的不透射线密度分布图之间的最高相关性。关于从x射线管到影像增强器的投影方向，这种方法对于由设备后方或上方的物体引起的遮挡和噪声具有鲁棒性。在一些实施方案中，计算出设备的部分影像与设备的不透射线材料密度图案之间的相关函数。在一些实施方案中，变换函数用于深度信息恢复(405)。
在步骤190中，投影重建的靶标形状。在一些实施方案中，取决于应用需要，可以从此体积中分割出完整的或部分的3d靶标并且投影在组合了投影体积和源体积的值的术中影像上。在一些实施方案中，3d靶标在术中影像上高亮显示。在一些实施方案中，完全或部分靶标用于在术前影像与术后影像之间进行配准。
在一些实施方案中，从rebus影像中重建的3d靶标配准到来自术前影像的3d体积。在实施方案中，两个体积之间的配准是基于匹配的体素强度值。在实施方案中，通过从3d靶标形状中生成二进制体积并且然后基于匹配的体素强度值配准两个体积，来执行3d靶标与体积之间的配准。在实施方案中，通过从体积中提取解剖结构的几何形状并且然后将这些几何形状与3d靶标的形状进行匹配，来执行3d靶标与体积之间的配准。在实施方案中，3d靶标与体积之间的配准是基于质心或惯性矩的共同对准。在一些实施方案中，可以根据rebus探针在术中影像上的已知位置(例如，位置和取向)进一步计算术中影像相对于术前影像的姿态。
在一些实施方案中，将从rebus影像中重建的3d靶标配准到从多个术中影像中重建的3d体积，其中，不限于在pct/us15/56489中所描述的重建方法。
在一些实施方案中，从rebus影像中重建的3d靶标被用作从多个术中影像进行体积重建的先验条件。在一些实施方案中，可以在重建的3d靶标上分割感兴趣区域。在一些实施方案中，仅部分形状或感兴趣区域被从rebus影像中重建、被配准到源自术前影像的体积、并且通过使用来自术前影像中的信息得以增强或完成以获取从术中影像中重建的体积中的其他信息。
在一些实施方案中，根据具有已知相对姿态的不同术中影像(诸如一组荧光影像或ct影像)来重建3d靶标。在一些实施方案中，可以使用反投影算法或在计算断层摄影中使用的任何其他重建算法来执行此类重建。在一些实施方案中，可以将从rebus影像中重建的3d靶标或感兴趣区域与源自另外的术中影像、术前影像或其组合的兼容性3d体积或感兴趣区域共同配准。
在一些实施方案中，以上非限制性实施例依赖于确定rebus探针尖端相对于术中影像的位置和取向。在一些实施方案中，在本发明的方法中可以使用在国际专利申请号pct/ib17/01376中公开的方法。在一些实施方案中，可以使用附着在导管上的不透射线的图案来确定其相对于术中成像设备的姿态。在一些实施方案中，相对于导管旋转轴线不对称的螺旋弹簧图案可被用于确定每个rebus切片的相对滚动或绝对滚动。在一些实施方案中，可以使用附接到导管的探针尖端的角度测量设备来确定每个rebus切片的相对滚动或绝对滚动。在一些实施方案中，可以通过最小化这些帧之间的旋转差异来稳定相邻帧。
在一些实施方案中，具有相关联位置和取向的rebus影像用于在术中影像上定位支气管树分支。在一些实施方案中，此类分支可被用作在国际专利申请号pct/us15/56489中所描述的配准过程中的附加基准点。在一些实施方案中，气道分支可在rebus影像上可见并且借助于影像处理(例如但不限于高亮显示)可以被检测到。在一些实施方案中，由于(1)rebus的至少一个影像是由术中设备采集的探针尖端，并且同时(2)至少一个分支影像是由rebus本身采集的，因此，分支的位置和取向可在术中影像中被标记。在一些实施方案中，在术中影像中的分支位置及其在术前影像中的对应位置作为附加基准点来提高配准过程的准确性可以通过使用例如但不限于pct/us15/56489中所描述的方法来获得。
在一些实施方案中，在相应的术中影像上可以标记或确认在rebus影像的所选位置处rebus探针的位置，这可以被称为“rebus确认”。在一些实施方案中，即使在rebus探针已经缩回并且另一个设备(例如，其他支气管内器械或内疗配件)已被引入患者体内的同一区域后，仍可以随时标记、存储和显示如在术中影像中所见的rebus探针尖端位置。在一些实施方案中，可以提供对由支气管内器械引起的呼吸运动和组织变形的补偿，从而调整rebus的所选位置和存储位置的显示位置。在实施方案中，通过跟踪解剖结构和/或器械来执行移动补偿。在一些实施方案中，可以从具有几何关系为已知的不同姿态的多个术中影像中提取与“rebus确认”相对应的rebus探针位置，从而提供rebus探针的3d重建，并且尤其是所计算出的rebus探针的尖端位置。在一些实施方案中，“rebus确认”位置的3d位置可以投影到任何将来的(多个)术中影像上。
实施例：
示例性实施方案的临床应用可以通过以下预示实施例进行说明：
1)示例性实施方案可以在rebus探针缩回并由其他支气管内工具(诸如活检钳或消融探针)取代的时间期间为医师提供rebus影像。
2)在靶标是病灶的情况下，通过关于rebus探针的位置三维地重建病灶的形状，可以确定从探针中心到病灶边界的最大距离。当rebus探针已被移除并被消融导管取代时，此信息可为消融手术提供适当的裕度大小。例如，可以通过将从rebus探针中心到病灶边界的最大距离乘以某个常数来计算裕度。
3)可以在采集的rebus影像上标记所期望的感兴趣区域，并且可以将支气管内工具引导至所期望的预计位置(例如，在采集的rebus影像上进行标记)。
4)一种用于在例如但不限于支气管内活检或消融期间获取靶标的准确定位的方法。可以使用以下步骤来执行所述方法：
1.到靶标区域的支气管内导航。可以使用例如但不限于pct/us15/56489中所描述的导航方法来执行所述导航。
2.采集靶标区域中的rebus影像。
3.从rebus影像中提取靶标并且将其投影在术中影像上。
4.将支气管内工具放置于靶标中心并且进行消融或活检。
5.如果执行了消融并且解剖结构改变，那么可以再次执行步骤2-4。
图5a和图5b示出了使用本发明的一些实施方案的方法生成的靶标区域径向ebus扫描的实施方案。在图5a中，虚线圆圈限定了靶标区域。图5a中的白色轮廓部分是使用本发明的方法限定的靶标。
图6a示出了可以在图1所示的示例性方法的过程中获取的一系列病灶径向ebus影像。图6b示出了病灶的三维轮廓，通过图1的示例性方法、使用基于在图6a中示出的一系列径向ebus影像的三维计算可以重建所述三维轮廓。
图7a和图7b示出了使用本发明的方法的实施方案生成的影像，并且示出了使用径向ebus的实时、局部放大图。在图7a中，虚线圆圈限定了靶标区域。图7a中的白色轮廓部分是使用本文所描述的方法限定的靶标。箭头指向使用本文所描述的方法已被确定为靶标的区域。
尽管已经描述了本发明的多个实施方案，但是应当理解，这些实施方案仅是示例性的而非限制性的，并且许多修改对于本领域普通技术人员而言可以是显而易见的。更进一步，各种步骤可以以任何期望的顺序执行(并且可以添加任何期望的步骤和/或可以去除任何期望的步骤)。
1.一种方法，其包括：
从成像模态中获取至少一个术前影像；
在所述至少一个术前影像上标识位于感兴趣区域内的至少一个元素；
获取至少一个术中影像；
高亮显示所述至少一个术中影像上的所述至少一个元素；
使用所述高亮显示的至少一个元素将径向支气管内超声探针导航到所述感兴趣区域；
采集多个径向支气管内超声影像；
提取所述元素的多个二维表示，所述元素的所述多个二维表示中的每一个是从所述多个径向支气管内超声影像中的对应一个影像中提取的；
从所述元素的所述多个二维表示重建所述元素的三维表示；以及
将所述元素的所述三维表示的二维投影投影在所述至少一个术中影像中的至少一个上。
2.如权利要求1所述的方法，其中，实时地执行将所述元素的所述三维表示的二维投影投影在所述至少一个术中影像中的至少一个上的步骤。
3.如权利要求1所述的方法，其进一步包括：
从所述感兴趣区域中移除所述径向支气管内超声探针；以及
将另一个支气管内工具导航到所述感兴趣区域。
4.如权利要求3所述的方法，其进一步包括：
使用所述另一个支气管内工具对所述元素执行手术。
5.如权利要求4所述的方法，其进一步包括：
移除所述另一个支气管内工具；
将所述径向支气管内超声探针导航到所述感兴趣区域；
采集多个更新的径向支气管内超声影像；
提取所述元素的多个更新的二维表示，所述元素的所述多个更新的二维表示中的每一个是从所述多个更新的径向支气管内超声影像中的对应一个影像中提取的；以及
从所述元素的所述多个二维表示重建所述元素的更新的三维表示。
6.如权利要求1所述的方法，其进一步包括：
计算所述径向支气管超声探针的中心与所述靶标的边界上的多个边界点之间的距离；以及
基于所述距离中的最大距离来估计用于消融的裕度大小。
7.如权利要求1所述的方法，其中，所述至少一个术中影像包括x射线。
8.如权利要求1所述的方法，其中，所述元素的所述三维表示被用作用于从所述术中影像的至少一个中进行体积重建的先验条件。
9.如权利要求1所述的方法，其进一步包括：
将所述靶标的所述三维表示配准到三维计算断层摄影体积中；以及
将所述元素的所述三维表示从所述三维计算断层摄影体积投影在所述至少一个术中影像中的至少一个上。
10.如权利要求9所述的方法，其中，所述三维计算断层摄影体积是术前计算断层摄影扫描体积或从所述至少一个术中影像中重建的三维计算断层摄影体积。
11.一种方法，其包括：
将径向支气管内超声探针导航到感兴趣区域；
采集多个径向支气管内超声影像和多个术中影像，所述多个径向支气管内超声影像中的每一个与所述多个术中影像中的每一个相对应、并且与所述超声探针的不同位置相对应；
从所述术中影像中的每一个中提取径向支气管内超声探针尖端位置；
生成所述术中影像和所述支气管内超声影像的对的数据库，每个对与所述术前影像坐标系中的特定探针尖端位置和取向相对应；
从所述感兴趣区域中移除所述径向支气管内超声探针；
将另一个支气管内工具导航到所述感兴趣区域；
采集另外的多个术中影像；
从所述另外的多个术中影像中提取所述另一个支气管内工具的位置；
在所述数据库中标识所述对中与所述另一个支气管内工具的位置最接近的一个对；以及
显示与所述对中所标识出的一个对相对应的超声影像。
12.如权利要求11所述的方法，其中，所述另一个支气管内工具是活检器械或消融导管。
13.如权利要求11所述的方法，其进一步包括：
从成像模态中获取至少一个术前影像；
在所述至少一个术前影像上标识位于感兴趣区域内的至少一个元素；
获取至少一个术中影像；
高亮显示在所述至少一个术中影像上的所述至少一个元素，
其中，使用所述高亮显示的至少一个元素来执行所述将所述径向支气管内超声探针导航到所述感兴趣区域的步骤。
14.一种方法，其包括：
将径向支气管内超声探针导航到感兴趣区域；
选择所述径向支气管内超声探针的已确认位置；
当所述径向支气管内超声探针位于所述已确认位置时，采集所述感兴趣区域的至少一个术中影像；
从所述至少一个术中影像中的至少一个中提取所述径向支气管内超声探针的位置；以及
将所述支气管内超声探针的所述已确认位置覆盖在所述至少一个术中影像中的至少一个上。
15.如权利要求14所述的方法，进一步包括：
采集至少两个另外的术中影像，所述至少两个另外的术中影像中的每一个都具有所述径向支气管内超声探针的所述已确认位置的已知几何关系；
基于所述至少两个另外的术中影像在三维空间中重建所述已确认位置；以及
将所述径向支气管内超声探针的所述已确认位置覆盖在具有已知几何关系的所述另外的术中影像中的至少一个上。
16.如权利要求14所述的方法，其进一步包括：
移除所述径向支气管内超声探针；以及
将另一个支气管内器械导航到所述已确认位置，从而确保所述另一个支气管内器械的准确定位。
17.如权利要求16所述的方法，其中，所述另一个支气管内器械是活检器械或消融导管。
技术总结