本发明涉及一种自动聚焦装置(显微镜自动聚焦装置)，其适于特别是使用成像系统所引导的监测射束来反馈控制显微镜的成像系统的焦点位置。此外，本发明涉及包括自动聚焦装置的显微镜、自动聚焦控制方法以及包括成像系统的自动聚焦控制的显微方法。本发明可应用于光学显微的所有模式中。
背景技术：
在本说明书中，对说明本发明的技术背景的以下现有技术进行参考：
[1]s.li等人在“rev.sci.instrum.”，84(11)：114302，2013中；
[2]m.m.frigault等人在“j.cell.sci.”122(pt6)：753-67，2009中；
[3]s.yazdanfar等人在“opt.express，16(12)：8670-8677，2008中；
[4]y.liron等人在“journalofmicroscopy”221(2)：145-151，2006中；
[5]m.blum等人在“proc.spie”，8167：81670w–81670w–9，2011中；
[6]p.annibale等人在“biomed.opt.express”6(6)：2181-90，2015中；
[7]z.wang等人在“biomed.opt.express”6(11)：4353–64，2015中；
[8]ep2952850a1；和
[9]us8010237b2。
对处于细胞或分子水平的生物样品在长时间范围(几分钟到几小时)的显微成像要求显微镜能够保持样品聚焦。保持样品聚焦是一个严峻的挑战：显微镜主体的机械波动和热波动以及热不稳定性都会导致显微镜物镜与样品之间的距离的漂移变化，从而导致焦点漂移。这些可能会破坏例如单分子成像或超分辨率显微镜，即使在短时段内[1]。为了克服这些不可避免的波动，重要的是使用自动焦平面检测和稳定化装置和方法(自动聚焦装置和方法)。
在常规显微镜中(参见例如[2])，使用了两种基本类型的自动聚焦系统，它们要么基于分析并比较聚焦图像和离焦图像的软件聚焦算法[1、3](基于图像分析的自动聚焦)，要么基于测量实际的物镜到样品距离的光学方法[4](基于监测射束的自动聚焦)。
基于图像分析的自动聚焦系统通过分析收集的显微图像的图像参数来检测焦点位置漂移。调节焦点位置以补偿检测到的焦点位置漂移。由于以下限制，基于图像分析的自动聚焦系统具有受限的应用范围。首先，它们不能应用于无法连续收集图像的显微模式，比如荧光相关或扫描显微模式。此外，某些类型的样品不允许快速且可靠的图像分析，比如没有图像细节的锐利边缘的散开样品。最后，基于图像分析的自动聚焦系统不允许即时的、连续的自动聚焦控制，因为图像分析非常耗时并且因此机械调节显微镜物镜的速度受到限制。
已经提出将基于图像分析的自动聚焦系统与同显微镜物镜配对的电可调透镜(etl)相结合[5,6,7]。etl提供了一种有效的光学焦距调节器，来代替显微镜物镜的机械调节。例如，[7]采用基于显微图像分析的信息来控制具有固定设定点值的etl。已知各种类型的etl[5]，例如包括可变形膜片的etl，该可变形膜片具有确定etl的焦长的可调曲率[8]。根据[8]，可以通过使用与etl集成在一起的光源和光电检测器来测量即时的焦长。光源产生光束，该光束通过膜片表面偏转到光电检测器。由膜片表面的曲率确定的光电检测器输出信号提供了焦长的闭环反馈控制[8]。照此，[8]的反馈控制的应用受限于etl的自动控制，并且不允许显微镜物镜相对于样品的自动聚焦控制。
基于监测射束的自动聚焦系统通常采用近红外激光器或发光二极管，它们通过显微镜物镜发出监测射束。监测射束被样品玻璃盖玻片反射到光学检测系统上。由于监测射束位置或图案对样品表面和监测射束之间的任何位移都敏感，因此可以通过光学检测系统的输出信号来量化焦点位移。这种自动聚焦系统的一个缺点是，因为正常反射的监测射束是发散的(从样品起反射射束的功率随着1/(距离2)衰减)，所以必须将光学检测系统放置在显微镜主体中，尽可能靠近物镜。此外，控制常规的基于监测射束的自动聚焦系统受限于使用显微镜物镜的机械调节。通常，这通过普遍来讲昂贵的压电工作台来实现，或者通过相对较慢的机械物镜致动器来实现(例如具有在1-10hz的频率范围内的倒数响应时间)。尽管etl的优点是不需要任何目标性的机械物镜-样本位移来调节焦点位置，但到目前为止，尚未描述使用etl调节的基于监测射束的自动聚焦系统。
总之，常规自动聚焦系统和商用自动聚焦系统主要基于压电工作台或机械物镜致动器。要么通过图像分析方法要么通过测量反射的红外光强度的硬件模块来测量物镜至样品距离。在所有这些情况下，都无法避免物镜和样品之间的相对机械运动以便保持聚焦。etl用于焦点位置调节的应用受限于基于图像分析的自动聚焦系统。
上述问题仅在生物样品的显微成像中不会发生，但在其他类型的样品中仍会发生，例如在显微控制下的非生物材料样品或微系统。
技术实现要素：
发明目的
本发明的技术目的是提供一种用于反馈控制显微成像系统的焦点位置的改进的显微镜自动聚焦装置和一种改进的自动聚焦控制方法，其能够避免传统技术的限制，并且特别地能够在不存在机械透镜平移的情况下为自动聚焦控制提供增加的速度，降低的结构复杂性，尤其是带来降低的成本、提高的可靠性和/或具有各种显微镜模式和/或样品类型的扩展应用。此外，本发明的目的是提供一种能够避免传统技术的局限性的使用显微镜自动聚焦装置的改进的显微镜设备和显微方法。
发明概要
这些目的通过包括各个独立权利要求的特征的显微镜自动聚焦装置、显微镜设备、自动聚焦控制方法和显微方法来解决。本发明的优选实施例和应用来自从属权利要求。
根据本发明的第一总体方面，上述目的通过一种显微镜自动聚焦装置来解决，该显微镜自动聚焦装置被配置用于反馈控制显微镜的成像系统(或：成像光学器件)的焦点位置。显微镜自动聚焦装置适于控制具有成像系统的光学显微镜，该成像系统包括显微镜物镜。显微镜自动聚焦装置包括被配置为与显微镜物镜耦合的电可调透镜(etl)。显微镜物镜优选具有固定的焦长，并且成像系统的焦点位置可以通过调节显微镜自动聚焦装置的etl来设置。
根据本发明，显微镜自动聚焦装置包括监测射束源、检测器装置、反馈回路装置和etl。此外，显微镜自动聚焦装置可以包括自动聚焦控制单元，其适于控制显微镜自动聚焦装置操作。自动聚焦控制单元可以被提供反馈回路装置作为公共电路，或者可以集成在显微镜控制单元中，或者作为单独的电路来提供。
监测射束源是适于产生监测射束的光源。监测射束是光束，优选地其波长不同于用于利用显微镜来显微成像的波长或波长范围。有利地，这允许独立于显微成像的样品照射来操作自动聚焦控制。优选地，监测射束是激光射束或另一种准直射束，例如由发光二极管发出的准直射束。例如，监测射束是用于uv或可见光显微的ir或近ir射束，或用于uv显微的可见光束。监测射束源(可选地与偏转光学器件结合地)被布置在显微镜主体中或其外部，以用于将监测射束引导通过成像系统到达样品。优选地，监测射束源被配置用于产生直径在0.5mm至2.5mm范围内的监测射束。有利地，检测监测射束的精度利用该直径范围来优化。
该检测器装置是光电检测器，其被布置用于感测通过成像系统引导至样品并被样品(特别是样品玻璃支撑件，以下称为盖玻片)反射的监测射束，并且用于通过感测反射的监测射束来检测显微镜物镜和样品(特别是盖玻片)之间的轴向物距(以下称为物距)的漂移变化。物距是样品(特别是盖玻片)与显微镜物镜(例如其固定表面)之间沿着显微镜的成像轴的距离。物距由显微镜物镜相对于固定样品的轴向位置来确定。该检测器装置适于产生检测器装置输出，该输出由当前物距来确定，即通过显微镜的当前轴向位置来确定。漂移变化(或：物距变化、漂移焦点位置)包括由于例如显微镜主体、成像系统支撑件、成像系统本身、样品支撑件或其他显微镜组件的机械波动和/或热波动引起的物距的偶然变化。物距可能通过几何效应、热效应和/或光学效应(成像系统和样品之间的光束路径长度的改变，例如通过物镜和样品之间的介质的折射率的改变)而漂移。物距也可能根据样品相对于成像系统的位置的有意修改而改变。漂移变化导致检测器装置输出的特性变化，并且其覆盖取决于显微镜的结构和操作条件的预定漂移变化区间。
反馈回路装置包括控制装置(比如控制电路)，其适于根据所检测到的显微镜物镜的物距变化来控制成像系统的光学特性。反馈回路装置与检测器装置耦合以用于接收检测器装置输出，并且该反馈回路装置适于产生要提供给成像系统的控制输出。反馈回路装置包括控制特性，该控制特性依据检测器装置输出和用于焦点位置调节的设定值来产生控制输出。
etl(或“电子透镜”)是任何的光学透镜，其被配置为通过使至少一个透镜表面形变来使诸如连续光束或脉冲光束之类的光束聚焦或发散。所述至少一个透镜表面的曲率具体地确定透镜的焦长。etl被配置用于响应于电透镜控制输入信号来使所述至少一个透镜表面形变。透镜控制输入是改变etl的焦长的输入电流或任何其他输入信号。通过使折射透镜主体形变而不是平移透镜主体来改变etl的焦长。
优选地，etl适于线性响应于透镜控制输入，即透镜控制输入以线性方式改变焦长。有利地，这有利于提供校准数据。然而，如果根据etl的非线性响应来适配校准数据，则本发明还可以利用etl对透镜控制输入值的非线性响应来工作。
etl适于与显微镜物镜的光学耦合，即它适于被布置为成像系统在显微镜的成像轴上的一部分。当将显微镜自动聚焦装置添加到显微镜设备时，etl可以与显微镜物镜牢固地耦合，即etl可以被连接到显微镜物镜，或者甚至可以作为透镜组件被集成到显微镜物镜中。有利地，这提供了紧凑的成像系统。可选地，etl可以以可交换的方式与显微镜物镜耦合。特别地，etl可以被布置成沿着显微镜的成像轴与显微镜物镜有一段距离而作为单独的光学组件。有利地，这允许例如根据显微成像任务来交换etl。
根据本发明，显微镜自动聚焦装置适于控制成像系统中所包括的etl，并且能够通过改变透镜控制输入来调节成像系统的焦点位置。etl能够在至少覆盖潜在漂移变化区间的范围内更改焦点位置。特别地，反馈回路装置适于控制etl，优选地适于直接产生控制输出而作为etl的透镜控制输入。
作为本发明的第一个主要优点，使显微镜自动聚焦装置适于控制etl允许利用etl在有效焦距调制、低成本、高聚焦速度方面的优点以及避免基于监测射束的自动聚焦配置中的机械移动组件的情况下进行真正的全光学显微镜自动聚焦。
此外，根据本发明，反馈回路装置适于基于变化的设定点值来控制etl的透镜控制输入，该变化的设定点值由透镜控制输入和检测到的物距变化的实际值、并且由从检测器装置输出值与物距变化值和透镜控制输入值的相互关系而导出的校准数据来确定。校准数据是根据检测器装置输出值到物距变化值和透镜控制输入值的分配来导出的，并且它们是利用校准过程或通过显微镜的光学特性的数值模拟或通过预先存储的参考值表而获得的。优选地，反馈回路装置与校准数据存储器耦合，该校准数据存储器适于存储校准数据。特别地，校准数据存储器可以被包括在反馈回路装置、自动聚焦控制单元或主显微镜控制装置中。
作为本发明的第二主要优点，使用变化的设定点值允许对etl进行基于监测射束的控制，从而可以避免基于图像分析的方法的上述缺点。更详细地讲，发明人发现，将常规的基于监测射束的自动聚焦系统与etl结合使用会导致对于可靠的etl控制的障碍，因为物距变化和透镜控制输入变化二者都会彼此独立地影响监测射束(以及因此影响检测器装置输出)，因此不可能进行具有固定设定点的自动聚焦控制。此外，发明人发现，如果反馈控制包括具有变化的设定点值的控制特性则可以避免该障碍，并且可以提供上述校准数据(通过测量和/或数值模拟)来确定所述变化的设定点值。
作为本发明的第三主要优点，显微镜自动聚焦装置可以被配置为分立的模块，其可以被添加到包括具有物镜的成像系统的现有显微镜中。可以以低成本利用显微镜自动聚焦装置来升级可用的显微镜。除了监测射束源和etl和检测器装置之外，显微镜自动聚焦装置仅需要反射光学器件，并且显微镜自动聚焦装置可以以可比较的基于压电的执行器所需的成本的一小部分来实现。
根据本发明的第二总体方面，上述目的通过一种显微镜设备来解决，该显微镜设备包括激发光源、具有显微镜物镜的成像系统、显微镜光电检测器以及根据本发明的上述第一总体方面的显微镜自动聚焦装置。有利地，光学耦合到显微镜物镜的etl适于在物距的漂移变化之后重新调节焦点位置，从而给出一种快速且经济高效的全光学自动聚焦解决方案。由于上述主要优点，本发明可以用各种类型的光学显微镜来实现，例如被配置用于激光扫描共焦、多光子和宽场显微镜模式中的至少一种的显微镜。
优选地，显微镜物镜和电可调透镜具有等于或大于1.45的数值孔径。在这种情况下，获得了全内反射模式显微(tirf显微)的优点。
根据本发明的第三总体方面，上述目的通过一种用于操作显微镜的自动聚焦控制方法来解决，该方法包括对显微镜的成像系统的焦点位置进行反馈控制，其中成像系统包括显微镜物镜和etl。优选地以本发明的自动聚焦装置进行的自动聚焦控制方法包括以下步骤：产生监测射束，将监测射束经由成像系统引导至样品并使监测射束从样品经由成像系统返回至检测器装置，通过利用检测器装置感测监测射束来检测显微镜物镜与样品之间的物距的漂移变化，以及依据检测到的显微镜物镜的物距变化来反馈控制成像系统。根据本发明，通过改变etl的透镜控制输入来调节成像系统的焦点位置，并且成像系统的反馈控制包括以变化的设定点值来控制etl的透镜控制输入，该变化的设定点值是通过透镜控制输入和检测到的显微镜物镜的轴向物距变化的当前值、以及通过从检测器装置输出值与物距变化值和透镜控制输入值的相互关系所导出的校准数据而确定的。
优选地，通过校准过程来获得校准数据，其中在etl操作范围内来对物距和到达电可调透镜的输入进行致动，并且所得的检测器输出值被记录并存储以提供校准数据作为用于自动聚焦装置的闭环反馈操作的参考。特别地，校准过程包括收集测量数据，该测量数据包括取决于物距变化值的检测器装置输出值、取决于透镜控制输入值的检测器装置输出值、以及取决于相关的透镜控制输入值在具有不同物距的成像系统的焦点位置处的检测器装置输出值。利用校准样品来收集测量数据。随后，从收集的测量数据中计算出校准数据。根据本发明的特别优选的实施例，如果测量数据可以由线性函数表示，则校准数据包括提供线性函数的斜率的比例因子。否则，如果测量数据由非线性函数表示，则校准数据可以从非线性函数的局部斜率导出。
使设定点值变化优选地包括依据实际的透镜控制输入而使当前设定点值斜升(逐步增加或减小)。特别优选的是，通过将实际的透镜控制输入与依据透镜控制输入值在具有不同物距的成像系统的焦点位置处的装置输出值的线性函数的斜率相乘，来计算变化的设定点值。
根据本发明的第四总体方面，上述目的通过一种对样品进行显微研究的方法来解决，其中，利用根据本发明的上述第三总体方面的自动聚焦控制方法来控制包括etl的显微镜设备的成像系统。显微研究的方法包括以下步骤：准备样品，将样品提供在显微镜设备处，预先设置显微镜设备以使样品处于聚焦，以及收集样品图像数据，这些步骤可以照此从常规显微术已知的方式来实现。随后，开始本发明的自动聚焦控制方法以使样品保持聚焦。
根据本发明的优选实施例，反馈回路装置适于在etl的操作范围内控制etl，其中检测器装置输出值与透镜控制输入值具有线性关系。有利地，这有利于提供校准数据，创建线性变化的设定点以及在反馈回路装置中实施pid控制。注意，反馈回路装置可替代地能够适于在另一操作范围内控制etl，其中检测器装置输出值与透镜控制输入值具有非线性关系。在这种情况下，可以使用非线性变化的设定点，这可选地在调节速度方面具有优势。
根据本发明的另一优选实施例，检测器装置适于连续地检测物距变化并根据实际物距变化来提供检测器装置输出值。因此，利用本发明的自动聚焦方法的该优选实施例，连续地检测物距变化。连续地检测物距变化意味着检测器装置及其电气检测电路始终处于运行中，从而永久性地或以预定检测速率将检测器装置输出提供给反馈控制装置，该预定检测速率高于控制透镜控制输入的速率至少5倍，优选地至少10倍。然后，可以通过根据校准测量和利用反馈电路的控制而生成透镜控制输入(例如输入电流)来重新调节etl的曲率。结果，以高达数百赫兹的速率，通过连续检测，样品可以在无需任何机械运动的情况下保持聚焦。
通过另一优选实施例获得了用于显微镜自动聚焦装置的配置的特别优点，其中，检测器装置和监测射束源被布置用于在全内反射模式下感测监测射束。入射的监测射束在盖玻片处经受全内反射，并且反射的监测射束根据成像系统的物距和当前的透镜控制输入值而经受横向位移(优选地垂直于反射的监测射束的射束路径)。有利地，全内反射提供了非发散的反射监测射束，从而允许检测器装置的位置与成像系统相距一定距离。优选地，检测器装置与成像系统的距离大于例如成像系统的轴向延伸。特别优选地，检测器装置布置在显微镜主体的外部。在这种情况下，反射的监测射束例如通过透射窗口被耦合到显微镜主体之外而到达检测器装置。这以有利且灵活的方式来促进显微镜配置。
根据本发明的另一有利实施例，检测器装置包括位置敏感的光电检测器(光电检测器产生取决于所检测到的光在光电检测器上的位置的输出信号)。位置敏感的光电检测器被布置用于感测反射的监测射束的横向位移。有利地，这提供了检测散焦漂移的改进的精度。特别优选地，检测器装置包括四象限光电检测器。通过经由全内反射的监测射束(例如ir激光射束)在四象限光电检测器上实现反馈控制，使反射的射束的位移与物镜至样品距离的变化以高敏感度相关联。此外，四象限光电检测器具有优势，因为信号被归一化为在接收器上检测到的总功率。
附图说明
下面参照附图来描述本发明的其他细节和优点，在附图中示出：
图1：包括根据本发明的自动聚焦装置的显微镜的优选实施例中的射束路径的示意图。
图2：etl的示意图，示出了针对不同透镜控制输入的不同etl曲率和焦点；
图3：etl及其包围支撑件的示意性透视图。
图4：调节etl和检测监测射束的工作原理的示意图；
图5至图8：本发明的显微镜自动聚焦装置的检测器装置输出值、物距变化值和透镜控制输入值之间的关系的图形说明；
图9和图10：示出了本发明的显微镜自动聚焦装置的校准的流程图；
图11：示出了具有变化的设定点的etl的反馈控制的流程图；
图12：根据本发明采用的设定点斜升的连续阶段的示意图；以及
图13至图19：利用本发明的显微镜自动聚焦装置和方法获得的实验结果。
具体实施方式
下面参考这样的显微镜的细节来描述本发明的优选实施例的特征：该显微镜以全内反射模式操作(tirf显微镜)并基于全内反射的红外激光监测射束在四象限光电检测器(作为相对散焦的指示器)上的横向位置而被提供反馈回路自动聚焦控制。本发明不限于该实施例，而是可以以修改的方式来实现，例如具有其他显微镜类型(比如常规的宽场显微镜或扫描显微镜)、具有法线反射几何形状的监测射束、具有ir或可见监测射束和/或具有其他类型的光电检测器(比如基于ccd的线或场检测器)。显微镜设备的详细信息(比如激发光源、成像光学器件、成像系统或监测显示器的手动驱动器及其操作没有被描述，它们从现有技术的显微镜中是已知。
包括显微镜自动聚焦装置的显微镜设备
图1示意性地示出了根据本发明的优选实施例的提供有显微镜自动聚焦装置100的显微镜设备200。显微镜设备200包括例如倒置显微镜(ix73，日本的制造商奥林巴斯)，并且显微镜设备200提供有：激发光源210；成像系统220，其包括显微镜物镜221和etl140(作为显微镜自动聚焦装置100的一部分)；显微镜光电检测器230；显微镜主体240(支撑框架)；其他光学组件251-253和显微镜控制单元260。显微镜自动聚焦装置100包括监测射束源110、检测器装置120、反馈回路装置130和etl140，其中反馈回路装置130被布置用于调节etl140。
显微镜激发光源210包括激光二极管(例如，cube488nm，德国的制造商coherent)，该激光二极管产生用于照射样品1(例如用于在生物细胞中激光荧光)的激发射束211。在tirf显微镜的修改实施例中，可以将激发光源210布置成用于将激发射束211通过独立的棱镜(未示出)耦合至样品，这是从(trans-)tirf显微镜已知的。
成像系统220被布置用于将激发射束211聚焦到样品1中。在成像系统220之前提供了用来保持成像系统的托台253，以允许其机械轴向致动。激发射束211的全内反射是由射束211与光学系统的轴线的适当距离来实现的。250mm焦距透镜(未示出，美国的制造商thorlabs)将激发射束211聚焦在显微镜物镜221(例如60x，1.49natirf物镜，制造商olympus)的后焦平面中。
etl140例如是透镜el-16-40-tc(瑞士的制造商optotuneag)，外径为40mm至50mm，如图2和图3进一步示出的。etl140的焦长由透镜控制输入来调节，该透镜控制输入包括从反馈回路装置130提供给etl140的输入电流。etl140的盖玻片是在420nm至950nm的波长范围内被涂覆的vis。焦度的范围为-2到3屈光度。图2示出了具有两个不同输入电流的etl140，其产生内膜表面141的不同曲率以及相应的不同有效焦长(如从[8]中所知)。如图3的透视图所示，经由电接口142提供输入电流。
显微镜光电检测器230被布置用于通过感测从样品发出的荧光212来收集样品1的荧光图像，并且其包括例如cascadeii512emccd相机(美国的制造商photometrics)。图像数据被发送到显微镜控制单元260，该显微镜控制单元260适于控制显微镜设备200并处理从显微镜光电检测器230接收到的图像数据。另外，显微镜控制单元260与反馈回路装置130耦合以用于控制其操作。
ix73显微镜主体的下层板被用来安装显微镜自动聚焦装置100的光学反馈机构，荧光滤镜托台通常位于该下层板。监测射束源110是波长为776.7nm的单模尾纤激光二极管，光纤类型为由oem激光二极管驱动器评估工具包ek2000(美国的制造商thorlabs)提供动力的780hp。
检测器装置120是峰值灵敏度波长为940nm的四象限光电二极管(qpd)mtqd5.8pv1-5(美国的制造商marktechoptoelectronics)。qpd与电检测电路121耦合，该电检测电路121是基于跨阻、差分和求和放大器而组装的。通过nidaq6363卡(美国的制造商nationalinstruments)来生成和获取模拟信号。
反馈回路装置130是包括本发明的反馈算法的控制电路，该反馈算法在labview(美国的nationalinstruments)中编程。检测器装置120的电检测电路121将检测器装置输出值提供给反馈回路装置130，该反馈回路装置130基于变化的设定点值来产生etl140的输入电流。优选地线性变化的设定点值是通过透镜控制输入和所检测的物距变化(由检测器装置输出值来表示)的实际值、以及通过如下所述的校准数据来确定的。根据检测器装置输出值到物距变化值和透镜控制输入值的分配所导出的校准数据被存储在包含在反馈回路装置130或显微镜控制单元260中的校准数据存储装置中。
显微镜自动聚焦装置100的监测射束111(ir激光束)通过显微镜主体240的下层板的侧面进入，并通过将与显微镜设备200的光学轴线对齐的二向色镜(et488/561，美国的制造商chroma)保持的滤镜立方体251的1”孔径的外周而被0.5”镜(美国的制造商thorlabs)反射。它从此处进入包含组合的etl140和显微镜物镜221块的成像系统220。然后，监测射束111在盖玻片-样品界面处被全内反射，并且反射射束112被收集在二向色镜滤镜立方体251的孔径的另一侧，并通过辅助镜252转向到检测器装置120上。电检测电路121将qpd信号转换为电压，然后在软件反馈算法中读取该电压，该软件反馈算法将电流输出信号返回到etl140。
图4示意性地示出了利用检测器装置120检测反射的监测射束112的工作原理。检测器装置120的四象限光电检测器本身包括四个敏感区域。为了实现检测原理，当成像系统220的焦点位置改变时，沿着横向射束平移的方向彼此相邻布置的两个敏感区域是足够的。因此，上敏感区域被组合以提供第一输出信号(top)，且下敏感区域被组合以提供第二输出信号(bottom)。检测器装置输出值qpd(v)是电压，其根据下面的公式计算：
qpd(v)＝(top-bottom)/(top bottom)。
取决于反射的监测射束112的平移方向，检测器装置输出值具有正号或负号。由于这种检测原理，四象限光电检测器可以由仅具有两个敏感区域(例如，两个光电二极管)的光电检测器、或相机检测器代替。
反射的监测射束112通过etl140射出，从而在不同位置撞击检测器装置120的四象限光电检测器，所述位置取决于如图4a和4b所示的两个参数。根据图4a，检测器装置输出值qpd(v)取决于物理物镜221至样品1的距离(物距)。在由于例如物镜221的机械漂移引起的在样品1中的焦点位置发生漂移变化的情况下(例如随着物距的增加)，检测器装置输出值qpd(v)变化，例如变为负值。根据图4b，检测器装置输出值qpd(v)进一步取决于施加到etl140的输入电流。在用于补偿样品1中的焦点位置的漂移变化的输入电流变化时，检测器装置输出值qpd(v)也发生变化。
在考虑成像系统221和检测器装置120的以下特征的情况下，本发明的显微镜自动聚焦装置100能够考虑这两个方面而实现可靠的自动聚焦反馈控制。
自动聚焦控制方法-校准
图5至图8示出了检测器装置输出值、物距变化值和透镜控制输入值之间的相互关系，从而允许为具有变化的设定点的本发明的自动聚焦反馈控制提供校准数据。
为了建立检测器装置输出变化与(i)物镜至样品物理位移和(ii)etl输入电流之间的关系，使用由例如100nm直径荧光微球体(例如tetraspeck微粒，美国的制造商thermofisher)制成的校准样品。对于本发明的自动聚焦控制，调节检测器装置输出的设定值与实际测量的检测器装置输出(qpd电压)之间的差。为了将所测量的qpd电压与设定点之间的差转换成成像系统220的焦距变化，显微镜自动聚焦装置100使用校准数据。但是，物理轴向位置和输入电流变化(物理透镜变形)二者都会导致qpd120输出电压变化。这两个因素(qpd与位移的关系)和(qpd与电流的关系)的各自的影响在图5和图6中示出。
图5示出了对于etl140的恒定输入电流而言，取决于显微镜物镜221的轴向位置的检测器装置输出(qpd电压)。如图4a所示，在显微镜物镜的轴向位置(即物距)存在漂移变化的情况下，随着从检测器装置120的顶部敏感区域到底部敏感区域的移位，检测器装置输出从正值变为负值。一系列曲线是由不同的etl输入电流值同时并连续施加而产生的。同时，图5的嵌入图示出了在保持某一聚焦条件的情况下(特别是成像系统220的聚焦位置)，轴向位置与输入电流之间的线性关系。
图6示出了针对不同位移而言，取决于输入电流的检测器装置输出(qpd电压)。对于以500nm至1μm的步长在物距上的每个变化(例如沿显微镜轴线的物理位移)，收集qpd电压与etl140输入电流的特性曲线。通过改变显微镜物镜221和盖玻片之间的物距，曲线向左或向右移位。本发明的自动聚焦控制的特定要求是，设定点预测还要考虑到每当将新的输入电流施加到etl140时检测器装置输出升高的变化。
根据图7(该图7示出了在etl140的每个聚焦位置处、取决于输入电流的检测器装置输出)，检测器装置输出(qpd电压)在特定操作范围内(特别是在etl的特定输入电流范围内)与施加的输入电流具有线性相关性。在所考虑的示例中，线性操作范围涵盖了15ma至24ma的输入电流。这有利于根据位移以及根据施加于透镜的即时电流来调节qpd的设定点值。
图8示出了与图6相同的曲线，但是具有六边形点的示出，其表示每个曲线的聚焦点，即焦点调节为正确的那些值。图8还表明，针对小于750nm到1000nm的物距上的变化的检测器装置输出值根据用于使样品1重新聚焦所需的施加的输入电流而线性地移位。在这种情况下，提供具有线性设定点斜升的反馈，即设定点(与聚焦相关联的qpd目标电压)根据施加的输入电流而线性变化。参考另一个控制任务(例如在[9]中的任务)描述具有线性设定点斜升的反馈控制。对于每个位移和电流值，通过将各个微粒置于聚焦来确定焦点位置。可以根据需要选择pid中的反馈参数。
当成像系统在特定轴向位置(或距样品的显微镜物距)处并且以etl140的特定输入电流的情况下聚焦操作时，检测器装置120提供由图7的曲线给出的特定(初始)检测器装置输出。如果发生显微镜物距的漂移变化，使得放弃了正确的焦点位置，并且检测器装置输出发生了变化，则初始的检测器装置输出不能用作固定的设定值：成像系统220的新的轴向位置需要改变输入电流以保持焦点位置，使得也需要用于检测器装置输出的新的设定点。这是通过如图9和图10所示的那样而收集的校准数据获得的。
根据图9，通过以下步骤来收集图5(嵌入图)和图8(全部的符号)的校准曲线。首先，将etl140的输入电流设置为零，并且通过调节成像系统220的轴向位置将成像系统220聚焦到样品1(步骤s9.1，例如手动调节)。通过监测校准样品的图像或通过基于软件的图像分析来找到焦点位置。将输入电流以预定的电流步长δi逐步增加，导致样品1散焦(步骤s9.2)。改变输入电流导致检测器装置输出的变化δqpd(见图4a和图6)，该变化被测量并记录(步骤s9.3)。随后，通过手动平移成像系统220再次将样品置于聚焦，同时测量聚焦所需的物距的变化δd(步骤s9.4)，例如在显微镜的机械控制的情况下(以0.5nm至50nm的精度来读出)。增加参数n(n：自然数1、2，...)，直到覆盖成像系统220的操作范围为止(步骤s9.5)。作为该第一校准测量的结果，获得了校准曲线δd＝αδi和δqpd＝βδi中的比例因子α和β。
随后，通过以下步骤来收集图5和图7的校准曲线，如图10所示。首先，将etl140的输入电流设置在这样的范围内，其中检测器装置输出随电流而线性变化(图8)(步骤s10.1)。通过手动调节成像系统220的轴向位置来将成像系统220聚焦到样品1，并且测量相关联的检测器装置输出qpdfocus(步骤s10.2)。在将显微镜物距改变预定步长δd之后(步骤s10.3)，测量相关联的检测器装置输出的改变δqpd(步骤s10.4)。随后，通过根据δi＝δd/α而改变输入电流来将样品重新置于聚焦，并且测量新的检测器装置输出qpdfocus(步骤s10.5)。对于预定数量的步长δd，重复步骤s10.1至s10.5，从而产生校准曲线δqpdfocus＝θδd和δqpdfocus＝υi中的比例因子θ和υ。
包括自动聚焦反馈控制的显微方法
对于成像系统220和显微镜自动聚焦装置100的给定的显微镜机构，进行一次图9和图10的校准。结果，校准数据(特别是比例因子α、β、θ和υ)将检测器装置输出值分配给物距变化值和透镜控制输入值。如图11所示并进一步在图12中进行举例说明的，使用校准过程的比例因子α、β、θ和υ，利用线性变化的设定值在正在研究的样品的显微成像中对成像系统220进行反馈自动聚焦控制。显微成像方法包括将样品定位在显微镜主体240的支撑保持件上，并且预先设置显微镜设备200以将样品置于聚焦。随后，如图11的流程图所示，在自动控制焦点位置的同时，收集样品的图像数据。图12说明了该反馈控制过程的连续阶段。
根据图11，将etl140的输入电流设置在检测器装置输出随电流而线性变化的范围内(图8)(步骤s11.1)。将成像系统220聚焦到正在研究的样品，例如通过手动调节(步骤s11.2)，并将相关值qpdfocus记录为初始的检测器装置输出(步骤s11.3)。初始的检测器装置输出qpdfocus是用于实际的输入电流值的设定点(参见图12a)。反馈回路装置130(图1)连续读取检测器装置输出(步骤s11.4)。
如果发生显微镜物距的漂移变化，则检测器装置输出根据δqpdfocus＝θδd而变化(步骤s11.5)(参照图12b)。施加输入电流变化δi以将成像系统220的焦点位置改变回到样品(参见图12c)。使用反馈回路装置130中包括的pid控制来施加从图9的校准已知的输入电流变化δi＝δqpd/β(步骤s11.6)。
基本上，步骤s11.1至s11.6类似于常规的反馈控制方法。例如，在常规的基于监测射束的自动聚焦系统中，将物镜平移，直到代表焦点位置的检测器装置输出被恢复为止。但是，由于输入电流会影响检测器装置输出，因此在使用etl140时，代表焦点位置的检测器装置输出变化，使得如下所述那样引入了设定点的变化(参见图12d至图12f)，特别是使用图7的校准曲线。
通过步骤s11.7和s11.8来使检测器装置输出的设定点斜升。改变输入电流的过程和使检测器装置输出的设定点斜升的过程发生在不同的时间尺度上。因此，使设定点斜升的速率比改变输入电流的速率慢。例如，步骤s11.6以大约200hz的速率重复，而检测器装置输出的设定点仅每100ms改变一次，也就是说以10hz的速率。因此，在步骤s11.7中测试是否已经经过了数目为m的循环(例如100个循环)。针对所述数目的测量循环，以例如200hz的测量速率来重复步骤s11.4至s11.6(步骤s11.7)。在已经经过了所述数目的测量循环(即预定时间间隔)时，利用实际的输入电流、根据δqpdfocus＝-υδi来设定新的设定点(设定点的变化)，其中比例因子υ是从校准得知的(步骤s11.8)。输入电流i可以是施加到etl140的即时电流，或者优选地是在先前的时间间隔中施加的电流的移动平均。使用改变的δqpdfocus，在步骤s11.6中改变所施加的输入电流(参见图12d中的箭头)。重复步骤s11.8和s11.6的循环以逐步斜升qpd设定点，直到qpd设定点代表了利用实际输入电流的聚焦位置为止(见图12e和图12f)。随着qpd设定点的每次变化，迭代地获得新的qpdfocus，输入电流的变化减小，再次导致qpd设定点的变化减小。因此，通过沿着图8的六边形点所跨越的直线来改变设定点，检测器装置输出(qpd电压)的设定点与新的qpdfocus匹配(参见图12的每个图像中的虚直线)。
实验结果
使用本发明的自动聚焦控制方法的成像结果以示例性方式呈现在图13至图19中。在存储校准数据之后，对固定在玻璃盖玻片上的荧光微粒进行成像以展示自动聚焦控制的实际性能。
图13示出了自动聚焦的性能，其展示了检测器装置120输出(qpd电压)如何跟随设定点qpd电压而变化(放大的时间过程)。它还示出了用于透镜的输入电流轨迹。在图14中，顶部的显示示出了在25分钟上以固定时间间隔拍摄的一个微粒的图像。线表示出收集图16a中所示的轮廓的位置。白线表示测量图16a中的轮廓的位置。图14在底部显示了qpd电压和etl电流随时间的轨迹：如预期的那样，这些轨迹被镜像，并说明了由于焦点漂移而执行反馈的重新调节。
图15示出了在禁止反馈的情况下在30分钟的时间序列上的荧光微粒，因此与图14中所示相同，但是没有自动聚焦。透镜的输入电流是恒定的，而qpd电压仅根据机械散焦漂移。图15顶部的微粒的图像示出随着时间的流逝显微镜不再聚焦。随着物镜从其位置移位，qpd电压会向上漂移。这在图16a和16b中定量地示出，其中分别示出了在具有和没有启动反馈的情况下横跨微粒的线轮廓。拟合的高斯曲线(作为显微镜点扩散函数的最佳近似)的标准偏差是焦点的指示。发明人将时间0处的宽度与启用自动聚焦的25分钟后的宽度和禁用自动聚焦的30分钟后的宽度进行了比较。在禁用反馈的情况下与起始宽度的偏差为30％，而在启用自动聚焦反馈的情况下与起始宽度的偏差为3％，这确认了该装置和方法的自动聚焦性能。
图17至图19示出了启用自动聚焦的轨迹和图像。图17的顶部图像显示了荧光微粒。为了进一步表征全光学自动聚焦的性能，发明人快速地手动改变物镜和样品之间的距离，以测试机构响应于突然的干扰而重新获得聚焦的能力。因此，图17的下部示出了针对低比例pid值的qpd电压和输入电流的轨迹以及电流i的扩展平均以根据δqpdfocus＝υi来计算新的设定值。电流和qpd电压在约500nm的物镜的手动位移之后缓慢恢复。该响应表明，电流以及qpd电压都朝着新的聚焦点收敛。由于电流的平均，这会以长的时间常量发生。
图18示出的与图17相同，具有比例项和附加的积分常数。这些图示出了更快的聚焦恢复。在这种情况下，电流的移动平均会降低。对步长的响应更加迅速，包括随着qpd值收敛到新的聚焦值而产生的特征振荡。图17和图18(顶部)二者均示出了在跳跃之前、之中和之后的微粒的图像。
根据图19，在启用自动聚焦的情况下在30分钟上对表示线粒体靶向染料(mitotracker，美国的制造商thermofisher)的hek293ad细胞进行成像。左侧图像(图19a)示出了时间0时的细胞并且右侧图像(图19b)示出了30分钟后的细胞。图19c示出了电流和qpd电压随时间的轨迹，以保持细胞处于聚焦。
在以上描述、附图和权利要求中公开的本发明的特征可以以单独地、组合地或子组合的方式具有重要意义，以用于在其不同的实施方式中实施本发明。
1.一种显微镜自动聚焦装置(100)，其适于反馈控制显微镜设备(200)的成像系统(220)的焦点位置，其中所述成像系统(220)包括显微镜物镜(221)，所述显微镜自动聚焦装置(100)包括：
-监测射束源(110)，其被布置用于产生监测射束(111)，
-检测器装置(120)，其被布置用于通过感测被引导经过所述成像系统(220)到达样品(1)并被所述样品(1)反射的监测射束(111)来检测所述显微镜物镜(221)和所述样品(1)之间的轴向物距的漂移变化，以及
-反馈回路装置(130)，其被布置用于依据检测到的所述显微镜物镜(221)的物距变化来控制所述成像系统(220)，其中，
-所述显微镜自动聚焦装置(100)包括电可调透镜(140)，所述电可调透镜(140)被配置为与所述显微镜物镜(221)耦合，并且能够通过改变所述电可调透镜(140)的透镜控制输入来调节所述成像系统(220)的焦点位置，
其特征在于：
-所述反馈回路装置(130)被布置用于通过基于变化的设定点值控制所述电可调透镜(140)的透镜控制输入来控制所述成像系统(220)的焦点位置，所述变化的设定点值是通过所述透镜控制输入和所检测的物距变化的实际值、以及通过将检测器装置输出值分配给物距变化值和透镜控制输入值的校准数据来确定的，其中，所述校准数据被存储在与所述反馈回路装置(130)耦合的校准数据存储装置中。
2.根据权利要求1所述的显微镜自动聚焦装置，其中，
-所述反馈回路装置(130)适于在操作范围内控制所述电可调透镜(140)，其中所述检测器装置输出值具有与所述透镜控制输入值的线性关系。
3.根据前述权利要求中的一项所述的显微镜自动聚焦装置，其中，
-所述检测器装置(120)适于连续地检测所述物距变化并以预定的检测速率来提供检测器装置输出值。
4.根据前述权利要求中的一项所述的显微镜自动聚焦装置，其中，
-所述检测器装置(120)和所述监测射束源(110)被布置用于以全内反射模式感测所述监测射束(111)，其中入射的监测射束(111)在所述样品(1)处经受全内反射，并且反射的监测射束(112)具有取决于所述成像系统(220)的物距和当前的透镜控制输入值的横向位移。
5.根据权利要求4所述的显微镜自动聚焦装置，其中，
-所述检测器装置(120)包括位置敏感的光电检测器，所述位置敏感的光电检测器包括如下光电检测器：所述光电检测器产生取决于检测到的光在所述光电检测器上的位置的输出信号。
6.根据权利要求5所述的显微镜自动聚焦装置，其中，
-所述检测器装置(120)包括四象限光电检测器(121)。
7.根据前述权利要求中的一项所述的显微镜自动聚焦装置，其中，
-所述监测射束源被布置用于产生光束作为所述监测射束(111)，其中所述光束的波长与用于利用所述显微成像装置(200)进行显微成像的波长或波长范围不同。
8.根据权利要求7所述的显微镜自动聚焦装置，其中，
-所述监测射束源被布置用于产生激光束作为所述监测射束(111)。
9.一种显微镜设备(200)，包括：
-激发光源(210)、具有显微镜物镜(221)的成像系统(220)和显微镜光电检测器(230)，以及
-根据前述权利要求中的一项所述的显微镜自动聚焦装置(100)。
10.根据权利要求9所述的显微镜设备，其中，
-所述显微镜自动聚焦装置(100)的检测器装置(120)被布置成与所述成像系统(220)相距一距离。
11.根据权利要求9或10所述的显微镜设备，其中，
-所述显微镜设备(200)被配置用于激光扫描共焦、多光子和宽场显微模式中的至少一种。
12.根据权利要求9至11中的一项所述的显微镜设备，其中，
-所述监测射束源被布置用于产生激光束作为所述监测射束(111)，其中，所述激光束的波长与用于利用所述显微镜设备(200)进行显微成像而通过所述激发光源(210)所使用的波长或波长范围不同。
13.一种用于操作显微镜设备(200)的自动聚焦控制方法，包括对所述显微镜设备(200)的成像系统(220)的焦点位置进行反馈控制，其中，所述成像系统(220)包括显微镜物镜(221)，所述自动聚焦控制方法包括以下步骤：
-利用监测射束源(110)产生监测射束(111)，
-通过感测被引导经过所述成像系统(220)到达样品(1)并被所述样品(1)反射作为反射的监测射束(112)至检测器装置(120)的监测射束(111)来检测所述显微镜物镜(221)和所述样品(1)之间的物距的漂移变化，以及
-依据检测到的所述显微镜物镜(221)的物距变化来反馈控制所述成像系统(220)，其中，
-所述成像系统(220)与电可调透镜(140)耦合，其中通过改变所述电可调透镜(140)的透镜控制输入来调节所述成像系统(220)的焦点位置，
其特征在于：
-反馈控制所述成像系统(220)包括基于变化的设定点值来控制所述电可调透镜(140)的透镜控制输入，所述变化的设定点值是通过所述透镜控制输入和所检测的所述显微镜物镜(221)的轴向物距变化的当前值、以及通过将检测器装置输出值分配给物距变化值和透镜控制输入值的校准数据来确定的，其中，所述校准数据被存储在与所述反馈回路装置(130)耦合的校准数据存储装置中。
14.根据权利要求13所述的自动聚焦控制方法，其中，
-在操作范围内控制电可调透镜(140)，其中，所述检测器装置输出值具有与所述透镜控制输入值的线性关系。
15.根据权利要求13至14中的一项所述的自动聚焦控制方法，其中，
-连续地检测物距变化，并且以预定的检测速率来提供所述检测器装置输出值。
16.根据权利要求13至14中的一项所述的自动聚焦控制方法，其中，
-在全内反射模式下感测所述监测射束(111)，其中入射的监测射束(111)在所述样品(1)处经受全内反射，并且反射的监测射束(112)具有取决于所述显微镜物镜(221)的焦点位置和当前的透镜控制输入值的横向位移。
17.根据权利要求16所述的自动聚焦控制方法，其中，
-利用位置敏感的光电检测器来感测反射的监测射束(112)，所述位置敏感的光电检测器包括如下光电检测器：所述光电检测器产生取决于检测到的光在所述光电检测器上的位置的输出信号。
18.根据权利要求17所述的自动聚焦控制方法，其中，
-利用四象限光电检测器(121)来感测反射的监测射束(112)。
19.根据权利要求13至18中的一项所述的自动聚焦控制方法，其中，所述校准数据是通过校准过程来产生的，包括：
-收集表示检测器装置输出值与物距变化值之间的关系、表示检测器装置输出值与透镜控制输入值之间的关系、以及表示在具有不同物距的成像系统(221)的焦点位置处的检测器装置输出值与透镜控制输入值之间的关系的测量数据，其中使用校准样品，以及
-根据所收集的测量数据来计算所述校准数据。
20.根据权利要求13至19中的一项所述的自动聚焦控制方法，其中，
-所述监测射束源产生光束作为所述监测射束(111)，其中所述光束的波长与用于利用所述显微成像装置(200)进行显微成像的波长或波长范围不同。
21.根据权利要求20所述的自动聚焦控制方法，其中，
-所述监测射束源产生激光束作为所述监测射束(111)。
22.一种显微方法，包括以下步骤：
-用显微镜设备(200)来研究样品(1)，其中，
-利用根据权利要求13至21中的一项所述的自动聚焦控制方法来控制所述显微镜设备的成像系统(220)。
技术总结