本发明涉及光学成像技术,尤其是一种基于虚拟数字调制的高通量光学层析成像方法、成像系统及三维成像系统。
背景技术:
高通量的光学层析成像方法对于生物医学研究意义重大,传统的宽场显微镜在厚组织成像中存在很强的背景荧光。为了解决这一问题,已经提出了几种技术方法,包括共聚焦显微成像、双光子显微成像、光片显微成像和结构光显微成像等。共聚焦显微镜成像技术在相机前放置小孔来阻挡离焦的背景信号,仅让焦面信号通过,进而实现光学层析效果。双光子显微成像技术利用非线性效应,只有在焦点位置具有足够能量激发出荧光,因此具有天然的层析效果。这两种成像方法都属于点扫描成像技术,成像通量较低,难以适用于大样本成像。光片显微成像采用照明与探测正交的方式,只有被光片照明区域的信号可以被探测光路接收,从而实现光学层析效果。光片成像技术成像通量较高,但通常需要结合光透明技术,处理流程复杂,并且由于散射等因素的作用存在空间分辨率不一致的问题。
结构光显微成像技术在宽场照明上叠加一种高频的周期图案实现对焦面信号的调制,离焦信号因高频调制的迅速衰减而被抑制,进而实现光学层析。传统的结构光显微成像通过结构照明和宽场成像的方法进行实现,相比共聚焦显微成像等方法的点扫描方式,成像速度有了很大提高。申请号为201210402820.4的中国专利公开了一种大样本快速三维显微成像方法,采用数字微镜阵列实现快速的结构光调制,通过马赛克扫描拼接实现大样本的三维连续成像。该方法采用的马赛克扫描方式在平移台移动上耗费了大量的时间,同时基于数字微镜阵列的结构光调制方法需要在一个视场内拍摄至少3张图像才能进行结构光层析重建。此外,这种成像方法的成像质量对调制深度依赖较大,特别是对厚组织样本成像时,强烈的背景荧光使得结构光调制深度下降,导致重建图像信噪比下降。因此,发展一种简单有效的高通量光学层析成像方法和系统是很有必要的。
技术实现要素:
本发明的目的在于克服上述技术不足,提出一种基于虚拟数字调制的高通量光学层析成像方法及成像系统,解决现有技术中结构光照明显微成像技术对大尺寸样本成像速度慢、需使用额外调制器件、对调制图案对比度依赖大的技术问题。
为达到上述技术目的,本发明的技术方案提供一种基于虚拟数字调制的高通量光学层析成像方法,包括如下步骤:
s1、采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成原始的n条采样图像p(i),其中i表示相机的第i个线阵,p(i)表示相机的第i个线阵获取的采样区的原始图像,i、n均为正整数,i≤n;
s2、对获取的采样区的所有原始图像p(i)进行数字调制并积分求和,产生的j相位下的所述采样区的数字结构光图像pj为:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(i)取值为0或1,且线阵相机的有效线阵数n为m(i)周期t的整数倍,周期函数的周期t不小于3;
s3、对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj可以表示为如下形式:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
本发明提供的一种基于虚拟数字调制的高通量光学层析成像方法,对某一采样区进行n个阵列的成像得到n条采样图像,然后对这n条采样图像进行虚拟调制后进行解调即可得到该采样区的焦平面图像。只需要对该采样区进行一次采样,不用借助调制器件进行调制,大大加快了成像速度;同时进行虚拟数字调制可以利用“截断”积分减小离焦信号引入的噪声,因此成像质量较好。
与现有技术相比,本发明提供的一种基于虚拟数字调制的高通量光学层析成像方法,省去了物理调制器件,同时具有更深的成像深度,更好的背景抑制能力和更高的图像信噪比。
同时,本发明还提供一种基于虚拟数字调制的高通量光学层析成像系统,包括:
图像采集单元,用于采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成原始的n条采样图像p(i),其中i表示相机的第i个线阵,p(i)表示相机的第i个线阵获取的采样区的原始图像,i、n均为正整数,i≤n;
图像调制单元,用于对获取的采样区的所有原始图像p(i)进行数字调制并积分求和,产生的j相位下的所述采样区的数字结构光图像pj为:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(i)取值为0或1,且线阵相机的有效线阵数为m(i)周期的整数倍,周期函数的周期不小于3;
图像解调单元,用于对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj可以表示为如下形式:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
上述一种基于虚拟数字调制的高通量光学层析成像系统,用于实现基于虚拟数字调制的高能量光学层析成像方法。
本发明又提供一种基于虚拟数字调制的高通量光学层析三维成像装置,包括上述的基于虚拟数字调制的高通量光学层析成像系统,还包括:载物台,用于放置待成像物体;切削模块,用于对完成成像的物体浅层进行切除,所述样本为部分物体浅层。
该三维成像装置可对三维物体进行层析成像,一边对已获得焦面图像的浅层进行切削,一边对新暴露出来的物体的浅层采用上述的基于虚拟数字调制的高能量光学层析成像方法获取相应的焦面图像,边获取焦面图像边切削,依此来减少三维物体的成像时间。
附图说明
图1是本发明的高通量光学层析成像方法的重建原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种基于虚拟数字调制的高通量光学层析成像方法,包括如下步骤:
s1、如图1中(a)所示,采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成的n条采样图像为p(i),其中,i为正整数且1≤i≤n,p(i)表示相机的第i个线阵得到的采样区的原始图像,即获得采样图像p(1)-p(n);具体成像时,其包括如下步骤:
s101、如图1中(b)所示,将样本位于线照明光斑的光强最强的区域定义为样本采样区,并对所述样本采样区进行成像;
s102、样本一边移动相机一边成像,其中成像的单帧曝光时间与样本移动一行线阵的时间相同;
s103、当样本移出线照明光斑的光强最强的位置时结束成像。
本实施例中,将光束整形成呈线状的线照明光斑,然后再将线照明光斑聚焦到物镜焦面位置,该光线在物镜焦面位置的粗细受限于光学衍射规律,理论上线光束越细,调制深度越大,结构光重建图像的信噪比越好。衍射受限的线照明光斑可垂直于样本移动方向,本实施例可驱动样本沿垂直于衍射受限线光束的方向作连续、匀速移动,也可驱动衍射受限线光束沿平行于样本的方向作连续、匀速移动,只要衍射受限线光束与样本能够产生相对连续、匀速运动即可。
如图1中(a)所示,本实施例的相机为n线面阵探测器,因此包括n行线阵;在与所述样本成像平面相平行的平面上形成相垂直x与y两个方向。而且,n行线阵的分布方向和宽度分别与衍射受限线照明光斑的分布方向和宽度相同,并互为物像共轭关系,从而便于成像区域与线照明调制光束相对应。样本相对衍射受限线照明光斑移动的方向也沿x方向,从而保证样本相对衍射受限线光束移动方向与n行线阵的排列方向相同,为了便于操作,本实施例优选采用驱动样本运动,而衍射受限线光束则可设置为静态,即样本的运动方向可设置与n行像素的排列方向相同,且成像的单帧曝光时间与样本移动一行像素的时间相同。
s2、如图1中的(c)所示,对相机n个线阵得到的原始图像进行数字调制并积分求和,产生的第j个相位的数字结构光图像表达式如下:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(x)取值为0或1,且线阵相机的有效线阵数n为m(x)周期t的整数倍。理论上讲,探测面需要进行无穷积分,而实际相机的线阵数是有限的,因此需要进行截断积分。此外,截断积分去除了部分焦外信号,这有助于提高重建图像的信噪比,下面简要说明原因。
结构光显微成像技术在宽场照明上叠加高频的周期图案实现对焦面信号的调制,离焦信号因高频调制的迅速衰减而被抑制,进而实现光学层析。但是,实际成像中必然存在噪声,而离焦信号的噪声也会影响重建图像的信噪比,结构光层析图像的信噪比可以表示为如下形式:
其中,<>表示数学期望,var()表示方差。由该式可知,离焦信号pout的方差(即噪声)会影响重建图像的信噪比。本方案的截断积分可以理解为共聚焦成像中“小孔”的作用,“小孔”去除了部分离焦信号,因此减小了离焦信号pout的方差(即噪声),从而提高了重建图像的信噪比。需要注意,截断积分的积分区间必须是整数个调制周期,否则可能会出现“能量泄露”问题。另外,经典的结构光层析重建需要至少3张不同相位图像,为了产生至少3个相位,周期不小于3;
s3、继续如图1中的(c)所示,对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj表示为:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
针对上述成像方法,本发明还提供一种基于虚拟数字调制的高通量光学层析成像系统,包括:
图像采集单元,用于采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成原始的n条采样图像p(i),其中i表示相机的第i个线阵,p(i)表示相机的第i个线阵获取的采样区的原始图像,i、n均为正整数,i≤n;
图像调制单元,用于对获取的采样区的所有原始图像p(i)进行数字调制并积分求和,产生的j相位下的所述采样区的数字结构光图像pj为:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(i)取值为0或1,且线阵相机的有效线阵数n为m(i)周期t的整数倍,周期函数的周期t不小于3;
图像解调单元,用于对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj可以表示为如下形式:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
本发明提供的一种基于虚拟数字调制的高通量光学层析成像方法及系统,对某一采样区进行n个阵列的成像得到n条采样图像,然后对这n条采样图像进行虚拟调制后进行解调即可得到该采样区的焦平面图像。只需要对该采样区进行一次采样,不用借助调制器件进行调制,大大加快了成像速度;同时进行虚拟数字调制时可以利用截断积分减小离焦信号引入的噪声,因此成像质量较好。
该成像方法即可适用于单张薄片样本成像,也可适用三维物体的成像,下面先以单张薄片样本成像为例进行说明。
实施例1
采用线阵数n=4的相机对样本进行拍照,即单帧图像包括4行像素p(1)~p(4),根据线阵相机的有效线阵数n为数字调制函数m(i)周期t的整数倍的条件,且结构光图像重建至少需要三张不同相位图像,因此数字调制函数m(i)周期t=4。
为了获得均匀相位分布的结构光调制图像,需要通过虚拟数字调制产生4张不同相位图像,因此4张不同相位的数字调制函数m(i)在周期t=4内的取值可以分别为:1100,0110,0011和1001。按照该数字调制方式,可以计算出4个不同相位图像分别为:
p1=p(1) p(2)
p2=p(2) p(3)
p3=p(3) p(4)
p4=p(4) p(1)
其中,p1~p4的相位记为
p1=pins1(x) pout,
p2=pins2(x) pout,
p3=pins3(x) pout,
p4=pins4(x) pout,
其中,需要说明的是,实际上x的值会不同,但在上述公式中该值不起作用,因此可不予考虑;
结合上述公式对焦平面图像pin进行解调:
式中,本来
实施例2
采用线阵数n=6的相机对样本进行拍照,即单帧图像包括6行像素p(1)~p(6),根据线阵相机的有效线阵数n为数字调制函数m(i)周期t的整数倍的条件,且结构光图像重建至少需要三张不同相位图像,这里令数字调制函数m(i)周期t=6。
为了获得均匀相位分布的结构光调制图像,需要通过虚拟数字调制产生3张不同相位图像,因此3张不同相位的数字调制函数m(i)在周期t=6内的取值可以分别为:111000,001110和100011。按照该数字调制方式,可以计算出3个不同相位图像分别为:
p1=p(1) p(2) p(3)
p2=p(3) p(4) p(5)
p3=p(5) p(6) p(1)
其中,p1~p3的相位记为
p1=pins1(x) pout,
p2=pins2(x) pout,
p3=pins3(x) pout,
其中,需要说明的是,实际上x的值会不同,但在上述公式中该值不起作用,因此可不予考虑;
结合上述公式对焦平面图像pin进行解调:
式中,本来
上述2个实施例均以薄切片样本为例进行说明,实际上,该成像方法及系统也适用于三维物体的成像。下面详细介绍关于三维物体的成像。
实施例3
本发明还提供一种基于虚拟数字调制的高通量光学层析三维成像装置,包括上述的基于虚拟数字调制的高通量光学层析成像系统,还包括:
载物台,用于放置待成像物体;
切削模块,用于对完成成像的物体浅层进行切除,所述样本为部分物体浅层。
三维物体与薄切片成像有一个很大的区别在于,对三维物体成像需要先对浅层采用上述基于虚拟数字调制的高通量光学层析成像系统对该样本进行解调后,需要对成像后的浅层进行切除,以露出新的浅层继续采用基于虚拟数字调制的高通量光学层析成像系统对该样本进行解调,循环采用成像-切削-成像的方式直到完成整个三维物体的全部成像。
在成像过程上,为了节省成像时间,除了第一次切削与最后一次成像外,本次切削的同时,所述成像系统完成对上一次切削的物体浅层的焦平面图像的解调。这样可以边切削边成像,节省成像时间。
进一步地,所述切削模块与所述成像物体相对移动,以实现所述切削模块对完成成像的物体浅层进行切除。不管是切削模块移动还是成像物体移动,只要二者相对移动即可实现切削。
进一步地,还包括三维移动平台,与所述载物台或切削模块相连。采用三维移动平台,一方面可实现移动的自动化,另一方面,对位置的控制会更加精准。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
1.一种基于虚拟数字调制的高通量光学层析成像方法,其特征在于,包括如下步骤:
s1、采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成原始的n条采样图像p(i),其中i表示相机的第i个线阵,p(i)表示相机的第i个线阵获取的采样区的原始图像,i、n均为正整数,i≤n;
s2、对获取的采样区的所有原始图像p(i)进行数字调制并积分求和,产生的j相位下的所述采样区的数字结构光图像pj为:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(i)取值为0或1,且线阵相机的有效线阵数n为m(i)周期t的整数倍,周期函数的周期t不小于3;
s3、对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj可以表示为如下形式:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
2.根据权利要求1所述的基于虚拟数字调制的高通量光学层析成像方法,其特征在于,所述步骤s1中采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像的具体方法为:
s101、将样本位于线照明光斑的光强最强的区域定义为样本采样区,并对所述样本采样区进行成像;
s102、样本一边移动相机一边成像,其中,成像的单帧曝光时间与样本移动一行线阵的时间相同;
s103、当样本移出线照明光斑的光强最强的位置时结束成像。
3.根据权利要求2所述的基于虚拟数字调制的高通量光学层析成像方法,其特征在于,所述步骤s101中成像的具体方法为:n个线阵的相机在同一时间分别对同一样本采样区进行成像,即每帧对同一样本采样区形成原始的n条采样图像p(i)。
4.根据权利要求3所述的基于虚拟数字调制的高通量光学层析成像方法,其特征在于,所述至少三张数字结构光图像pj依次对应的调制强度分布sj(x)属于均匀相位分布。
5.根据权利要求1所述的基于虚拟数字调制的高通量光学层析成像方法,其特征在于,所述数字调制函数m(i)为方波函数。
6.一种基于虚拟数字调制的高通量光学层析成像系统,其特征在于,包括:
图像采集单元,用于采用具有n个线阵的相机对线照明光斑下的样本采样区进行成像,形成原始的n条采样图像p(i),其中i表示相机的第i个线阵,p(i)表示相机的第i个线阵获取的采样区的原始图像,i、n均为正整数,i≤n;
图像调制单元,用于对获取的采样区的所有原始图像p(i)进行数字调制并积分求和,产生的j相位下的所述采样区的数字结构光图像pj为:
其中,mj(i)表示j相位下的数字调制函数m(i),数字调制函数m(i)为一个周期函数,周期记为t,m(i)满足以下条件:
m(i)=0or1,1≤i≤n
mod(n,t)=0,t≥3
即周期函数m(i)取值为0或1,且线阵相机的有效线阵数n为m(i)周期t的整数倍,周期函数的周期t不小于3;
图像解调单元,用于对至少三张均匀相位分布的数字结构光图像pj进行解调,获取焦面图像pin即为光学层析图像,数字结构光图像pj可以表示为如下形式:
pj=pinsj(x) pout
其中,sj(x)为数字结构光图像pj所对应的调制强度分布,
其中,||表示在复数域取模,inum为复数单位,c为大于0的常数,j为调制函数的总数量。
7.一种基于虚拟数字调制的高通量光学层析三维成像装置,其特征在于,包括权利要求6所述的基于虚拟数字调制的高通量光学层析成像系统,还包括:
载物台,用于放置待成像物体;
切削模块,用于对完成成像的物体浅层进行切除,所述样本为部分物体浅层。
8.根据权利要求7所述的基于虚拟数字调制的高通量光学层析三维成像装置,其特征在于,除了第一次切削与最后一次成像外,本次切削的同时,所述成像系统完成对上一次切削的物体浅层的焦平面图像的解调。
9.根据权利要求8所述的基于虚拟数字调制的高通量光学层析三维成像装置,其特征在于,所述切削模块与所述成像物体相对移动,以实现所述切削模块对完成成像的物体浅层进行切除。
10.根据权利要求9所述的基于虚拟数字调制的高通量光学层析三维成像装置,其特征在于,还包括三维移动平台,与所述载物台或切削模块相连。
技术总结