本发明涉及光电无损3d检测技术领域,更具体地讲,涉及一种计量级3d超景深显微系统及检测方法。
背景技术:
非接触式3d表面检测技术描述了在天然或加工表面上,通过使用非破坏性光学技术捕获物体表面上点的3d空间坐标,实现微米或纳米尺度特征的测量和表征;与接触式表面检测技术相比,光学检测系统具有重大优势,其不会损坏待测物体,并且能够穿过透明介质进行测量,因此应用领域已取得快速发展,广泛应用于mems、半导体、纳米材料、生物医学、工业探测及计量等技术领域;最常见的光学检测技术主要包括光谱共焦轮廓仪技术、白光干涉显微技术以及激光共聚焦显微技术,其中每种技术都存在着自己的特定的优缺点:
白光干涉显微技术:白光干涉显微镜采用光干涉的原理来成像,通过纳米垂直扫描器与干涉物镜使z轴分辨率达到0.1nm,具有非常高的3d高精度量测,然而该类仪器价格过高,仅仅适合极小众用户。通过该方法,仅能得到灰度图像和黑白3d模型,并没有展示材料表观真实纹理和真实色彩,对于平整样品的不同成分之间的界面无法分辨,只能做尺度定量检测而无法定性检测,并且白光干涉仪无法检测到陡峭角度,受表面反射率限制,使用范围受限;
光谱共焦轮廓仪技术:该方法通过白光光谱色散与共焦的原理,利用共焦与光谱仪技术,对样品表面扫描,得到样品表面的尺寸点云数据后进行三维建模;可以实现z轴纳米级的检测精度;该方法与白光干涉显微镜一样,仅能得到灰度图像和黑白3d模型,并没有展示材料表观真实纹理和真实色彩,对于平整样品的不同成分之间的界面无法分辨,故只能做定量检测;适用范围受限。值得一提的是,光谱共焦扫描方式的优点在于成本相对低廉,从而该方法在轮精细廓测量过程中仍然具有普遍的实用性;
激光共聚焦显微技术:该方法通过激光与小孔共焦成像的原理,对样品表面扫描,得到样品表面的微观形貌点云数据后进行三维建模,可以实现z轴纳米级的检测精度,具有较高的3d高精度量测;然而该类仪器存在以下技术问题:价格过于昂贵,仅仅适合极小众用户,通过该方法,仅能得到灰度图像和黑白3d模型,并没有展示材料微观真实色彩,其大面积3d图像采集是通过多个3d图像拼接为一个超大3d模型的原理,算法本身会带入新的误差,导致精度下降,故其比较适合小范围的观测。
根据上述现有光学检测技术存在的技术问题,本发明人提出了一种3d超景深显微技术,利用显微镜的小景深,通过焦平面的上下平移,得到物体的微观三维空间结构信息,并实现光学多层景深合成,并在此基础上得到真实色彩、显微细节的3d模型,该方法成本相对较低。但本申请发明人在实现本发明实施例的过程中,发现上述3d超景深显微技术局限在于:光学显微镜受照明方式和光学镜头场曲、畸变、算法和光学景深算法的限制,图像存在一定畸变;且该类仪器对于光滑表面(如镜面或陶瓷)及透明样品(如玻璃)无法实施有效检测,对于对比度低的浅色样品检测精度明显下降;且需要大面积3d图像采集,则是采用多个3d模型拼接为一个超大3d模型的原理,算法本身会带入新的误差,导致其检测精度无法满足日益发展的检测需求;由此,针对上述技术问题,亟需研究设计一种计量级3d超景深显微系统及检测方法,满足相对成本较低,既能够大面积检测3d微纳尺寸,又能够反应样品真实细节和真实颜色的显微系统,可以全面观测目标,满足日益复杂的精细检测要求。
技术实现要素:
为解决上述现有技术问题,本发明的目的在于提供一种计量级3d超景深显微系统及检测方法,其目的一在于能够观察样品的同时能够超大面积对材料表面的微观状态进行拍照、3d真彩色成像、3d测量,其目的二在于实现计量级的检测精度同时并保有微观样品的细节与真实颜色;其目的三在于利于科研人员和检测工作者快速、无损的观察样品微纳结构,微小尺寸缺陷等,确定缺陷等级并测量3d尺寸实现定量分析,具有很好的应用前景。
本发明采用的技术方案如下:
计量级3d超景深显微系统,包括光学显微镜、光谱共焦传感器或白光干涉传感器、xyz轴电动位移平台以及控制模块和pc处理器;所述控制模块包括xyz电动控制单元、与光谱共焦传感器连接的光谱共焦处理器或与白光干涉传感器连接的白光干涉信号处理器以及电源模块;所述控制模块与pc处理器连接,pc处理器内具有3d成像测量软件;
所述光学显微镜配置有照明光源和图像采集单元,所述图像采集单元用于采集物体目标检测区域的图像信息,并将图像信息传输给所述pc处理器;
所述光谱共焦传感器或白光干涉传感器用于采集所述目标检测区域的轮廓信息,并将轮廓信息传输给所述光谱共焦处理器或白光干涉信号处理器;
所述xyz电动控制单元与所述xyz轴电动位移平台的驱动器电连接,用于设置检测起点、终点及扫描路径,并将检测点的坐标信息反馈给所述pc处理器;
所述xyz轴电动位移平台包括xy轴平移台和z轴升降模块,以使所述光学显微镜和所述光谱共焦传感器或白光干涉传感器在xyz轴方向构成的三维空间内对物体进行检测;
所述pc处理器用于接收、分析和储存所述图像采集单元采集的物体图像信息,以及所述光谱共焦传感器或白光干涉传感器采集的物体轮廓信息和对应xyz轴的坐标数据信息。
本技术方案中,在pc处理器中安装有3d成像测量软件,1.该3d成像测量软件具有采集多层图像和对应高度位置数据的功能,而显微镜固有的小景深特点为:最小景深《1微米,景深外模糊,景深内清晰,而该3d成像测量软件通过清晰度比较算法,去除每层图像中的景深外模糊部分,保留每层图像中景深内清晰部分,最终通过保留下来的具有高度位置数据的清晰部分,即在观察样品细微表观质量时,呈现出的样本显微图像无局部模糊,拥有统一的清晰度,并通过微观显微3d成像与建模,能够很全面的理解实验样本所携带的全部信息量,进而准确表述大型物体表面微观的实际数据,实现光学显微3d成像与建模;2.该3d成像测量软件同时具有利用光谱共焦传感器或白光干涉传感器采集的样品表面形貌数据进行3d建模功能;3.该3d成像测量软件具有光学显微3d模型与光谱共焦传感器或白光干涉传感器获得的3d点云模型融合功能;4.该3d成像测量软件具有单张图像测量、多张图像拼接后测量,单个3d模型测量和多个3d模型拼接后测量、光学显微3d模型与光谱共焦传感器或白光干涉传感器的3d点云模型融合以及融合后3d成像与测量功能。
进一步地,所述光学显微镜的光轴与所述光谱共焦传感器或白光干涉传感器的光轴具有平行方式和不平行方式;当两者不平行时,具有一直线l和与直线l垂直的投影面,所述直线l垂直于光学显微镜的光轴,所述直线l垂直于光谱共焦传感器或白光干涉传感器的光轴,所述光学显微镜的光轴与光谱共焦传感器或白光干涉传感器的光轴投影在所述投影面上形成的两条相交直线产生的锐角在0°-60°之间。
本技术方案中光学显微镜的光轴定义如下:显微镜镜片光轴与物镜中心轴重合,样品反射的光线最先到达的镜片为物镜第一镜片,当物镜第一镜片靠近样品一侧无光学反射镜时,物镜第一镜片光轴为显微镜的光轴;当物镜第一镜片靠近样品一侧有光学反射镜时,与物镜第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为显微镜的光轴。
本技术方案中光谱共焦传感器的光轴定义如下:传感器镜片光轴与光谱共焦传感器中心轴重合,样品反射的光线最先到达的镜片为传感器第一镜片,当传感器第一镜片靠近样品一侧无光学反射镜时,传感器第一镜片的光轴为传感器的光轴;当传感器第一镜片靠近样品一侧有光学反射镜时,与传感器第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为光谱共焦传感器的光轴。
本技术方案中白光干涉传感器的光轴定义如下:传感器镜片光轴与白光干涉传感器中心轴重合,样品反射的光线最先到达的镜片为传感器第一镜片,当传感器第一镜片靠近样品一侧无光学反射镜时,传感器第一镜片的光轴为传感器的光轴;当传感器第一镜片靠近样品一侧有光学反射镜时,与传感器第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为白光干涉的光轴。
进一步地,所述光学显微镜的光轴与所述xyz轴电动位移平台在xy方向所在的实际运动平面具有垂直方式和不垂直方式;当两者不垂直时,以垂直方向为基准线,所述光学显微镜的光轴的摆动角度在-90°至90°之间。
进一步地,所述xy轴平移台与z轴升降模块设计为分离式,所述光学显微镜与所述光谱共焦传感器或白光干涉传感器安装在所述z轴升降模块上,以使所述z轴升降模块不随所述xy轴平移台同步移动,如此本技术方案将xy轴平移台设计为一体式,被检测物体放置于xy轴平移台上移动。
进一步地,所述xy轴平移台与z轴升降模块设计为一体式,以使所述z轴升降模块随所述xy轴平移台同步移动,所述光学显微镜与所述光谱共焦传感器或白光干涉传感器通过支撑装置安装在所述xyz轴电动位移平台外侧或通过支撑架安装在xyz轴一体平移台上方。如此本技术方案将xy轴平移台与z轴升降模块设计为一体式,将待检测物体放置于一体式xyz轴电动位移平台上随其同步运动进行检测,待检测物体处于运动状态;而将光学显微镜和所述光学检测传感器安装在z轴升降模块上时,待检测物体处于静止状态。
进一步地,所述xyz轴电动位移平台中设置高精度位移传感器,以实时采集xyz轴电动位移平台的位置信息并将获得的位置数据反馈给所述pc处理器,用于精确控制所述xyz轴电动位移平台移动距离;高精度位移传感器可以选择磁栅或者光栅中的一种。
可选地,所述扫描类型包括检测物体的表面颜色、显微细节纹理、3d轮廓形貌。
可选地,所述图像采集单元至少包括彩色ccd或彩色cmos中的一种。
另一方面,本发明还提供有一种计量级3d超景深显微检测方法,运行于所述计量级3d超景深显微系统中,利用所述光学显微镜和光谱共焦传感器或白光干涉传感器用于对待测物体缺陷进行检测,其检测方法包括以下步骤:
步骤一:获取实时清晰光学显微图像,确定检测起点、终点;
步骤二:在控制模块中设定检测起点、终点的xy坐标及扫描路径,精准确定目标检测区域;
步骤三:触发所述光学显微镜和所述xyz轴电动位移平台,所述光学显微镜按照预设的扫描路径在预设的目标检测区域内实现显微光学级3d扫描,获得的光学级显微3d扫描结果,所述光学级显微3d扫描结果包括目标标检测区域的常规显微图像、超景深平面图像或光学显微3d模型中的一种或多种;
本技术方案中所述常规显微图像是指在光学显微镜下一次采集单层的单视野显微图像;
本技术方案中所述超景深平面图像是指采集不同高度层显微图像,通过三维重构算法合成的该区域超景深平面图像;
本技术方案中所述光学显微3d模型是指将多层扫描图像、xy轴坐标数据以及每层对应的高度z数据导入3d成像测量软件进行3d建模后获得的光学显微3d模型;
步骤四:触发所述光谱共焦传感器或白光干涉传感器,同步触发所述xyz轴电动位移平台,所述光谱共焦传感器或白光干涉传感器按照预设的扫描路径,对步骤三中所述光学显微镜的目标检测区域进行同一区域扫描;并将得到的高度z数据与对应的xy轴坐标数据送入至导入3d成像测量软件进行实时重建,获得所述目标检测区域的3d点云模型;
步骤五:将所述显微光学级3d扫描得到的超景深平面图像或常规显微图片与所述光谱共焦传感器或白光干涉传感器获得的3d点云模型进行融合,或将所述光学显微3d模型与所述光谱共焦传感器或白光干涉传感器获得的3d点云模型进行融合,得到目标检测区域的计量级3d模型。
进一步地,步骤三中,利用所述光学显微镜获得目标检测区域的光学级显微3d扫描结果至少还包括多视野常规显微图像拼接后的全景常规显微图像、多视野超景深平面图像拼接后的全景超景深平面图像以及多视野光学显微3d模型拼接后的全景光学显微3d模型中的一种或多种。
进一步地,步骤三中,所述3d建模的方法包括以下步骤:
s1,通过所述xyz轴电动位移平台在z向扫描,获取物体表面在z向多层序列图像,同时获取每层图像对应的z轴当前高度值,扫描范围确保整个序列图像覆盖目标检测区域内立体起伏表面的最高点与最低点;
s2,采用聚焦评价函数计算序列图像中各像素点或像素点集合在不同高度的聚焦清晰值,对全部序列图像中的同一xy坐标位置的像素点或像素点集合进行比较,找出不同层像素点或像素点集合聚焦评价最大值,该最大值对应xy坐标下聚焦最清晰的层,取聚焦最清晰层的高度值作为这一局部区域物体表面高度值z1;
s3,取聚焦评价最大值位置所对应该层图片的像素或像素集合作为最终的保留区域,可获得局部最清晰的图像,依次计算所有的像素或像素集合,最终合成全部聚焦清晰的超景深平面图像,并以所述超景深平面图像作为蒙皮,所述蒙皮具有真实颜色与显微细节,结合步骤s2中所述z1值与z1值对应的xy坐标值,重构出能反映物体表面形貌的三维彩色立体图;
s4,完成一个单视野3d显微镜建模之后,所述xyz轴电动位移平台按照预设扫描路径移至相邻区域,重新执行步骤s1,s2,s3,得到第二个相邻视野的3d显微模型,以此类推,获得覆盖整个目标检测区域多个常规显微图像、超景深平面图像、光学显微3d模型,将所述常规显微图像、超景深平面图像、光学显微3d模型分别进行拼接,即可得到目标检测区域内全景常规显微图像、全景超景深平面图像、全景光学显微3d模型。
进一步地,将所述光学显微获得的检测结果与所述光谱共焦传感器或白光干涉传感器获得的检测结果进行融合;至少包括以下几种融合方式:
c1,提取单视野常规显微图像纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;
c2,提取多视野常规显微图像拼接后的全景常规显微图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;
c3,提取单视野超景深平面图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;单视野超景深平面图像为单个视野中由不同高度图像,通过三维重构算法合成的该区域超景深平面图像;
c4,提取多视野超景深平面图像拼接后形成的全景超景深平面图像的纹理、细节、颜色与对应目标检测区域的光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;所述全景超景深图像为多个相邻单视野超景深平面图像通过图像拼接算法合成的含多视野景深信息的全景超景深平面图像;
c5,提取光谱共焦传感器或白光干涉传感器获得的3d点云模型的xyz轴数据替换对应区域光学显微3d模型xyz轴数据,实现目标检测区域3d点云模型与光学显微3d模型的融合。
如上所述,本发明相对于现有技术至少具有如下有益效果:
1.本发明显微系统检测方法巧妙的结合了光学显微镜与白光干涉技术或光谱共焦技术的优点,运行于计量级3d超景深显微系统中,能够无损观察样品的同时能够超大面积对材料表面的微观状态进行拍照、3d真彩色成像、3d测量,其检测结果为同时具有颜色、细节纹理、超高精度的计量级图像、数据及模型,实现计量级的检测精度同时并保有微观样品的细节与真实颜色,利于科研人员和检测工作者快速、无损的观察样品微纳结构,微小尺寸缺陷等,确定缺陷等级并测量3d尺寸实现定性、定量分析。
2.本发明显微系统的光学显微镜中配置有图像采集单元,图像采集单元通过软件控制发出指令,并将采集的图像信息反馈给pc处理器,显示成供检测工作者观察的图像,并结合xyz轴电动位移平台及传感器的设计,能够对现场高低起伏样品不同高度层次纹理、细节、颜色及轮廓形貌进行实时观察,利于检测工作者无损、全面观察样品细微状态,确定表面细微缺陷等级。
3.本发明显微系统在实现计量级的检测精度同时并保有样品表面的微观细节与真实颜色,充分考虑了光学显微镜的光轴与光学检测传感器的光轴具有平行方式和不平行方式,通过确定光学显微镜的光轴与传感器的光轴延伸在物体检测表面交点的相对坐标,用于标定两者的目标检测区域相同,以使两者的融合信息相匹配;同时考虑了光学显微镜的光轴与xyz轴电动位移平台xy方向所在的实际运动平面具有垂直方式和不垂直方式,用以针对不同形状的高低起伏样品现场3d成像以及特殊样品缺陷部位3d尺寸等,具有较好的实用性。
4.本发明显微系统的xyz轴电动位移平台中设置有高精度位移传感器,高精度位移传感器可以选择磁栅或者光栅中的一种,用于实时精确采集xyz轴电动位移平台的位置数据并将其反馈给pc处理器,用以校对控制模块预先反馈的坐标信息,选择的光栅的实际精度应《200纳米,以保证能够实时精确采集位移平台的位置信息,同时pc处理器具有的3d成像测量软件具有z轴跳动的矫正功能,即通过算法对xy轴平移台平移过程中产生的z轴微小跳动进行实时补偿,最大可能的减小系统的运动误差,以提高检测精度。
5.本发明显微系统充分考虑了将xyz轴电动位移平台中的xy轴平移台和z轴升降模块设计为一体式或分离式的检测方式以及检测物体处于运动状态或静止状态的检测方式,在实践运用过程中,均能够超大面积对材料表面的微观状态进行3d真彩色成像、拍照、精准3d测量,在实现计量级的检测精度同时并保有样品表面的微观细节与真实颜色。
6.本发明显微系统检测方法使用操作简单,具有一键快速操作的特点,可以检测样品表观空间点、直线、面的位置关系,如表面粗糙度、空间面与面的夹角、台阶高度、微孔深度等所需参数;同时实现高低起伏样品现场3d成像以及现场测量样品缺陷部位3d尺寸等,能够在绝大部分场合替代现有的接触式测量设备,有广泛的适应性
附图说明
本发明将通过具体实施例并参照附图的方式说明,其中
图1是本发明实施例计量级3d超景深显微检测方法的原理流程示意图;
图2是本发明实施例计量级3d超景深显微检测方法光学3d显微三维重构原理图;
图3是本发明实施例计量级3d超景深显微检测方法3d建模实际过程图;
图4是本发明实施例计量级3d超景深显微检测方法3d观察与测量图;
图5是本发明实施例计量级3d超景深显微检测方法中双线性差值算法的原理图;
图6是本发明实施例计量级3d超景深显微系统的连接示意图;
图7是本发明实施例计量级3d超景深显微系统中电动调节z轴升降模块的示意图;
图8是本发明实施例计量级3d超景深显微系统中手动、电动双模式调节z轴升降模块的示意图;
图9是本发明实施例计量级3d超景深显微系统中图8中光学显微镜的光轴与光谱共焦传感器的光轴平行设置的局部示意图;
图10是本发明实施例计量级3d超景深显微系统中图8中光学显微镜的光轴与光谱共焦传感器的光轴不平行设置的示意图;
图11是本发明实施例计量级3d超景深显微系统中光学显微镜与光谱共焦传感器分离式安装的示意图;
图12是本发明实施例计量级3d超景深显微系统中z轴升降模块可摆动设置的示意图;
图13是本发明实施例计量级3d超景深显微系统图12的局部示意图;
图14是本发明实施例计量级3d超景深显微系统xy轴平移台与z轴升降模块一体式设计的示意图;
图15是利用本发明实施例计量级3d超景深显微系统进行检测的具体工作流程图。
附图标记说明:1-光学显微镜;11-物镜;12-环形光照明器;13-同轴光照明器;14-图像采集单元;15-光学显微镜的光轴;2-光谱共焦传感器;21-光谱共焦传感器的光轴;3-xyz轴电动位移平台;31-xy轴平移台;32-z轴升降模块;4-立柱;5-连接块;6-基座;7-主控箱体;71-xyz电动控制单元;72-光谱共焦处理器;8-pc处理器;9-粗微调手柄;10-可摆动支撑架;101-转轴;102-转轴支撑座;103-锁紧机构。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
实施例1
实施例基本如图1至图5所示:本实施例提供了一种计量级3d超景深显微检测方法,运行于计量级3d超景深显微系统中,该计量级3d超景深显微系统包括光学显微镜1、光谱共焦传感器2或白光干涉传感器、xyz轴电动位移平台3以及对应的控制模块和pc处理器8;其中控制模块与pc处理器8连接,且控制模块包括与xyz轴电动位移平台3连接的xyz电动控制单元71、与光谱共焦传感器2连接的光谱共焦处理器72或与白光干涉传感器连接的白光干涉信号处理器以及电源模块;本实施例以提供光谱共焦传感器2和光谱共焦处理器72为例,xyz轴电动位移平台3包括xy轴平移台31和z轴升降模块32,本实施例中将光学显微镜1和光谱共焦传感器2安装在z轴升降模块32上;本实施例光学显微镜1配置有照明光源和图像采集单元14,图像采集单元14用于采集目标检测区域的图像信息,并将图像信息传输给pc处理器8,pc处理器8内具有3d成像测量软件;利用光学显微镜1和光谱共焦传感器2对待测物体进行检测,本实施例以提供光谱共焦传感器2为例,如图15所示,其具体检测方法包括以下步骤:
步骤一:获取光学显微镜1实时清晰光学图像,并设图像中心为始点位置,确定检测起点、终点;具体操作方法为:
1.手动调节粗微调手柄9或向z轴升降模块32发出上升/下降指令,在pc处理器8屏幕中观察显微图像,直到显微图像出现全部清晰或局部清晰,以图像中心设为平面运动起点;
2.向xyz轴电动位移平台3发出上升指令,xyz电动控制单元71中的驱动器和控制器执行该指令,以使z轴升降模块32上升,z轴升降模块32带动光学显微镜1上升,并结合xy轴平移台31运动,通过光学显微镜1找到目标检测区域起伏样品的最高点,在pc处理器8确定最高点的位置(即为z轴扫描起点);
3.向xyz轴电动位移平台3发出下降指令,xyz电动控制单元71中的驱动器和控制器执行该指令,以使z轴升降模块32上升下降,z轴升降模块32带动光学显微镜1下降,并结合xy轴平移台31运动,通过光学显微镜1找到目标检测区域起伏样品的最低点,在pc处理器8确定最低点的位置(即为z轴扫描终点);
步骤二:在pc中确定目标检测区域的平面xy方向的移动检测起点、终点及扫描间距、扫描路径、扫描速度,并精准确定目标检测区域;
步骤三:触发所述光学显微镜1和xyz轴电动位移平台3,光学显微镜1按照预设的扫描路径在预设的目标检测区域内实现显微光学级3d扫描,利用配置在光学显微镜1上的图像采集单元14采集每层图像,同时记录该层的z轴高度位置数据,将每层的z轴高度位置数据和对应的扫描图像送入至pc处理器8内的3d成像测量软件进行3d合成,实现对样品单个视野的显微光学级别3d建模与测量,获得所述目标检测区域的光学显示图像与光学显微3d模型,扫描完成xyz轴电动位移平台3回到起点位置;该步骤获得的光学级显微3d扫描结果至少包括目标检测区域的常规显微图像、超景深平面图像和光学显微3d模型,以及多视野常规显微图像拼接后的全景常规显微图像、多视野超景深平面图像拼接后的全景超景深平面图像以及多视野光学显微3d模型拼接后的全景光学显微3d模型中的一种或多种;
其中步骤三中,所述3d建模的方法包括以下步骤:
s1,通过所述xyz轴电动位移平台3在z向扫描,获取物体表面在z向多层序列图像,同时获取每层图像对应的z轴当前高度值,扫描范围确保整个序列图像覆盖目标检测区域内立体起伏表面的最高点与最低点,在采集所述序列图像的同时记录下每层序列图像所对应的z轴高度位置数据;
s2,采用聚焦评价函数计算序列图像中各像素点或像素点集合在不同高度的聚焦清晰值,对全部序列图像中的同一xy坐标位置的像素点或像素点集合进行比较,找出不同层像素点或像素点集合聚焦评价最大值,该最大值对应xy坐标下聚焦最清晰的层,取聚焦最清晰层的高度值作为这一局部区域物体表面高度值z1;
s3,取聚焦评价最大值位置所对应图片的像素或像素集合作为该区域的dfd(depthfromdefocus,散焦深度)图像素值,可获得局部最清晰的图像,依次计算所有的像素或像素集合,最终合成全部聚焦清晰的超景深平面图像,并以所述超景深平面图像作为蒙皮,结合步骤s2中所述z1值与zi值对应xy坐标值,重构出能反映物体表面形貌的三维彩色立体图,完成一个光学3d显微模型:
具体地,图2示出了本发明实施例超景深显微检测方法中光学3d显微三维重构原理图,其重建算法:光学3d显微成像的算法是基于不同层次的图像的聚焦清晰度计算,一般方式下聚焦清晰图像边缘锐化程度较高,使用梯度算子
由于微分计算数据量较大,本专利使用易于计算的差分计算代替复杂的微分计算,同时考虑到图像的纹理变化,添加像元间的可变步长step来计算二阶差分,单点清晰度值计算公式如下:
ml(x,y)=|2f(x,y)-f(x-step,y)-f(x step,y)| |2f(x,y)-f(x,y-step)-f(x,y
对于整幅图像,将所有的点清晰度最大值所对应的位置数据集合后就是最终的3d图像数据。
结合图3和图4所示,上述3d成像测量软件具有采集多层图像和对应高度位置数据的功能,而显微镜固有的小景深特点为:最小景深《1微米,景深外模糊,景深内清晰,而该3d成像测量软件通过清晰度比较算法,去除每层图像中的景深外模糊部分,保留每层图像中景深内清晰部分,最终通过保留下来的具有高度位置数据的清晰部分,即在观察样品细微表观质量时,呈现出的样本显微图像拥有统一的清晰度,并通过微观实现3d成像与建模能够很全面的理解实验样本所携带的全部信息量,进而准确表述大型物体表面微观的实际数据,实现光学显微3d成像与建模;
s4,完成一个单视野3d显微镜建模之后,xyz轴电动位移平台3按照预设扫描路径移至相邻区域,重新执行步骤s1,s2,s3,得到第二个相邻视野的3d显微模型,以此类推,获得覆盖整个目标检测区域多个常规显微图像、超景深平面图像、光学显微3d模型,将所述常规显微图像、超景深平面图像、光学显微3d模型分别进行拼接,即可得到目标检测区域内全景常规显微图像、全景超景深平面图像、全景光学显微3d模型。
上述合成拼接可分为常规显微图像拼接、超景深平面图像拼接、3d模型拼接:最终获得目标检测区域的光学显示图像与光学显微3d模型:
1)普通平面拼接:
3d成像测量软件采集第一张图片后、手动移动xy轴平移台31或在pc处理器8发出xy方向移动指令,xyz电动控制单元71中的驱动器和控制器执行该指令,带动电动xy轴平移台31移动,样品移动到预设的相邻第二视野,软件采集第二张图片,在软件中实现两张图像拼接,以此类推,得到远超于单个视野面积的大面积显微图像。
2)超景深平面拼接与3d模型拼接:
a1.从xy方向起点开始,在pc处理器8发出光学显微3d扫描指令,xyz电动控制单元71中的驱动器和控制器执行该指令,以使z轴升降模块32运动,带动光学显微镜1和光谱共焦传感器2同步运动,从z轴起点方向扫描至z轴终点,多层采集序列图像的同时并记录对应层的高度位置数据,图像与高度位置数据在3d成像测量软件中合成,在完成第一个超景深平面图像和3d模型后,z轴升降模块32按程序设置自动回到z轴起点;此为一个完整的单视野光学显微3d扫描过程,可得到该区域超景深平面图像与3d模型。
a2.手动移动xy轴平移台31或在pc处理器8发出xy方向平面移动指令,xyz电动控制单元71中的驱动器和控制器执行该指令,以使xy轴平移台31移动,样品移动到预设的第二相邻视野,再重复执行上述a1步骤中光学显微3d扫描过程,由此完成第二个扫描动作,得到第二个超景深平面图像或3d模型;第一个超景深平面图像或3d模型与第二个超景深平面图像或3d模型在3d成像测量软件中实现自动拼接,完成超景深平面图像和3d观察的视野拓展;由此类推,平台按照“弓”字形平面移动,获取多个视野实现拼接,最终可以得到所需观察的大面积3d模型或超景深平面图像,直至平面方向预设终点。实现远超于单个视野面积的大面积3d观测和大面积光学超景深平面图像测量;上述采用通用图像拼接算法和3d模型拼接算法,其作为一种现有技术,在此不再赘述。
上述普通平面拼接、超景深平面拼接、3d模型拼接也可以由以下所述方法实现:在pc处理器8的3d成像测量软件中设定好xy轴平移台31的起点与终点,由软件自动判定采集个数和采集路径的行进方向,pc处理器8自动执行自动拼接,一次性完成大面积普通平面拼接、超景深平面拼接、3d模型拼接的采集。
步骤四:触发光谱共焦传感器2和xyz轴电动位移平台3,光谱共焦传感器2按照预设的扫描路径在预设的所述目标检测区域内实现扫描,对步骤三中所述光学显微镜1的目标检测区域进行同一区域扫描;并将得到的高度z数据与扫描数据与对应的xy轴坐标数据送入至导入3d成像测量软件进行实时重建,获得所述目标检测区域的图像或3d点云模型,具体包括以下步骤:
a1,手动调节粗微调手柄9或通过pc处理器8发出上升/下降指令,使光谱共焦传感器2与样品表面距离保在工作范围之内,确保pc处理器8软件中得到样品表面的单点高度位置数据;
a2,通过pc处理器8预设好xy轴平移台31的起点、终点、行进路线;以及光谱共焦传感器2的检测类型,采集频率,其检测类型为目标区域3d轮廓形貌等;
a3,从起点开始开始采集,按照预订的行进路线,实时将采集获得的xy轴平移台31的xy方向的位置数据、同步采集光谱共焦传感器2的高度数据传输至pc处理器8,直至检测终点。
a4,利用pc处理器8内3d成像测量软件对步骤a3中所采集的xyz轴数据进行实时3d重建,得到一个预设区域与光学显微镜1的扫描区域保持一致的3d点云模型,实现待测样品3d观察与3d测量。
步骤五:将通过显微光学级3d扫描得到的光学显微3d模型与光谱共焦传感器2获得的3d点云模型进行融合,将所述显微光学级3d扫描得到的超景深平面图像或常规显微图像与所述光谱共焦传感器2或白光干涉传感器获得的3d点云模型进行融合,得到目标检测区域的计量级3d模型,具体包括以下步骤;
b1,确定光学显微镜1光轴与光谱共焦传感器2光轴在xy方向的偏移数据并记入pc处理器8,确保显微镜头与光谱共焦传感器2保持在合适的高度;
b2,执行光学级3d扫描成像,得到目标检测区域的光学显微3d模型与图像,上述过程完成,xyz轴平移台回到光学扫描的起点;
b3,xy轴平移台31带动样品,按照标定后的偏移数据移动,确保光学显微镜1扫描与光谱共焦传感器2扫描区域一致;
b4,执行光谱共焦表面3d扫描成像,得到光谱共焦扫描图像或3d模型;
b5,将步骤b2中获得的光学显微3d模型与步骤b4中获得的光谱共焦3d模型进行融合或将步骤b2中获得的光学显微获取的图像与步骤b4中获得的光谱共焦3d图像进行融合,得到同时具有精准三维数据与光学颜色、纹理的全新计量级3d模型,从而完成检测。
其中将光学显微镜1获得的检测结果与光谱共焦传感器2获得的检测结果进行融合;具体包括以下几种融合方式:
c1,提取单视野常规显微图像纹理、细节、颜色与对应目标检测区域光谱共焦传感器2获得的3d点云模型融合;
c2,提取多视野常规显微图像拼接后全景图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器2获得的3d点云模型融合;
c3,提取单视野超景深平面图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器2获得的3d点云模型融合;所述单视野超景深平面图像为单个视野中由不同高度图像,通过三维重构算法合成的该区域超景深平面图像;
c4,提取多视野超景深平面图像拼接后形成的全景超景深平面图像的纹理、细节、颜色与对应目标检测区域的光谱共焦传感器2获得的3d点云模型融合;所述全景超景深图像为多个相邻单视野超景深平面图像通过图像拼接算法合成的含多视野景深信息的全景超景深平面图像;
c5,提取光谱共焦传感器2获得的3d模型的xyz轴数据替换对应区域光学显微3d模型xyz轴数据,实现目标检测区域3d点云模型与光学显微3d模型的融合。
本实施例以通过光谱共焦传感器2获得的3d点云模型与光学显微镜1获得的全景超景深平面图像融合过程a为例,其融合过程中的3d数据来自于光谱共焦传感器2采集的z轴高度数据和安装在xy轴坐标平面上的磁栅传感器或光栅传感器获得的xy轴坐标数据所构成的3d点云数据;具体融合方法包括以下步骤:
(1)通过标定板xyz轴电动位移平台3确定光学显微镜1与光谱共焦传感器2的光轴21延伸在物体检测表面交点重叠,输出坐标相一致;
(2)通过标定板对光学显微镜1进行标定,确定光学显微镜1图像像素放大倍率,建立起图像像素与实际尺寸之间的倍率关系;
(3)固定xyz轴电动位移平台3中xy轴坐标位置,调整光学显微镜1z轴高度,重建物体在该位置的单视野超景深图;再移动其xy轴坐标位置,在检测物体相邻区域单视野超景深平面图像;以此类推,获得构成目标检测区域的多个单视野超景深平面图像;最后通过图像拼接算法将多个单视野超景深平面图像融合,以获得整个目标检测区域的全景深平面图像;
(4)根据步骤(3)中获得的第一张全景深平面图像中心点xy坐标位置,结合步骤(2)中标定好的相机图像放大倍率,计算全景深平面图像上每一点图像像素所对应的xy轴实际坐标位置;
(5)使用光谱共焦传感器2在全景深平面图像所在的区域进行扫描,以获取目标区域内精确的3d高度数据集q(x,y,z);
(6)以使全景超景深图像中每一个像素点所在的xy坐标位置,结合光谱共焦传感器2获得的高精度3d高度数据集q(x,y,z),因为光谱共焦传感器2获取的3d高度数据中,其x,y位置对应的每个点不一定完全重合于全景超景深图像中像素点,故通过双线性差值算法计算对应像素点的最终精确高度,计算方法如图5所示:其中,p为全景超景深图像上的一个像素点所对应的实际x,y坐标,q11,q12,q21,q22分别为p点最近的4个邻接点。
对于p点,取相邻的4个光谱共焦传感器2扫描的3d数据,分别为q11,q12,q21,q22,分别为从光谱共焦传感器2和xy坐标轴上的光栅传感器获得的被测物3d数据;
首先,在x方向上进行两次线性插值计算,得到r1,r2的高度值。
然后在y方向上进行一次插值计算。获得该像素点所对应xy坐标位置的实际高度。
由上所述,将全景深平面图所有像素所对应的点通过以上的计算方法结合光谱共焦传感器2的3d高度数据计算出所对应的高度,最终得到同时具有精准三维数据与光学颜色、纹理的全新计量级3d模型。
上述光谱共焦传感器2是指利用光谱共焦技术检测被测物体的位置或形状的传感器,其检测原理是:使用特殊透镜,延长不同颜色光的焦点光晕范围,形成特殊放大色差,使其根据不同的被测物体得到透镜的距离,会对应一个精确波长的光聚焦到被测物体上,通过测量反射光的波长,就可以得到被测物体到透镜的精确距离。本发明利用了光谱共焦传感器2的分辨率高的优势,不仅能够提供物体的微观三维空间形态结构信息,而且还能提供丰富的光谱信息,关键在于其结合光学显微镜1的成像原理,能够对超大面积对材料表面的微观状态进行3d真彩色成像、拍照、精准3d测量,获得具有颜色、更多细节纹理、超高精度的计量级图像、数据及模型的检测结果,在实现计量级的检测精度同时并保有样品表面的微观细节与真实颜色。
实施例2
本实施例与实施例1基本相同,其不同之处在于:本实施例是以光学检测传感器为白光干涉传感器为例,将白光干涉传感器获得的3d点云模型与光学显微镜1获得的单视野超景深平面图像融合过程b为例,具体融合方法包括以下步骤:
(1)固定xyz轴电动位移平台3中xy轴坐标位置,调整光学显微镜1z轴高度,重建物体在该位置的单视野超景深图;计算单视野超景深图上每一点图像像素所对应的xy实际坐标位置;
(2)单视野超景深图片为长方形,根据显微视野范围大小,取长方形对角两点,确定为白光干涉传感器扫描起始点与终点;得到该区域内的精确的3d高度数据集q(x,y),该数据融合计算方法与以上a过程中的步骤(6)相同,故在此不作赘述,最终得到白光干涉传感器获得的3d点云模型与光学单视野超景深平面图像融合模型。
实施例3
实施例3与实施例1基本相同,其不同之处在于:本实施例以提取光谱共焦传感器2获得的3d点云模型的xyz轴数据替换对应区域光学显微3d模型xyz轴数据为例,其融合方法如包括以下步骤:
(1)执行实施例1过程中的的步骤一、步骤二、步骤三、步骤四;
(2)通过上述过程可直接获取光学显微3d模型与光谱共焦传感器2扫描3d模型,光学显微3d模型与光谱共焦传感器2扫描模型在xy方向上的起点,终点一致,直接提取光谱共焦传感器2扫描模型的xyz轴所有数据,该xyz方向数据导入光学显微3d模型的三维坐标生成新的模型,以光谱共焦传感器2生成的模型为准,具有以下两种方式:
第一,光学显微3d模型与光谱共焦传感器2扫描模型的点在xy方向重合,则取光谱共焦传感器2该点的xyz值,同时取光学模型该点的rgb值与灰度值为最终结果建模;
第二,光学显微3d模型与光谱共焦传感器2扫描模型的点在xy方向不重合,则取光谱共焦传感器2扫描模型点w1的xyz值,同时获取光学显微3d模型点w2(在xy方向上距离w1点最近的点为w2点)的rgb值与灰度值为最终结果建模;
(3)上述过程完毕,删除原有光学显微3d模型,可得到精准三维数据与光学颜色、纹理的全新计量级3d模型。
实施例4
实施例4与实施例1基本相同,其不同之处在于:作为实施例1的优选方案,如图9和图10所示,光学显微镜1的光轴15与光谱共焦传感器2的光轴21具有平行方式和不平行方式;当两者不平行时,具有一直线l和与直线l垂直的投影面,直线l垂直于光学显微镜1的光轴15,直线l垂直于光谱共焦传感器2或白光干涉传感器的光轴,光学显微镜1的光轴15与光谱共焦传感器2的光轴21投影在所述投影面上形成的两条相交直线产生的锐角在0°-60°之间;在进行检测前需确定光学显微镜1的光轴15与光谱共焦传感器2的光轴21延伸在标准表面交点的相对坐标,用于标定,确保两者的目标检测区域相同,以使两者的融合信息相匹配;其中光谱共焦传感器2角度倾斜带来的系统偏差由pc处理器8自动校正,确保最终数据为真实形貌三维数据。
本实施例中光学显微镜1的光轴15定义如下:显微镜镜片光轴与物镜中心轴重合,样品反射的光线最先到达的镜片为物镜第一镜片,当物镜第一镜片靠近样品一侧无光学反射镜时,物镜第一镜片光轴为显微镜的光轴;当物镜第一镜片靠近样品一侧有光学反射镜时,与物镜第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为显微镜的光轴。
本实施例中光谱共焦传感器2的光轴21定义如下:传感器镜片光轴与光谱共焦传感器2中心轴重合,样品反射的光线最先到达的镜片为传感器第一镜片,当传感器第一镜片靠近样品一侧无光学反射镜时,传感器第一镜片的光轴为传感器的光轴;当传感器第一镜片靠近样品一侧有光学反射镜时,与传感器第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为光谱共焦传感器2的光轴21。
本实施例中白光干涉传感器的光轴定义如下:传感器镜片光轴与白光干涉传感器中心轴重合,样品反射的光线最先到达的镜片为传感器第一镜片,当传感器第一镜片靠近样品一侧无光学反射镜时,传感器第一镜片的光轴为传感器的光轴;当传感器第一镜片靠近样品一侧有光学反射镜时,与传感器第一镜片的光轴重合的光线通过反射镜形成镜面反射,按照光学原理反射出的直线为白光干涉的光轴。
实施例5
实施例5与实施例1基本相同,其不同之处在于:作为实施例1的优选方案,如图8和图12所示,本实施例提供的光学显微镜1的光轴15与xyz轴电动位移平台3xy方向所在的实际运动平面具有垂直方式和不垂直方式;当两者不垂直时,以垂直方向为基准线,所述光学显微镜1的摆动角度在-90°至90°之间。用于检测样品大角度倾斜面或样品的侧面,其角度倾斜所带来的系统偏差由pc处理器8自动校正,确保最终数据为真实形貌三维数据。
实施例6
另一方面,如图6所示,实施例6还提供了一种计量级3d超景深显微系统,包括光学显微镜1、光谱共焦传感器2或白光干涉传感器、xyz轴电动位移平台3以及对应的控制模块和pc处理器8;光学显微镜1配置有照明光源和图像采集单元14,图像采集单元14用于采集目标检测区域的图像信息,并将图像信息传输至pc处理器8;本实施例以提供光谱共焦传感器2配置光谱共焦处理器72为例,pc处理器8内具有3d成像测量软件;光谱共焦传感器2用于采集目标检测区域的轮廓信息,并将轮廓信息传输至pc处理器8;控制模块包括xyz电动控制单元71、与光谱共焦传感器2连接的光谱共焦处理器72或与白光干涉传感器以及电源模块,光谱共焦处理器72与pc处理器8连接,通过pc处理器8设置光谱共焦传感器2的扫描类型、扫描间距及采样频率,以及发出指令触发图像采集单元14和光谱共焦传感器2进行数据采集;xyz电动控制单元71与xyz轴电动位移平台3的驱动器电连接和pc处理器8连接,发出指令触发xyz轴电动位移平台3运动,用于设置检测起点、终点及扫描路径,并将检测点的坐标信息反馈给pc处理器8;
其中,xyz轴电动位移平台3包括xy轴平移台31和z轴升降模块32,xy轴平移台31和z轴升降模块32分别与xyz电动控制单元71连接,以使光学显微镜1和光谱共焦传感器2在xyz轴方向构成的三维空间内对物体进行检测;作为本实施例优选,xyz轴电动位移平台3中设置有高精度位移传感器,高精度位移传感器可以是磁栅或者光栅中的一种,具体可安装在xy轴平移台31上,用于实时精确采集xy轴平移台31的位置信息并将获得的信息数据反馈给pc处理器8,用于精确控制xy轴平移台31移动距离;具体地,选择的光栅的实际精度应《200纳米,以保证能够实时精确采集位移平台的位置信息。
pc处理器8用于接收、分析和储存图像采集单元14采集的物体图像信息,以及光谱共焦传感器2采集的物体轮廓信息和对应xyz轴的坐标数据,用于三维成像与建模。
具体地,本实施例提供的光学显微镜1包括显微镜头,显微镜头可选用现有高倍显微镜,也可选用工业单筒低倍显微镜,其具体结构及工作原理为现有技术,并不为本公开的发明点,故在此不作赘述;在显微镜头上配设有照明光源,具体地,显微镜头上安装有为其提供照明光源的照明器,照明器的旋转可以是同轴光照明器13、环形光照明器12、倾斜入射照明器或偏光照明器,照明光源为led光源,照明器为显微镜头提供高亮度led光源,同轴照明器呈l字型结构设计,可减小设计体积;如此本实施例显微镜头集合高倍率物镜11镜身、同轴照明器和物镜11为一体的显微镜头,在高倍率物镜11镜身中对应位置设有半反半透反射镜,达到同轴照明的效果;在镜身的下端面设置有物镜11转盘,可安置并切换多个物镜11,满足不同倍数的检测需求。
本实施例提供的光学显微镜1和光谱共焦传感器2通过连接块5与z轴升降模组连接,z轴升降模组通过立柱4安装在基座6上,且z轴升降模组配置用于驱动显微镜头沿竖直方向移动的升降驱动器,该驱动器直接与xyz电动控制单元71连接,通过升降模组中的升降驱动器带动连接块5以及显微镜头和光谱共焦传感器2沿竖直方向上升或下降移动。
本实施例提供的xy轴平移台31可以为手动或电动直线xy平移台,当然也可以选用现有压电纳米位移台,其具体结构及实现原理均为现有技术,并不为本公开的发明点,故在此不作赘述;如图6和图7所示,其中xy轴平移台31与z轴升降模块32可以设计为分离式,例如本实施例中光学显微镜1和光谱共焦传感器2安装在z轴升降模块32上,z轴升降模块32通过立柱4安装在xy轴平移台31的一侧,以使z轴升降模块32不随所述xy轴平移台31同步移动,如此本技术方案将xy轴平移台31设计为一体式,检测物体放置于xy轴平移台31上,z轴升降模块32可以独立安装,也可以分离安装在xy轴平移台31同一模块而不随其同步移动。
本实施例提供的光学显微镜1和光谱共焦传感器2可以通过一个连接块5安装在z轴升降模块32上,也可以如图11所示通过不同的连接块5安装在z轴升降模块32上;当然如图8和10所示,光学显微镜1的光轴15与光谱共焦传感器2的光轴21也具有平行方式和不平行方式,当两者不平行时,具有一直线l和与直线l垂直的投影面,直线l垂直于光学显微镜1的光轴15,直线l垂直于光谱共焦传感器2或白光干涉传感器的光轴,光学显微镜1的光轴15与光谱共焦传感器2或白光干涉传感器的光轴投影在投影面上形成的两条相交直线产生的锐角在0°-60°之间。
本实施例显微系统提供的图像采集单元14内置有控制电路板,控制电路板与pc处理器8和电源模块连接,图像采集单元14位于显微镜头的上端,图像采集单元14被配置为用于采集显微镜头下方的观察样本图像,本实施例提供的图像采集单元14具体选用现有彩色ccd感光芯片或彩色cmos感光芯片确保得到样品颜色,例如sonyimx22的感光芯片,能够获得真实彩色的样品表面纹理结构,图像采集单元14将图像信息反馈给pc处理器8,显示成供检测工作者观察的图像,并结合z轴升降模组内驱动器的设计,能够对现场高低起伏样品不同高度层次进行细微缺陷实时观察,利于现场检测工作者无损观察样品的同时现场观察大型物体细微缺陷表现方式,并结合全面观察微观目标而确定样品细微缺陷等级。
结合图像采集单元14与pc处理器8连接,本实施例提供z轴升降模块32的驱动器具体选用五相步进电机,升降传动结构可具体选用齿轮齿条结构,以保证显微镜头移动的平稳性;具体不限于此,本实施例中五相步进电机能防止移动过程中出现丢步的现象,并能准确记录显微镜上身或下降移动的距离,确保最终测量的准确性,如此通升降控制单元控制升降驱动器驱动连接块5以及与连接块5连接的显微镜头和光谱共焦传感器2沿竖直方向上升或下降移动,能够动态地对高低起伏较大的大型样品细微缺陷进行实时观察;如此z轴升降模块32带动显微镜头寻找到高低起伏样品最高点与最低点,并通过移动终端执行多层扫描,在每层扫描时通过图像采集模块采集该层图像并传输至移动终端,进而利于现场检测工作者对样品细微质量进行精确全面的分析,以获得精确的样品细微质量信息。
本实施例提供的控制模块设置主控箱体7内,主控箱体7设计为一体式箱体,在外壳体上配设有相应的通讯接口,内含xyz电动控制单元71、光谱共焦处理器72和电源模块;pc处理器8被配置为用于接收、分析和储存图像采集单元14采集的图像信息以及起伏样品的高度位置数据并对样品表面进行3d建模、光谱共焦传感器2采集的物体轮廓信息以及起伏样品的xy轴坐标数据并对样品表面进行3d建模,以及对应xyz轴的坐标信息处理。
在pc处理器8中安装有3d成像测量软件,pc处理器8接收图像采集模块采集的图像信息和接收z轴升降模组中驱动器带动显微镜升降移动而获得起伏样品的z轴高度位置数据,多层扫描高度位置数据和对应层的图像信息进入移动终端内3d成像测量软件,实现对检测样品微观表面准确的3d建模,进而准确表述大型物体表面微观的实际数据;能够实现对现场高低起伏样品无损的同时进行细微缺陷实时观察,通过统一清晰度的表面纹理结构,进而准确表达大型物体表面微观的实际数据,具有较好的应用前景。
实施例9
实施例9与实施例8基本相同,与实施例8相比,其主要区别在于:如图12和图13所示,本实施例提供的光学显微镜1的光轴15与xyz轴电动位移平台xy方向所在的实际运动平面不垂直,在安装z轴升降模块32的支柱底部设置有可摆动支撑架10,具体地,可摆动支撑架10包括与支柱连接的转轴101、固定安装在基座6上的转轴支撑座102以及锁紧机构103,以使支柱摆动,带动安装在支柱上的z轴升降模块32,以及通过连接块5安装在z轴升降模块32上的光学显微镜1摆动,以垂直方向为基准线,光学显微镜1的摆动角度在-90°至90°之间,以实现能够检测复杂结构的检测样品,具有较好的实用性。
实施例10
实施例10与实施例8基本相同,与实施例8相比,其主要区别在于:如图14所示,本实施例中xy轴平移台31与z轴升降模块32也可以设计为一体式,以使z轴升降模块32随xy轴平移台31同步移动,光学显微镜1和光谱共焦传感器2通过固定支撑装置安装在xyz轴电动位移平台3外侧或通过支撑架(如龙门架)安装在xy轴平移台31上方。如此实施例将xy轴平移台31与z轴升降模块32设计为一体式,将待检测物体放置于一体式xyz轴电动位移平台3上随其同步运动进行检测,检测物体处于运动状态而光学显微镜1和光谱共焦传感器2处于静止状态;当然本实施例也可以将光学显微镜1和所述光谱共焦传感器2安装在xyz轴电动位移平台3上,以使光学显微镜1和光谱共焦传感器2处于运动状态以检测静止物体,均可有效完成样品检测。
综上所述,本发明显微系统检测方法巧妙的结合了光学显微镜1与白光干涉显微技术或光谱共焦轮廓仪技术的优点,运行于计量级3d超景深显微系统中,能够无损观察样品的同时能够超大面积对材料表面的微观状态进行拍照、3d真彩色成像、3d测量,其检测结果为同时具有颜色、细节纹理、超高精度的计量级图像、数据及模型,实现计量级的检测精度同时并保有微观样品的细节与真实颜色,利于科研人员和检测工作者快速、无损的观察样品微纳结构,微小尺寸缺陷等,确定缺陷等级并测量3d尺寸实现定量分析,具有很好的应用前景和实用价值。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
1.计量级3d超景深显微系统,其特征在于:包括光学显微镜、光谱共焦传感器或白光干涉传感器、xyz轴电动位移平台以及控制模块和pc处理器;所述控制模块包括xyz电动控制单元、与光谱共焦传感器连接的光谱共焦处理器或与白光干涉传感器连接的白光干涉信号处理器以及电源模块;所述控制模块与pc处理器连接,pc处理器内具有3d成像测量软件;
所述光学显微镜配置有照明光源和图像采集单元,所述图像采集单元用于采集物体目标检测区域的图像信息,并将图像信息传输给所述pc处理器;
所述光谱共焦传感器或白光干涉传感器用于采集所述目标检测区域的轮廓信息,并将轮廓信息传输给所述光谱共焦处理器或白光干涉信号处理器;
所述xyz电动控制单元与所述xyz轴电动位移平台的驱动器电连接,用于设置检测起点、终点及扫描路径,并将检测点的坐标信息反馈给所述pc处理器;
所述xyz轴电动位移平台包括xy轴平移台和z轴升降模块,以使所述光学显微镜和所述光谱共焦传感器或白光干涉传感器在xyz轴方向构成的三维空间内对物体进行检测;
所述pc处理器用于接收、分析和储存所述图像采集单元采集的物体图像信息,以及所述光谱共焦传感器或白光干涉传感器采集的物体轮廓信息和对应xyz轴的坐标数据信息。
2.根据权利要求1所述的计量级3d超景深显微系统,其特征在于:所述光学显微镜的光轴与所述光谱共焦传感器或白光干涉传感器的光轴具有平行方式和不平行方式;当两者不平行时,具有一直线l和与直线l垂直的投影面,所述直线l垂直于光学显微镜的光轴,所述直线l垂直于光谱共焦传感器或白光干涉传感器的光轴,所述光学显微镜的光轴与光谱共焦传感器或白光干涉传感器的光轴投影在所述投影面上形成的两条相交直线产生的锐角在0°-60°之间。
3.根据权利要求1所述的计量级3d超景深显微系统,其特征在于:所述光学显微镜的光轴与所述xyz轴电动位移平台在xy方向所在的实际运动平面具有垂直方式和不垂直方式;当两者不垂直时,以垂直方向为基准线,所述光学显微镜的光轴的摆动角度在-90°至90°之间。
4.根据权利要求1所述的计量级3d超景深显微系统,其特征在于:所述xy轴平移台与z轴升降模块设计为分离式,所述光学显微镜与所述光谱共焦传感器或白光干涉传感器安装在所述z轴升降模块上,以使所述z轴升降模块不随所述xy轴平移台同步移动。
5.根据权利要求1所述的计量级3d超景深显微系统,其特征在于:所述xy轴平移台与z轴升降模块设计为一体式,以使所述z轴升降模块随所述xy轴平移台同步移动,所述光学显微镜与所述光谱共焦传感器或白光干涉传感器通过支撑装置安装在所述xyz轴电动位移平台外侧或通过支撑架安装在xy轴平移台上方。
6.根据权利要求1-5任一项所述的计量级3d超景深显微系统,其特征在于:所述xyz轴电动位移平台中设置有高精度位移传感器,以实时采集xyz轴电动位移平台的位置信息并将获得的位置数据反馈给所述pc处理器,用于精确控制所述xyz轴电动位移平台移动距离。
7.计量级3d超景深显微检测方法,运行于权利要求1-5任一项所述计量级3d超景深显微系统中,其特征在于:所述检测方法包括以下步骤:
步骤一:获取实时清晰光学显微图像,确定检测起点、终点;
步骤二:设定检测起点、终点的xy坐标及扫描路径,精准确定目标检测区域;
步骤三:触发所述光学显微镜和所述xyz电位移平台,所述光学显微镜按照预设的扫描路径在预设的目标检测区域内实现显微光学级3d扫描,获得的光学级显微3d扫描结果,所述光学级显微3d扫描结果包括目标标检测区域的常规显微图像、超景深平面图像或光学显微3d模型中的一种或多种;所述常规显微图像是指在光学显微镜下一次采集单层的单视野显微图像;所述超景深平面图像是指采集不同高度层显微图像,通过三维重构算法合成的该区域超景深平面图像;所述光学显微3d模型是指将多层扫描图像、xy轴坐标数据以及每层对应的高度z数据导入3d成像测量软件进行3d建模后获得的光学显微3d模型;
步骤四:触发所述光谱共焦传感器或白光干涉传感器,同步触发所述xyz轴电动位移平台,所述光谱共焦传感器或白光干涉传感器按照预设的扫描路径,对步骤三中所述光学显微镜的目标检测区域进行同一区域扫描;并将得到的高度z数据与对应的xy轴坐标数据送入至导入3d成像测量软件进行实时重建,获得所述目标检测区域的3d点云模型;
步骤五:将所述显微光学级3d扫描得到的超景深平面图像或常规显微图片与所述光谱共焦传感器或白光干涉传感器获得的3d点云模型进行融合,或将所述光学显微3d模型与所述光谱共焦传感器或白光干涉传感器获得的3d点云模型进行融合,得到目标检测区域的计量级3d模型。
8.根据权利要求7所述的计量级3d超景深显微检测方法,其特征在于:步骤三中,利用所述光学显微镜获得目标检测区域的光学级显微3d扫描结果至少还包括多视野常规显微图像拼接后的全景常规显微图像、多视野超景深平面图像拼接后的全景超景深平面图像以及多视野光学显微3d模型拼接后的全景光学显微3d模型中的一种或多种。
9.根据权利要求8所述的计量级3d超景深显微检测方法,其特征在于:步骤三中,所述3d建模的方法包括以下步骤:
s1,通过所述xyz轴电动位移平台在z向扫描,获取物体表面在z向多层序列图像,同时获取每层图像对应的z轴当前高度值,扫描范围确保整个序列图像覆盖目标检测区域内立体起伏表面的最高点与最低点;
s2,采用聚焦评价函数计算序列图像中各像素点或像素点集合在不同高度的聚焦清晰值,对全部序列图像中的同一xy坐标位置的像素点或像素点集合进行比较,找出不同层像素点或像素点集合聚焦评价最大值,该最大值对应xy坐标下聚焦最清晰的层,取聚焦最清晰层的高度值作为这一局部区域物体表面高度值z1;
s3,取聚焦评价最大值位置所对应该层图片的像素或像素集合作为最终的保留区域,可获得局部最清晰的图像,依次计算所有的像素或像素集合,最终合成全部聚焦清晰的超景深平面图像,并以所述超景深平面图像作为蒙皮,结合步骤s2中所述z1值与z1值对应的xy坐标值,重构出能反映物体表面形貌的三维彩色立体图;
s4,完成一个单视野3d显微镜建模之后,所述xyz轴电动位移平台按照预设扫描路径移至相邻区域,重新执行步骤s1,s2,s3,得到第二个相邻视野的3d显微模型,以此类推,可覆盖整个目标检测区域多个常规显微图像、超景深平面图像、光学显微3d模型,将所述多个常规显微图像、超景深平面图像、光学显微3d模型分别进行拼接,即可得到目标检测区域内全景常规显微图像、全景超景深平面图像、全景光学显微3d模型。
10.根据权利要求8所述的计量级3d超景深显微检测方法,其特征在于:步骤五中,将所述光学显微获得的检测结果与所述光谱共焦传感器或白光干涉传感器获得的检测结果进行融合,至少包括以下几种融合方式:
c1,提取单视野常规显微图像纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;
c2,提取多视野常规显微图像拼接后的全景常规显微图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;
c3,提取单视野超景深平面图像的纹理、细节、颜色与对应目标检测区域光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;单视野超景深平面图像为单个视野中由不同高度图像,通过三维重构算法合成的该区域超景深平面图像;
c4,提取多视野超景深平面图像拼接后形成的全景超景深平面图像的纹理、细节、颜色与对应目标检测区域的光谱共焦传感器或白光干涉传感器获得的3d点云模型融合;所述全景超景深图像为多个相邻单视野超景深平面图像通过图像拼接算法合成的含多视野景深信息的全景超景深平面图像;
c5,提取光谱共焦传感器或白光干涉传感器获得的3d点云模型的xyz轴数据替换对应区域光学显微3d模型xyz轴数据,实现目标检测区域3d点云模型与光学显微3d模型的融合。
技术总结