本发明涉及显微伺服控制领域，更具体地说，涉及基于深度学习的显微视觉伺服控制方法。
背景技术：
在生物医学工程领域中，存在着大量涉及对细胞、染色体等的显微操作，如细胞的分离、捡取、融合、显微注射，染色体的切割等。对于这类微操作，不但要求定位准确、操作精度高、一致性好，而且要做到操作时间短、效率高，目前，微操作都是人工通过显微操作仪来完成的，显微操作仪大都包括以下几部分：隔振台、显微镜、左微操作臂、右微操作臂、细胞吸附及基因注射装置、左遥控操纵手柄、右遥控操纵手柄等。
操作人员通过显微镜的目镜观察和感知细胞及微操作臂的位姿信息，通过手柄控制左右微操作臂，将人手的动作按照一定的缩放比例传递到微操作臂的操作工具(左操作臂上安装有微吸管，右操作臂上安装微注射针)，使之对细胞进行操作。左操作臂完成被操作对象的捕捉与固定，右操作臂对被固定住的操作对象进行微细操作(如基因注射、染色体切割等)。
其操作方式是由操作人员根据显微监视目镜输出的图像通过遥控操纵手柄来遥控微操作臂的运动，操作人员的大脑、手、遥控手柄、微操作臂、显微镜及操作者的眼睛等构成了一个大的“控制闭环”，即由操作人员去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力。这种显微操作仪只有一个位比(位移缩放比例)的传递，没有任何控制器、没有任何传感器(显微镜除外)，没有任何“智能”。
但是现有的显微操作是由操作人员直接去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力，但是这种方式很容易受到个人技术、精神状态及心理、情绪的影响等人为因素的影响，从而造成大的而且不稳定的人为误差，导致显微操作的成功率不稳定而且很低，进而无形中增加了显微操作的成本投入。
技术实现要素：
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供基于深度学习的显微视觉伺服控制方法，它可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术直接进行显微操作，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
基于深度学习的显微视觉伺服控制方法，包括以下步骤：
s1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
s2、将采集的动态信息实时导入到计算机内；
s3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
s4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
s5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
进一步的，所述模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
进一步的，所述模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
进一步的，所述计算机内通过逻辑语言编程有模拟操控软件，所述模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入。
进一步的，所述摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性。
进一步的，在进行s3前，首先将所述摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息。
进一步的，所述摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，所述计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
进一步的，所述纳米级标记点设置在载玻片上方的中心位置，带有所述目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系。
进一步的，所述纳米级标记点作为基准点，且s3中的模拟操控以及s5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性。
进一步的，所述纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
3.有益效果
相比于现有技术，本发明的优设置在于：
(1)本方案可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
(2)模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
(3)模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
(4)计算机内通过逻辑语言编程有模拟操控软件，模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入。
(5)摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性。
(6)在进行s3前，首先将摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息。
(7)摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
(8)纳米级标记点设置在载玻片上方的中心位置，带有目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系。
(9)纳米级标记点作为基准点，且s3中的模拟操控以及s5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性。
(10)纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
附图说明
图1为本发明的主要流程框图；
图2为本发明的主要的功能示意图；
图3为本发明的载玻片的立体的结构示意图；
图4为本发明的载玻片的正面的结构示意图；
图5为本发明的摄像显微镜下的视频信息进行上下、左右颠倒的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图；对本发明实施例中的技术方案进行清楚、完整地描述；显然；所描述的实施例仅仅是本发明一部分实施例；而不是全部的实施例，基于本发明中的实施例；本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例；都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
请参阅图1-2，基于深度学习的显微视觉伺服控制方法，包括以下步骤：
s1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息，摄像显微镜在使用时，呈倒置放置，显微镜下观察到的画面与实际画面是颠倒的，摄像显微镜呈倒置放置，使得镜头下得到的画面是正常的画面，便于模拟操控和限位操作的正确性；
s2、将采集的动态信息实时导入到计算机内；
s3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
s4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
s5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
实施例2：
请参阅图1-2，基于深度学习的显微视觉伺服控制方法，包括以下步骤：
s1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
s2、将采集的动态信息实时导入到计算机内，请参阅图5，在进行s3前，首先将摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒，在这种情况下，摄像显微镜是正常放置的，视频信息进行上下、左右颠倒，使得视频信息呈现出实际的细胞位置和状态信息；
s3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
s4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
s5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到，可以在计算机的模拟操控数据输出成显微操作的依据时，降低数据的误差，从而降低显微操作产生的误差，提高显微操作的成功率。
模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应，并且通过模拟操控可以提前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中能够进行模拟操控的修正，可以提高模拟操控的准确度，从而降低显微操作的误差，提高显微操作的成功率。
计算机内通过逻辑语言编程有模拟操控软件，模拟操控软件的模拟界面可以在二维和三维上随机转换，使得模拟操控可以在多方向多角度进行模拟，使得在模拟操作时更加直观，使得模拟精度更高，从而有利于降低后期显微操作的难度，同时提高显微操作的成功率，降低成本投入，摄像显微镜与计算机通过无线信号连接，摄像显微镜可以将拍摄到的镜头下的细胞视频信息同步给计算机，便于计算机及时进行模拟操控，计算机与伺服控制中心通过无线信号连接，使得模拟操控后得到的数据能够直接发送给伺服控制中心，便于伺服控制中心及时控制下一步显微操作。
请参阅图3-4，纳米级标记点设置在载玻片上方的中心位置，带有目标细胞的培养液滴在纳米级标记点正上方，纳米级标记点的设置一方面便于操作者在镜头内找到目标细胞，同时另一方面，可以作为对照，便于模拟操作时，可以定位虚拟操作工具和目标细胞之间的位置关系，纳米级标记点作为基准点，且s3中的模拟操控以及s5中的显微操作均在基准点的对照下完成，使用同一固定的基准点，便于在虚拟操控时的准确定位虚拟操作工具和目标细胞的位置关系，从而保证得到的虚拟数据的准确性，纳米级标记点为荧光材质，便于在视频信息内观察到纳米级标记点，便于准确的为模拟操控和显微操作提供基准对照。
可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。
以上所述；仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此；任何熟悉本技术领域的技术人员在本发明揭露的技术范围内；根据本发明的技术方案及其改进构思加以等同替换或改变；都应涵盖在本发明的保护范围内。
1.基于深度学习的显微视觉方法，其特征在于：包括以下步骤：
s1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；
s2、将采集的动态信息实时导入到计算机内；
s3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；
s4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；
s5、将转换后的数据实时导入到伺服控制中心，伺服控制中心根据转换后的数据控制伺服控制机器人对细胞进行显微操作。
2.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述模拟操控时的虚拟操作工具的形状、尺寸、空间的相对位置以及比例均由伺服控制机器人上的机械臂相对于纳米级标记点的位置按照等比例扩大得到。
3.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述模拟操控包括模拟细胞在被操作时的反应和模拟伺服控制机器人上机械臂的显微操作轨迹，同时模拟操作轨迹以及细胞反应。
4.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述计算机内通过逻辑语言编程有模拟操控软件，所述模拟操控软件的模拟界面可以在二维和三维上随机转换。
5.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述摄像显微镜在使用时，呈倒置放置。
6.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：在进行s3前，首先将所述摄像显微镜采集到的目标细胞的实时视频信息进行上下、左右颠倒。
7.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述摄像显微镜与计算机通过无线信号连接，所述计算机与伺服控制中心通过无线信号连接。
8.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点设置在载玻片上方的中心位置，带有所述目标细胞的培养液滴在纳米级标记点正上方。
9.根据权利要求8所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点作为基准点，且s3中的模拟操控以及s5中的显微操作均在基准点的对照下完成。
10.根据权利要求1所述的基于深度学习的显微视觉伺服控制方法，其特征在于：所述纳米级标记点为荧光材质。
技术总结