本发明应用于mems-fp滤波器研究领域，mems-fp滤波器是光学系统仪器中的光敏器件，尤其涉及一种基于强化学习的mems-fp滤波器自动化设计。
背景技术：
1、光谱成像技术在未来的发展过程中有着十分重要的应用，比如在未来智能装备中光谱成像的视觉检测，在生物化学领域中光谱成像的理化分析，基于光谱成像的空气质量检测，在国防领域中光谱成像的预警侦察和精准定位。光谱成像技术已经广泛应用在医学、生物化学、军事等重要领域之中。但是传统光谱成像系统仪器很难满足未来应用中小型化、集成化的要求。随着大规模集成电路制造技术的发展，基于mems技术的法布里-珀罗(mems-fp)滤波器应用到光谱成像系统仪器中，能够解决传统光谱系统仪器中的分光元件体积大、功耗高、成本昂贵和集成化困难等问题。所以对mems-fp的研究越来越重要。
2、在mems-fp器件的制备工艺之前，首先要对mems-fp器件的理论性能进行预测，根据仿真结果可以探究器件的性能和发现潜在的一些缺陷，通常对mems-fp器件传统的研究方法是基于有限元分析的方法。如果想要获得一种目标性能指标的mems-fp器件的设计方案，首先要在有限元软件中对于目标器件进行三维建模，添加介质材料和物理场，设置边界条件和网格划分，然后添加稳态求解器进行仿真求解。当经过上述流程后无法得到期望的性能指标时，需要重复上述过程，直到找到所需要的目标器件设计方案。但是，由于mems-fp三维建模的复杂性，在有限元软件中求解一组偏微分(pdf)方程组往往需要花费数小时甚至数天时间，并且该方法只能探究稳态特性，无法得到在某一时间段内的动态变化过程，因此给mems-fp器件的研究带来了极大的挑战，限制了器件的快速迭代。
技术实现思路
1、本发明为了克服现有技术的不足，提供了一种基于强化学习的mems-fp滤波器自动化设计。
2、为了实现上述目的，本发明提供了一种基于强化学习的mems-fp滤波器自动化设计，其特征在于，包括：
3、s1：设计mems-fp滤波器，对mems-fp滤波器进行仿真，构建仿真数据库；
4、s2：对仿真数据库进行数据清洗，对仿真数据库进行归一化或标准化处理，将归一化或标准化的仿真数据作为神经网络的训练集；
5、s3：采用人工神经网络对mems-fp滤波器的谐振频率和位移响应进行训练；
6、s4：采用dqn算法进行强化学习算法设计；智能体对mems-fp的状态进行探索，找到符合特定性能指标的mems-fp滤波器设计方案，mems-fp的状态为mems-fp滤波器的几何设计方案；探索过程中，dqn算法对预测q值的q网络进行训练和更新，在智能体对mems-fp的状态探索时，生成一定的数据，当探索次数到达设定值时，汇总生成的数据训练q网络；
7、s5：搭建强化学习训练环境；根据q网络预测mems-fp滤波器状态所对应的q值，根据q值确定mems-fp滤波器的动作和更新mems-fp滤波器的状态，根据新状态计算mems-fp滤波器的奖励值，根据奖励值评价智能体搜索出mems-fp滤波器设计方案的优劣；
8、s6：对特定频率和特定位移时的mems-fp滤波器进行训练，调用训练好的mems-fp滤波器，计算出当前位移或频率下的mems-fp滤波器的参数。
9、优选的，mems-fp滤波器包括：衬底和设置于衬底上的微镜装置，所述微镜装置包括与衬底连接的固定微镜和悬浮于固定微镜上的可动微镜，所述可动微镜顶部连接有弹簧梁，所述可动微镜和固定微镜设有相对设置的上、下极板；所述衬底顶部的边缘处设有固定连接的固定梁，所述固定梁的顶部设有弹簧梁，所述固定梁上的弹簧梁与可动微镜顶部的弹簧梁之间有间隙。
10、优选的，仿真数据库的构建方法包括：
11、s1.1：采用预设的matlab脚本对mems-fp滤波器的几何参数、温度和电压进行扫描；采用有限元分析软件对mems-fp滤波器进行机械形变和静电场仿真模拟；
12、s1.2：对仿真模型的区域材料进行设置和网格划分，通过设置稳态求解器来求解mems-fp滤波器的谐振频率或响应位移。
13、优选的，步骤s2中，对仿真库进行数据清洗时，设定mems-fp滤波器进行机械形变的预设值，去除谐振频率为预设值的数据和重复数据；对仿真数据库中进行位移响应的数据进行归一化或标准化处理。
14、优选的，人工神经网络的训练结构包括输入层、输出层和隐藏层，人工神经网络预测的谐振频率和响应位移的准确率通过与有限元分析软件的预测值的绝对误差来判断，谐振频率的绝对误差accfrequency的计算公式为：
15、
16、其中，annfrequency是人工神经网络预测的谐振频率，comsolfrequency是有限元分析软件预测的谐振频率；
17、所述位移响应的绝对误差accdisplacement的计算公式为：
18、
19、其中，anndisplacement是人工神经网络预测的位移响应，comsoldisplacement是有限元分析软件预测的位移响应。
20、优选的，步骤s4中，进行训练的q网络包括：实时更新的target_net网络和滞后更新的eval_net网络。
21、优选的，q网络进行更新时，其步骤包括：
22、s4.1：将eval_net网络的参数赋值给target_net网络，eval_net网络根据经验池中的数据预测q现实值qtarget；根据以下公式计算出q估计值qtarget，
23、qtarget＝reward+γmax{qeval}，
24、其中，reward是到达新状态的奖励值，max{qeval}为eval_net网络的经验池中最大的数据，γ为奖励值的权重；
25、s4.2：计算q估计值和q现实值的误差，将误差反向传播，以更新eval_net网络；
26、s4.3：继续进行mems-fp滤波器的状态探索过程，每次探索次数到达设定次数时更新q网络，直至找出符合特定指标的mems-fp滤波器的参数。
27、优选的，步骤s5中，mems-fp滤波器状态的每一维度均有增大和减少两个方向，所述q网络输出的每个q值分别对应每个状态的变化方向；对q值进行排序，选取最大的q值作为mems-fp滤波器的动作。
28、优选的，步骤s5中，mems-fp滤波器的奖励值reward的计算公式为：
29、
30、其中，targetvalue是预设的目标频率或位移，ptedictvalue是s3中训练好的人工神经网络预测当前状态所对应的频率或位移，otherwise是其他频率或位移。
31、本发明提供的一种基于强化学习的mems-fp滤波器自动化设计，其有益效果在于，其通过设计的强化学习算法对仿真的mems-fp滤波器进行仿真，可获得特定谐振频率或特定位移响应下的最优设设计方案，有效的减少了mems-fp滤波器的研究复杂性；本发明提供的强化学习算法能够代替有限元软件快速预测mems-fp滤波器的物理特性，同时还解决了传统有限元分析方法中建模复杂、仿真时间长、重复操作冗余等问题；将本发明的自动化设计和eda工具结合起来，可快速优化通用底层器件特别是mems-fp滤波器的研究和分析，减少了mems-fp滤波器的研发周期，推动了mems-fp滤波器的快速发展。
1.一种基于强化学习的mems-fp滤波器自动化设计，其特征在于，包括：
2.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述mems-fp滤波器包括：衬底和设置于衬底上的微镜装置，所述微镜装置包括与衬底连接的固定微镜和悬浮于固定微镜上的可动微镜，所述可动微镜顶部连接有弹簧梁，所述可动微镜和固定微镜设有相对设置的上、下极板；所述衬底顶部的边缘处设有固定连接的固定梁，所述固定梁的顶部设有弹簧梁，所述固定梁上的弹簧梁与可动微镜顶部的弹簧梁之间有间隙。
3.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述仿真数据库的构建方法包括：
4.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述步骤s2中，对仿真库进行数据清洗时，设定mems-fp滤波器进行机械形变的预设值，去除谐振频率为预设值的数据和重复数据；对仿真数据库中进行位移响应的数据进行归一化或标准化处理。
5.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述人工神经网络的训练结构包括输入层、输出层和隐藏层，人工神经网络预测的谐振频率和响应位移的准确率通过与有限元分析软件的预测值的绝对误差来判断，谐振频率的绝对误差accfrequency的计算公式为：
6.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述步骤s4中，进行训练的q网络包括：实时更新的target_net网络和滞后更新的eval_net网络。
7.根据权利要求6所述基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述q网络进行更新时，其步骤包括：
8.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，其特征在于，所述步骤s5中，mems-fp滤波器状态的每一维度均有增大和减少两个方向，所述q网络输出的每个q值分别对应每个状态的变化方向；对q值进行排序，选取最大的q值作为mems-fp滤波器的动作。
9.根据权利要求1所述的基于强化学习的mems-fp滤波器自动化设计，所述步骤s5中，mems-fp滤波器的奖励值reward的计算公式为：
