本发明涉及激光焊接调控，特别是一种实时视觉与特征光谱激光焊接互联监测方法、装置。
背景技术：
1、激光焊接是利用激光束优异的方向性和高功率密度等特性进行工作，通过光学系统将激光束聚焦在很小的区域内，在极短的时间内使被焊处形成一个能量高度集中的热源区，从而使被焊物熔化并形成牢固的焊点和焊缝。
2、由于激光束与材料的相互作用，待加工材料的加工区域会形成熔池，并辐射出可见光信号、反射光信号和红外热辐射信号等多重特征光谱信号。大量的研究表明，上述特征光谱信号与激光加工质量密切相关。如果激光加工过程中出现驼峰、未焊透、飞溅、污染等缺陷时，上述辐射信号在不同的波段会体现出不同的信号特征。而且，不同加工质量的焊缝会呈现出不同的外观形貌。所以，利用散射光的信号和视觉成像可以实时监测和评判焊缝的焊接质量。
3、被焊工件的焊接质量受如工件材料、光束质量、工件间的贴合程度、辅助气体流量等因素影响，一旦其中某个因子发生变化，则容易产生缺陷，进而影响到整个产品的质量。因此，在工业现场如何快速准确的检测出缺陷并诊断得出造成缺陷的原因一直是行业的痛点。
4、目前检测激光焊接缺陷的方式有：人工外观目检、焊后ccd拍照检测、焊中能量检测、密闭工件气密检测、磁粉检测、超声检测、涡流检测、渗透检测、磁光成像检测、红外检测以及结构光视觉检测法等。在工业现场受生产节拍和成本的影响，使用最多的检测方式为：人工外观目检、焊后的ccd拍照检测、焊中能量检测。在汽车和锂电等行业，常采用一种破坏性的事后检测手段，即通过在大量的样品中取样抽检做断口的显微组织分析来判断焊接工艺的稳定性以推断同批次样品的焊接质量。这些检测方式都有诸多弊端。目前也有将光谱能量和视觉整合在一起的联合监测方式，但这种监测方式只是将两种监测结果简单结合在一起，没有将两种监测结果深入融合，因此对于焊接缺陷的判断不准确，有时还会得出矛盾的结果。
技术实现思路
1、本发明通过一种实时视觉与特征光谱激光焊接互联监测方法、装置解决背景技术的问题，通过采用神经网络分析模块光谱能量和视觉融合监测激光焊接质量，提升了焊中监测对于缺陷的判断准确性，解决了不同数据源的矛盾；通过对激光焊接的调控，提升了焊接质量，提高了工件的良品率。
2、本技术采用如下方案：一种实时视觉与特征光谱激光焊接互联监测方法，包括如下步骤：
3、（1）按照时间序列采集焊接部位的视觉信息和特征光谱强度电信号；
4、（2）将采集到的视觉信息和特征光谱强度电信号分别进行数据预处理，然后将预处理后的数据进行融合；
5、（3）将融合后的数据输入到神经网络分析模块，进行推理计算，并输出互联监测结果，进行缺陷标签的标注。所述互联监测结果为有缺陷或无缺陷；若有缺陷，进行缺陷标签的标注，缺陷标签包含的信息包括：缺陷等级、缺陷类型、成因；若无缺陷，缺陷标签标注为合格。
6、进一步地，所述视觉信息包括按照时间序列排列的n张图片，每张图片的数据维度为[color, h, w]，其中color为图片的rgb颜色的通道数量，h和w分别为任意一个颜色通道对应的图片分辨率的高度方向的分辨率和宽度方向的分辨率；
7、所述特征光谱强度电信号以时间序列的形式存储，维度为[light, m]，其中light代表特征光的光路数量，m为任意一路特征光对应的特征光谱强度电信号的时间序列数据的数量，特征光包括可见光、红外光、反射光。
8、进一步地，所述视觉信息的数据预处理具体为：
9、对n张图片按照采集的时间序列进行拼接，按照n行n列从左向右从上到下的顺序拼接成一张数据维度为[color, n*h, n*w]的大图，其中，n=n^(-2)，然后对n向上取整，当向上取整后n^2＞n时，大图中不足的部分采用空白填充；然后，进行至少一次最大池化处理，池化处理后的图片数据维度为[color, h, w]；
10、池化窗口的大小为kh×kw，步幅为sh×sw，则经过一次最大池化操作后的输出数据的高度维度和宽度维度可以通过以下公式计算：
11、h=(n*h-kh)/sh+1；
12、w=(n*w-kw)/sw+1；
13、若需要多次最大池化操作，则后一次池化采用前一次池化计算出的h、w值迭代到n*h与n*w，属于本领域的常规技术，在此不再赘述。
14、所述特征光谱强度电信号的数据预处理具体为：
15、设定一个阈值，在三路特征光谱强度电信号的任意一路的时间序列数据中，如果某个时刻的时间序列数据小于该阈值，那么同步删除对应的另外两路时间序列数据中的这个时刻的数据；如果删除后的时间序列数据数量超过m个数据，则截取前m个数据；如果不足m个数据，则在末尾补充0，直到达到m个数据为止；从而将时间序列数据的维度从[light,m]精简至[light, m]。
16、kh、kw、sh、sw可以根据m的数值进行设置，从而方便后续的融合。
17、进一步地，所述融合的方法为：
18、采用python的reshape函数将池化处理后的图片数据进行维度提升，从[color,h, w]变为[k, color, h, w]；
19、采用python的reshape函数将精简后的特征光谱强度电信号的时间序列数据进行维度提升，从[light,m]变为[k, light, h, m/(kh)]；
20、rgb颜色的通道数量与特征光的光路数量相同，均为3；
21、采用python的concatenate函数将维度提升后的图片数据与维度提升后的特征光谱强度电信号的时间序列数据进行拼接，获得融合后的数据，其维度为[k, 3, h, [w+m/(kh)]。
22、进一步地，神经网络分析模块采用神经网络多分类模型，神经网络多分类模型的训练包括如下步骤：
23、（1）构建初始的神经网络多分类模型：
24、（2）采用特征光谱强度电信号及视觉信息的样本数据集训练初始的神经网络多分类模型，获得训练后的神经网络多分类模型；所述样本数据集标注了缺陷标签，所述缺陷标签包含的信息包括：缺陷等级、缺陷类型、成因，无缺陷的样本缺陷标签为合格；特征光谱强度电信号及视觉信息作为模型的输入，缺陷标签作为模型的输出。
25、进一步地，神经网络多分类模型的训练步骤具体如下：
26、使用深度学习框架构建一个多输入多输出的神经网络多分类模型；
27、模型的输入层包含两个输入通道，分别用于输入特征光谱强度电信号和视觉信息；每个通道都具有数据预处理步骤；
28、在模型的输出层，定义多个输出神经元，每个神经元对应一个焊接缺陷标签，使用softmax激活函数输出每个缺陷标签的概率；
29、收集包含特征光谱强度电信号及视觉信息的样本数据集，并对每个样本中存在的缺陷种类进行分类与标注，从而生成缺陷标签；缺陷标签包含的信息包括：缺陷等级、缺陷类型、成因，无缺陷的样本缺陷标签为合格；然后将样本数据集平均分为10份，取其中的5~9份作为训练集，剩余部分作为测试集；根据样本数据集的情况，测试集的占比为10%~50%训练效果最好。
30、使用训练集来训练神经网络多分类模型；在训练过程中，模型融合特征光谱强度电信号和视觉信息，以识别不同类型的焊接缺陷；
31、在测试集上评估模型的性能，采用精确率和召回率评估模型的性能；精确率precision：模型正确识别为正样本的样本数量与所有识别为正样本的样本数量之比；
32、precision=tp/[tp+fp]；
33、召回率recall：模型成功检测到的正样本数量与实际正样本数量之比；
34、recall=tp/[tp+fn]；
35、其中：
36、tp是真正例（true positives），指模型正确识别为正例的样本数；
37、fp是假正例（false positives），指模型错误识别为正例的样本数；
38、fn是假负例（false negatives），指模型错误识别为负例的样本数；
39、根据测试集上的表现调整模型参数，以提高模型的泛化能力，包括以下步骤：
40、1）调整模型超参数：根据测试集上的性能表现，调整模型的超参数，通过增加或减少网络层[layers]、调整学习率[learning_rate]、调整正则化项[regularization_term]；
41、2）重新训练模型：在调整完模型超参数后，重新使用训练集对神经网络多分类模型进行训练；
42、3）再次评估：在调整模型超参数并重新训练后，再次使用测试集评估神经网络多分类模型的性能，当精确率（precision）和召回率（recall）都大于95%或者性能不再提高时停止训练。
43、一种实时视觉与特征光谱激光焊接互联监测的装置，至少包括：
44、采集装置，用于按照时间序列采集特征光谱强度电信号和按照时间序列采集视觉信息；
45、数据处理模块，用于将采集到的视觉信息和特征光谱强度电信号分别进行数据预处理，然后将预处理后的数据进行融合；
46、数据分析模块，用于将融合后的数据输入到神经网络分析模块，进行推理计算，并输出互联监测结果。
47、在某些实施例中，还包括激光焊接控制模块，用于根据互联监测结果，调控激光焊接的工艺。
48、进一步地，采集模块包括特征光谱强度监测模块和视觉信息监测模块，特征光谱强度监测模块包括按照光路依次设置的光路校准模块、聚焦模块、第一分光模块；第一分光模块将光路一分为二，其中一条光路依次设置第一滤光模块和第一光电转换模块，另一条光路设置第二分光模块，第二分光模块将光路一分为二，其中一条光路依次设置第二滤光模块和第二光电转换模块，另一条光路依次设置第三滤光模块和第三光电转换模块；
49、光路校准模块用于增强输入的特征光谱信号强度；聚焦模块用于将增强后的特征光谱信号聚焦；第一分光模块、第二分光模块用于将聚焦后的特征光谱信号分成可见光、红外光、反射光；第一滤光模块、第二滤光模块和第三滤光模块用于将分成的三路光分别进行滤波，得到所需特征波段的光谱；第一光电转换模块、第二光电转换模块和第三光电转换模块用于将滤光后的特征波段的光谱转换为电信号；
50、视觉信息监测模块包括用于采集图片的相机和用于照亮焊接部位的辅助光源。
51、一种激光焊接工艺的调控方法，包括：
52、s1、执行上述的实时视觉与特征光谱激光焊接互联监测方法，得到缺陷标签；
53、s2、根据缺陷标签，调控激光焊接的工艺，具体如下：
54、若缺陷标签为轻微缺陷-孔洞-水分，则暂停焊接，进行预清洗；
55、若缺陷标签为轻微缺陷-孔洞-油污，则暂停焊接，进行预清洗；
56、若缺陷标签为轻微缺陷-焊缝成形不良-工件轻微变形，则修改焊接路径，避开变形区域；
57、若缺陷标签为中等缺陷-虚焊-功率下降，则增大激光焊接的功率；
58、若缺陷标签为中等缺陷-飞溅-功率过大，则减小激光焊接的功率；
59、若缺陷标签为严重缺陷-大面积未焊透-功率过低，则终止焊接，重新设定激光焊接的参数，再进行焊接；
60、若缺陷标签为严重缺陷-大裂纹-工艺参数不合适，则终止焊接，重新设定激光焊接的参数，再进行焊接；
61、若缺陷标签为不合格，则终止焊接，工件作废；
62、若缺陷标签为合格，则保持当前激光焊接参数不变。
63、一种电子设备，包括：
64、一个或多个处理器；
65、存储器，用于存储一个或多个程序；
66、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实时视觉与特征光谱激光焊接互联监测方法。
67、一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实时视觉与特征光谱激光焊接互联监测方法的步骤。
68、本发明的有益效果在于：通过采用神经网络分析模块光谱能量和视觉融合监测激光焊接质量，提升了焊中监测对于缺陷的判断准确性，解决了不同数据源的矛盾，判断快速准确。
1.一种实时视觉与特征光谱激光焊接互联监测方法，其特征在于，包括如下步骤：
2. 根据权利要求1所述的方法，其特征在于，所述视觉信息包括按照时间序列排列的n张图片，每张图片的数据维度为[color, h, w]，其中color为图片的rgb颜色的通道数量，h和w分别为任意一个颜色通道对应的图片的高度方向的分辨率和宽度方向的分辨率；
3.根据权利要求2所述的方法，其特征在于，所述视觉信息的数据预处理具体为：
4.根据权利要求3所述的方法，其特征在于，所述融合的方法为：
5.根据权利要求1所述的方法，其特征在于，神经网络分析模块采用神经网络多分类模型，神经网络多分类模型的训练包括如下步骤：
6.根据权利要求5所述的方法，其特征在于，神经网络多分类模型的训练步骤具体如下：
7.一种实时视觉与特征光谱激光焊接互联监测的装置，其特征在于，至少包括：
8.根据权利要求7所述的装置，其特征在于，采集模块包括特征光谱强度监测模块和视觉信息监测模块，特征光谱强度监测模块包括按照光路依次设置的光路校准模块、聚焦模块、第一分光模块；第一分光模块将光路一分为二，其中一条光路依次设置第一滤光模块和第一光电转换模块，另一条光路设置第二分光模块，第二分光模块将光路一分为二，其中一条光路依次设置第二滤光模块和第二光电转换模块，另一条光路依次设置第三滤光模块和第三光电转换模块；
9.一种激光焊接工艺的调控方法，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
