本发明涉及工业大数据处理与复杂工业智能建模技术领域,尤其涉及一种工业大数据环境下的产品质量端-边-云协同预报方法。
背景技术:
近些年来,随着人工智能在理论与技术方面发展的越来越成熟,大数据的应用也越来越广泛,并且在医学,电子信息,图像识别等领域取得了相对较成熟的结果。在复杂工业智能建模领域,工业大数据的应用也显得尤为重要,产品的质量是描述工业生产过程是否合格的一项重要指标。
尽管目前的智能建模算法能够有效的处理工业大数据中的高维数据,自动挖掘隐含在生产过程数据中的潜在特征,但是,传统的智能建模算法大多主要用于处理静态数据集,而难以应用到实时系统中,所建立的智能预报模型只能反映隐含在历史数据中的规律,无法随生产过程的微小变化而进行修正。
在实际的工业现场中,产品的生产数据会随生产的进行而不断的增多,如果能够随着生产过程的进行有效的利用实时产生的样本数据,挖掘生产过程中数据产生的微小变化,就可以不断的改善预报模型,进而提高模型精度。然而传统的智能建模方法在每次训练模型的过程中都需要大量的训练样本数据,并且训练速度较慢,无法做到对模型的实时更新。因此随着生产过程的推进,如何有效的应用生产过程中实时产生的数据样本,发掘生产过程中样本产生的微小变化,同时节约计算资源,节省时间是目前尚待解决的问题。
技术实现要素:
本发明要解决的技术问题是针对上述现有技术的不足,提供一种工业大数据环境下的产品质量端-边-云协同预报方法,本发明能够有效的利用生产过程中产生的实时数据,不断的修正预报模型中的参数,使得预报模型能够适应产品的实时变化,进而不断提高模型的预报精度,提高生产效益。
为解决上述技术问题,本发明所采取的技术方案是:
本发明提供一种工业大数据环境下的产品质量端-边-云协同预报方法,包括以下步骤:
步骤1:利用实际工业现场中的传感器,采集该工业现场中产品的实际生产过程数据;
步骤2:将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本,形成初始样本数据集;利用数据补齐算法对初始样本数据集内的数据进行数据预处理,使所有的数据维度相同,并将预处理后的样本数据存放至边缘端数据库中;在云端服务器上建立云端数据库,边缘端数据库中样本个数大于n个时,将边缘端数据库中的样本数据同步到云端数据库中,同时清空边缘端数据库中的数据样本;
步骤3:判断云端数据库中数据总数是否大于h个,若否,则执行步骤1,若是,则在云端服务器上,针对产品生产工艺过程以及生产过程数据的特征选择智能建模方法,建立产品质量的预报模型;
根据产品的w种质量指标在云端服务器上分别建立w个预报模型,组成模型库;其中针对第i种质量指标建立预报模型如下所示:
其中,i表示预报模型输入的预处理后的样本数据,
根据工业生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析,进而将θi分为三个参数集合,即
步骤4:按照产品的实际生产顺序,从云端数据库中提取最近的k个样本数据组成训练集d,同时记此时云端数据库中的数据样本总数为s个;利用训练集d中的样本数据分别训练模型库中每一种预报模型中的所有参数,将训练后的预报模型库记作
将样本的生产过程数据作为输入数据,将样本的第i种质量指标数据作为标签数据,在云端服务器上,训练第i种质量指标的预报模型,得到fic;即训练步骤3中的参数集
步骤5:将预报模型库fc从云端服务器传输到边缘端服务器上,并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行,用户通过终端服务器中的预报模型对产品的不同质量指标分别进行预报;
步骤6:从工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据,将输入数据传输到所有终端服务器上,在每一个终端服务器上利用预报模型分别对产品的每一种质量指标进行预报,并将预报结果传送给用户;
步骤7:当该产品的生产过程结束后,在每一个终端服务器上,保持其对应的预报模型中参数集
步骤8:将该产品的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中;判断此时边缘端的历史数据库中所有的样本个数,若此时的样本个数小于n个,则转到步骤6中,继续对后续产品的质量指标进行预报;若此时的样本个数大于n个,则转到步骤9;
步骤9:从边缘端的历史数据库中提取n个产品的生产数据作为新的训练集d,在边缘端服务器上,针对预报模型库中的每一种预报模型,利用训练集d中的样本数据,对模型中的参数集
步骤10:利用边缘端服务器,将fe中的预报模型分别下放到对应的终端服务器上,并替代原有的预报模型;用户通过不同的终端服务器调用重新训练后的预报模型,对正在生产的产品数据进行新一轮的预报;并将边缘端数据库中的数据样本同步到云端数据库中,并清空边缘端数据库中的数据信息,将新一轮生产的产品数据存入到边缘端数据库中;
步骤11:判断此时云端数据库中的样本数量,判断云端数据库中的样本总数相比于s是否增长了n个样本,其中n大于n,若是,则返回到步骤4中,重新统计云端数据库中的样本总数s=s n,并重新训练fc中的预报模型;若否,则返回到步骤6中,利用终端服务器上的预报模型对产品质量进行预报。
所述步骤3的
采用上述技术方案所产生的有益效果在于:本发明提供的一种工业大数据环境下的产品质量端-边-云协同预报方法,本方法能够将所建立的预报模型的参数分为对大量数据样本的变化敏感的参数;对少量数据样本的变化敏感的参数;对单个数据样本的变化敏感的参数三类,并通过端-边-云协同预报的方法,不断的对预报模型中的参数进行训练更新。同时本发明能够有效的利用生产过程中产生的实时数据,不断的修正预报模型中的参数,使得预报模型能够适应产品的实时变化,进而不断提高模型的预报精度,提高生产效益。
附图说明
图1为本发明实施例提供的一种工业大数据环境下的产品质量端-边-云协同预报方法的结构框图;
图2为本发明实施例提供的一种工业大数据环境下的产品质量端-边-云协同预报方法的流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图2所示,本实施例的方法如下所述。
本发明提供一种工业大数据环境下的产品质量端-边-云协同预报方法,在云端服务器上利用工业大数据训练预报模型,同时在边缘端服务器以及终端服务器上不断的校正预报模型中的相关参数,如图1所示,使预报模型的结果更加精确。本实施例中用于对钢板产品质量的智能预报中,包括以下步骤:
步骤1:利用钢板工业现场中的传感器,采集该工业现场中钢板产品的实际生产过程数据;
步骤2:将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本,形成初始样本数据集;之后针对钢板型号的不同导致的样本数据维度的差异,利用数据补齐算法对初始样本数据集内的数据进行数据预处理,得到数据维度相同的样本数据,并将预处理后的样本数据存放至边缘端数据库中;预处理后的样本数据作为产品质量的预报模型的输入数据,将产品的最终质量标签数据作为产品质量的预报模型输出数据,用于构建对产品质量的预报模型,在输入数据的周围添加无用数据,不会对最终的预测结果产生影响,同时使所有样本的输入数据维度统一。在云端服务器上建立云端数据库,用来存放所有经过预处理后的样本数据,便于对工业生产过程中的数据进行分析建模。边缘端数据库中样本个数大于n个时,将边缘端数据库中的样本数据同步到云端数据库中,同时清空边缘端数据库中的数据样本;所述边缘端服务器上的边缘端数据库,用来存放小批次生产过程中所产生的样本数据。
步骤3:判断云端数据库中数据总数是否大于h个,若否,则执行步骤1,若是,则在云端服务器上,针对钢板生产工艺过程以及钢板生产过程数据的特征选择适合的智能建模方法,诸如卷积神经网络,图神经网络,随机森林等智能建模方法等;本实施方式中选择机理 数据的建模方法建立产品质量的预报模型;
由于针对钢板产品有5种质量评价指标描述其是否合格,分别是钢板的尺寸,表面,板形,内质,性能。因此在云端服务器上,需要针对每一种质量指标分别建立预报模型,组成模型库。
其中针对第i种质量指标建立预报模型如下所示:
其中,i表示预报模型输入的预处理后的样本数据,
根据钢板的生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析,进而将θi分为三个参数集合,即
设置在工业生产过程中,一个大的批次内生产的产品数量为m个,将每一个大的批次分为r个小批次,每一个小的批次内生产的产品数量为m个;所述参数集
本实施例中所述分析方法可以为典型的相关分析算法有mic,皮尔逊相关系数等;
参数集
参数集
参数集
步骤4:按照产品的实际生产顺序,从云端数据库中提取最近的k=15000个样本数据组成训练集d,同时记此时云端数据库中的数据样本总数为s=28700个;首次训练是基于步骤3中建立的包括5种预报模型的模型库,针对每一种预报模型,利用训练集d中的样本数据分别训练模型库中每一种预报模型,进而得到针对每一种质量指标的预报模型库,记作
将样本的生产过程数据作为输入数据,将样本的第i种质量指标数据作为标签数据,在云端服务器上,训练第i种质量指标的预报模型,得到fic;即训练步骤3中的参数集
步骤5:将预报模型库fc从云端服务器传输到边缘端服务器上,并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行,用户通过终端服务器中的预报模型对产品的不同质量指标分别进行预报;
步骤6:从铁板生产工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据,将输入数据传输到所有终端服务器上,在每一个终端服务器上利用与产品相对应的预报模型分别对产品的每一种质量指标进行预报,并将预报结果传送给用户,用户根据预报结果对生产过程进行决策,进而提高产品的合格率;
步骤7:当该块钢板的生产过程结束后,在每一个终端服务器上,保持其对应的预报模型中参数集
步骤8:将该块钢板的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中;判断此时边缘端的历史数据库中所有的样本个数,若此时的样本个数小于n=1000个,则转到步骤6中,继续对后续产品的质量指标进行预报;若此时的样本个数大于n=1000个,则转到步骤9;
步骤9:从边缘端的历史数据库中提取n=1000个产品的生产数据作为新的训练集d,在边缘端服务器上,针对预报模型库中的每一种预报模型,利用训练集d中的样本数据,对模型中的参数集
由于参数集
步骤10:利用边缘端服务器,将fe中的预报模型分别下放到对应的终端服务器上,并替代原有的预报模型;用户通过不同的终端服务器调用重新训练后的预报模型,对正在生产的产品数据进行新一轮的预报;并将边缘端数据库中的数据样本同步到云端数据库中,并清空边缘端数据库中的数据信息,将新一轮生产的产品数据存入到边缘端数据库中;
步骤11:判断此时云端数据库中的样本数量,判断云端数据库中的样本总数相比于s是否增长了n=10000个样本(n远大于n),若是,则返回到步骤4中,重新统计云端数据库中的样本总数s=s n,并重新训练fc中的预报模型;若否,则返回到步骤6中,利用终端服务器上的预报模型对产品质量进行预报;
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
1.一种工业大数据环境下的产品质量端-边-云协同预报方法,其特征在于:包括以下步骤:
步骤1:利用实际工业现场中的传感器,采集该工业现场中产品的实际生产过程数据;
步骤2:将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本,形成初始样本数据集;利用数据补齐算法对初始样本数据集内的数据进行数据预处理,使所有的数据维度相同,并将预处理后的样本数据存放至边缘端数据库中;在云端服务器上建立云端数据库,边缘端数据库中样本个数大于n个时,将边缘端数据库中的样本数据同步到云端数据库中,同时清空边缘端数据库中的数据样本;
步骤3:判断云端数据库中数据总数是否大于h个,若否,则执行步骤1,若是,则在云端服务器上,针对产品生产工艺过程以及生产过程数据的特征选择智能建模方法,建立产品质量的预报模型;
根据产品的w种质量指标在云端服务器上分别建立w个预报模型,组成模型库;其中针对第i种质量指标建立预报模型如下所示:
其中,i表示预报模型输入的预处理后的样本数据,
根据工业生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析,进而将θi分为三个参数集合,即
步骤4:按照产品的实际生产顺序,从云端数据库中提取最近的k个样本数据组成训练集d,同时记此时云端数据库中的数据样本总数为s个;利用训练集d中的样本数据分别训练模型库中每一种预报模型中的所有参数,将训练后的预报模型库记作
将样本的生产过程数据作为输入数据,将样本的第i种质量指标数据作为标签数据,在云端服务器上,训练第i种质量指标的预报模型,得到fic;即训练步骤3中的参数集
步骤5:将预报模型库fc从云端服务器传输到边缘端服务器上,并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行,用户通过终端服务器中的预报模型对产品的不同质量指标分别进行预报;
步骤6:从工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据,将输入数据传输到所有终端服务器上,在每一个终端服务器上利用预报模型分别对产品的每一种质量指标进行预报,并将预报结果传送给用户;
步骤7:当该产品的生产过程结束后,在每一个终端服务器上,保持其对应的预报模型中参数集
步骤8:将该产品的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中;判断此时边缘端的历史数据库中所有的样本个数,若此时的样本个数小于n个,则转到步骤6中,继续对后续产品的质量指标进行预报;若此时的样本个数大于n个,则转到步骤9;
步骤9:从边缘端的历史数据库中提取n个产品的生产数据作为新的训练集d,在边缘端服务器上,针对预报模型库中的每一种预报模型,利用训练集d中的样本数据,对模型中的参数集
步骤10:利用边缘端服务器,将fe中的预报模型分别下放到对应的终端服务器上,并替代原有的预报模型;用户通过不同的终端服务器调用重新训练后的预报模型,对正在生产的产品数据进行新一轮的预报;并将边缘端数据库中的数据样本同步到云端数据库中,并清空边缘端数据库中的数据信息,将新一轮生产的产品数据存入到边缘端数据库中;
步骤11:判断此时云端数据库中的样本数量,判断云端数据库中的样本总数相比于s是否增长了n个样本,其中n大于n,若是,则返回到步骤4中,重新统计云端数据库中的样本总数s=s n,并重新训练fc中的预报模型;若否,则返回到步骤6中,利用终端服务器上的预报模型对产品质量进行预报。
2.根据权利要求1所述的一种工业大数据环境下的产品质量端-边-云协同预报方法,其特征在于:所述步骤3的