本发明涉及数据采集和上传的验证
技术领域：
，具体涉及一种验证大数据采集和上传准确性的系统及方法。
背景技术：
：车载通信模块是车辆的一个控制器，用于采集车辆其他控制器的状态(比如门、窗、灯、车速、转向角等),期望这些控制器状态数据都能实时、完整地采集并上传到服务器，以便客户能通过各个终端查询到车辆的正确状态。因这些数据具有实时性、并发行、大量性且无规律性等特征，很难在实车上判断车载通信模块是否完整地采集和上传了各控制器的状态，也无法判断采集和上传各控制器的状态是否正确。如果采集不完整、不正确，那么显示在终端上的数据将与实际情况不符，此问题将会引起客户极大的抱怨。目前，大数据上传基本上是通过肉眼直观地判断，当数据量较大时，肉眼只能片面地观察部分数据的准确性，无法判断所有的数据是否正确，缺失一种比较适用的方法来验证这些数据的采集和上传的准确性，无法判断采集的can数据是否漏帧、是否错误、是否重复以及准确性如何等等。技术实现要素：本发明的目的是提供一种验证大数据采集和上传准确性的系统及方法，能准确计算出车载通信模块采集和上传can数据的正确数、丢帧数、错误数、重复数和准确率。本发明所述的一种验证大数据采集和上传准确性的系统，包括大数据验证应用模块、车载通信模块、服务器和can硬件设备，所述大数据验证应用模块安装到pc机上，can硬件设备的usb端连接到pc机，can硬件设备的can线端与车载通信模块的can线连接，车载通信模块通过网络通信与服务器连接；所述大数据验证应用模块用于生成canid文件、dbc文件和大数据xml文件，以及模拟车辆连续发送大量有序的can数据并保存发送的can数据；所述车载通信模块内存储有大数据验证应用模块所生成的canid文件、dbc文件和大数据xml文件，该车载通信模块用于根据canid文件、dbc文件和大数据xml文件实时采集大数据验证应用模块发送的can信号，并生成采集的can数据文件和上传can数据至服务器；所述服务器用于接收到车载通信模块上传的can数据并生成接收到的can数据文件；所述can硬件设备用于将大数据验证应用模块模拟发出的can信号发送到can线上，以供车载通信模块采集；所述大数据验证应用模块还用于将模拟车辆发送的can数据和车载通信模块采集到的can数据进行对比统计，计算出车载通信模块采集can数据的准确率；所述大数据验证应用模块还用于将车载通信模块采集的can数据和服务器接收的can数据进行对比统计，计算出车载通信模块和服务器采集和上传大数据的准确率；所述大数据验证应用模块还用于将自身发出的can数据和服务器接收的can数据进行对比统计，计算出车载通信模块上传的can数据的准确率。进一步，所述车载通信模块为车载4g模块。本发明所述的一种验证大数据采集和上传准确性的方法，采用如本发明所述的验证大数据采集和上传准确性的系统，其方法包括以下步骤：通过大数据验证应用模块设置起始canid和can报文数量；根据起始canid和can报文数量生成连续递增并具有预定格式的canid文件；根据canid和can报文数量生成连续递增的具有预定格式的dbc文件；根据canid和can报文数量生成具有变化采集规则、上传规则和预定格式的大数据xml文件；将canid文件、dbc文件和大数据xml文件放置到车载通信模块中，待车载通信模块采集大数据can信号时根据这三个配置文件进行判断采集和上传；通过大数据验证应用模块设置所有报文的周期和can总线的波特率；模拟发送can报文，所有的can报文根据设置的周期和波特率周期变化地发到can总线上，同时保存模拟发送的can数据文件；车载通信模块根据大数据xml文件和采集规则采集can总线上的can报文，并生成采集的can数据文件，同时根据大数据xml文件的上传规则上传大数据到服务器；服务器根据接收到的大数据生成接收的can数据文件；将车载通信模块生成的采集can数据文件和服务器生成的接收can数据文件一并放入大数据验证应用模块中；将大数据验证应用模块模拟车辆发送的can数据和车载通信模块采集到的can数据进行对比统计，计算出车载通信模块采集can数据的准确率；将车载通信模块采集的can数据和服务器接收的can数据进行对比统计，计算出车载通信模块和服务器采集和上传大数据的准确率；将大数据验证应用模块发出的can数据和服务器接收的can数据进行对比统计，计算出车载通信模块上传的can数据的准确率。本发明具有以下优点：它能够自动生成车载通信模块构建大数据采集需要的各类配置文件，同时更能够统计车载通信模块采集和上传大数据can信号的正确数、丢帧数、错误数和重复数，简化了通信模块验证大数据采集和上传的准确性。本方法简单，效率较高，且可靠可行，能够准确验证大数据丢失和错误的现象，便于及时发现问题所在，给用户提供一个真实的数据信息。附图说明图1是本实施例中系统的原理框图；图2是本实施例中方法的流程图；图中，1-大数据验证应用模块、2-车载通信模块、3-服务器、4-can硬件设备。具体实施方式下面结合附图对本发明作进一步说明。本实施例中，一种验证大数据采集和上传准确性的系统，包括大数据验证应用模块1、车载通信模块2、服务器3和can硬件设备4，所述大数据验证应用模块1安装到pc机上，can硬件设备4的usb端连接到pc机，can硬件设备4的can线端与车载通信模块2的can线连接，车载通信模块2通过网络通信与服务器连接，以此实现各个部件之间的通信。所述大数据验证应用模块1用于生成canid文件、dbc文件和大数据xml文件，以及模拟车辆连续发送大量有序的can数据并保存发送的can数据。所述车载通信模块2内存储有大数据验证应用模块1所生成的canid文件、dbc文件和大数据xml文件，该车载通信模块2用于根据canid文件、dbc文件和大数据xml文件实时采集大数据验证应用模块1发送的can信号，并生成采集的can数据文件和上传can数据至服务器3。所述服务器3用于接收到车载通信模块2上传的can数据并生成接收到的can数据文件。所述can硬件设备4用于将大数据验证应用模块1模拟发出的can信号发送到can线上，以供车载通信模块2采集。所述大数据验证应用模块1还用于将模拟车辆发送的can数据和车载通信模块2采集到的can数据进行对比统计，计算出车载通信模块2采集can数据的准确率。所述大数据验证应用模块1还用于将车载通信模块2采集的can数据和服务器3接收的can数据进行对比统计，计算出车载通信模块2和服务器3采集和上传大数据的准确率。所述大数据验证应用模块1还用于将自身发出的can数据和服务器3接收的can数据进行对比统计，计算出车载通信模块2上传的can数据的准确率，从而判断出是车载通信模块2采集can数据出现了问题，还是车载通信模块2上传大数据出现了问题。本实施例中，所述车载通信模块2为车载4g模块。如图2所示，本实施例中，一种验证大数据采集和上传准确性的方法，采用如本实施例中所述的验证大数据采集和上传准确性的系统，其方法包括以下步骤：通过大数据验证应用模块1设置起始canid和can报文数量。根据起始canid和can报文数量生成连续递增并具有预定格式的canid文件，每个canid均有8个can信号。根据canid和can报文数量生成连续递增的具有预定格式的dbc文件。设计每个canid的信号均被采集，根据canid和can报文数量生成具有变化采集规则、上传规则和预定格式的大数据xml文件；将canid文件、dbc文件和大数据xml文件放置到车载通信模块2中，待车载通信模块2采集大数据can信号时根据这三个配置文件进行判断采集和上传。通过大数据验证应用模块1设置所有报文的周期和can总线的波特率(支持125kbps、500kbps、1mps等)。模拟发送can报文，设计每个报文从低位至高位的每个字节从0开始依次递增变化，直到最大值255。所有的can报文根据设置的周期和波特率周期变化地发到can总线上，同时保存模拟发送的can数据文件；其can报文数据内容如表1所示：表1模拟can数据变化(例子：起始canid为0x2000，canid数量2)0x200000000000000000000x200100000000000000000x200001000000000000000x200101000000000000000x200002000000000000000x20010200000000000000………………………0x2000ff000000000000000x2001ff000000000000000x2000ff010000000000000x2001ff01000000000000………………………………………………0x2000ffffffffffff00000x2001ffffffffffff00000x2000ffffffffffff01000x2001ffffffffffff0100………………………0x2000ffffffffffffff000x2001ffffffffffffff000x2000ffffffffffffff010x2001ffffffffffffff01………………………0x2000ffffffffffffffff0x2001ffffffffffffffff车载通信模块2根据大数据xml文件和采集规则采集can总线上的can报文，并生成采集的can数据文件，同时根据大数据xml文件的上传规则上传大数据到服务器。服务器根据接收到的大数据生成接收的can数据文件。大数据验证应用模块1模拟发送can报文一段时间后可停止模拟，此时生成的can文件数据不会变化。然后将车载通信模块2生成的采集can数据文件和服务器3生成的接收can数据文件一并放入大数据验证应用模块1中；将大数据验证应用模块1模拟车辆发送的can数据和车载通信模块2采集到的can数据进行对比统计，计算出车载通信模块2采集can数据的正确帧数、丢帧数、错误帧数、重复帧数，以此来计算车载通信模块2采集can数据的准确率。将车载通信模块2采集的can数据和服务器3接收的can数据进行对比统计，计算出车载通信模块2和服务器3采集和上传大数据的准确率。将大数据验证应用模块1发出的can数据和服务器3接收的can数据进行对比统计，计算出车载通信模块2上传的can数据的准确率。当前第1页1 2 3
技术特征：1.一种验证大数据采集和上传准确性的系统，其特征在于：包括大数据验证应用模块（1）、车载通信模块（2）、服务器（3）和can硬件设备（4），所述大数据验证应用模块（1）安装到pc机上，can硬件设备（4）的usb端连接到pc机，can硬件设备（4）的can线端与车载通信模块（2）的can线连接，车载通信模块（2）通过网络通信与服务器（3）连接；
所述大数据验证应用模块（1）用于生成canid文件、dbc文件和大数据xml文件，以及模拟车辆连续发送大量有序的can数据并保存发送的can数据；
所述车载通信模块（2）内存储有大数据验证应用模块（1）所生成的canid文件、dbc文件和大数据xml文件，该车载通信模块（2）用于根据canid文件、dbc文件和大数据xml文件实时采集大数据验证应用模块（1）发送的can信号，并生成采集的can数据文件和上传can数据至服务器（3）；
所述服务器（3）用于接收到车载通信模块（2）上传的can数据并生成接收到的can数据文件；
所述can硬件设备（4）用于将大数据验证应用模块（1）模拟发出的can信号发送到can线上，以供车载通信模块（2）采集；
所述大数据验证应用模块（1）还用于将模拟车辆发送的can数据和车载通信模块（2）采集到的can数据进行对比统计，计算出车载通信模块（2）采集can数据的准确率；
所述大数据验证应用模块（1）还用于将车载通信模块（2）采集的can数据和服务器（3）接收的can数据进行对比统计，计算出车载通信模块（2）和服务器（3）采集和上传大数据的准确率；
所述大数据验证应用模块（1）还用于将自身发出的can数据和服务器（3）接收的can数据进行对比统计，计算出车载通信模块（2）上传的can数据的准确率。
2.根据权利要求1所述的验证大数据采集和上传准确性的系统，其特征在于：所述车载通信模块（2）为车载4g模块。
3.一种验证大数据采集和上传准确性的方法，其特征在于：采用如权利要求1或2所述的验证大数据采集和上传准确性的系统，其方法包括以下步骤：
通过大数据验证应用模块（1）设置起始canid和can报文数量；根据起始canid和can报文数量生成连续递增并具有预定格式的canid文件；根据canid和can报文数量生成连续递增的具有预定格式的dbc文件；根据canid和can报文数量生成具有变化采集规则、上传规则和预定格式的大数据xml文件；
将canid文件、dbc文件和大数据xml文件放置到车载通信模块（2）中，待车载通信模块（2）采集大数据can信号时根据这三个配置文件进行判断采集和上传；
通过大数据验证应用模块（1）设置所有报文的周期和can总线的波特率；模拟发送can报文，所有的can报文根据设置的周期和波特率周期变化地发到can总线上，同时保存模拟发送的can数据文件；
车载通信模块（2）根据大数据xml文件和采集规则采集can总线上的can报文，并生成采集的can数据文件，同时根据大数据xml文件的上传规则上传大数据到服务器；
服务器根据接收到的大数据生成接收的can数据文件；
将车载通信模块（2）生成的采集can数据文件和服务器（3）生成的接收can数据文件一并放入大数据验证应用模块（1）中；
将大数据验证应用模块（1）模拟车辆发送的can数据和车载通信模块（2）采集到的can数据进行对比统计，计算出车载通信模块（2）采集can数据的准确率；
将车载通信模块（2）采集的can数据和服务器（3）接收的can数据进行对比统计，计算出车载通信模块（2）和服务器（3）采集和上传大数据的准确率；
将大数据验证应用模块（1）发出的can数据和服务器（3）接收的can数据进行对比统计，计算出车载通信模块（2）上传的can数据的准确率。
技术总结本发明公开了一种验证大数据采集和上传准确性的系统及方法，包括大数据验证应用模块、车载通信模块、服务器和can硬件设备，所述大数据验证应用模块安装到PC机上，can硬件设备的USB端连接到PC机，can硬件设备的can线端与车载通信模块的can线连接，车载通信模块通过网络通信与服务器连接。本发明能够准确计算出车载通信模块采集和上传can数据的正确数、丢帧数、错误数、重复数和准确率。
技术研发人员：何静;刘园圆;王强
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2020.01.15
技术公布日：2020.06.09
