[发明专利]一种用于互联网检测中基于机器学习的测量检测系统及办法

说明书

本发明涉及一种用于互联网检测中基于机器学习的测量检测系统及方法，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；所述模型检验模块，用于对模型的预测能力进行检验。本发明的测量检测系统能够快速识别检测出的数据。

技术领域

本发明涉互联网检测领域，更具体的涉及互联网检测领域中一种基于机器学习的测量检测系统及方法。

背景技术

随着人工智能领域机器学习技术的迅猛发展，互联网检测领域也取得了快速发展，例如在申请人的另一个专利《一种用互联网检测领域中快速采集数据的方法》中提到了一种数据采集的系统和方法。

对于数据的采集和分析，传统方法常采用线性或简单的非线性的方式来拟合数据曲线以得到模型。这种方法常常需要人工进行数据处理，确定许多预制参数，过程繁复且经常不能取得预期的效果。

发明内容

为了解决现有技术中存在的问题，本发明由此提供了一种基于机器学习的得到预测模型的系统及方法。

具体而言，本发明提供一种用于互联网检测中基于机器学习的测量检测系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；

其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；用于将从数据管理服务器读取的基线数据的经过特征采集算法之后的值作为训练数据的样本的真值，也就是标签值；将常规应用场景中拍摄的每一条数据经过特征采集算法之后所获得的数据作为常规应用场景数据集A1，将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；用于将非常规场景应用所采集的数据经过特征采集算法之后所获得的数据，作为非常规应用场景数据集A2；将所述常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述多个样本的标签值、训练集数据生成多个基模型，同时后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

所述模型检验模块，用于对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果。

进一步的，所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、样本上光校正单元的特征值、手机姿态进行样本图片拍摄，每张样本采集多次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。

进一步的，所述常规应用场景数据集A1依据以下方法获得：在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，所获得的数据经过特征采集算法之后所获得的数据即为常规应用场景数据集A1。