[发明专利]一种基于智能模式识别的数据自动标注的方法及系统

说明书

本发明提供了一种基于智能模式识别的数据自动标注的方法及系统，包括：从数据库读取原始数据，将原始数据的标签作为预测结果集合；提取原始数据的数据特征，形成样本数据；用得到的样本数据对预测模型进行训练；提取业务数据的数据特征，用预测模型对业务数据的数据特征进行计算，预测业务数据的标签，并依据置信度对预测结果进行排序；将置信度最高且高于设定的阈值的预测结果写入数据库，将置信度最高且低于设定的阈值的预测结果进行人工确认或修正并写入数据库。本发明通过智能识别的方法减少了人工介入，从而降低人工成本，极大提高了新入库数据的数据标注及时性；通过循环验证的方式使得数据标注的准确性大大提升，数据量越大准确率越高。

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种基于智能模式识别的数据自动标注的方法及系统。

背景技术

随着物联网与移动终端持续不断的产生大量数据，并且数据类型丰富，而怎么识别和使用这些不同类型的数据就成为了一个困难的问题。传统的数据仓库通常使用人工创建数据字典的手段对数据的业务进行标识，然而在海量数据的场景中，数据不仅在容量上产生了几何级数增长，在数据的维度上也发生了指数级的增长。在这样的背景下，传统通过人工手段对数据进行表示的方法体现出很多弊端，容易错，成本高，耗时长。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于智能模式识别的数据自动标注的方法及系统。

根据本发明提供的一种基于智能模式识别的数据自动标注的方法，包括：

步骤1：从数据库读取原始数据，将原始数据的标签作为预测结果集合；

步骤2：提取原始数据的数据特征，形成样本数据；

步骤3：用得到的样本数据对预测模型进行训练；

步骤4：提取业务数据的数据特征，用预测模型对业务数据的数据特征进行计算，预测业务数据的标签，并依据置信度对预测结果进行排序；

步骤5：将置信度最高且高于设定的阈值的预测结果写入数据库，将置信度最高且低于设定的阈值的预测结果进行人工确认或修正并写入数据库。

较佳的，所述步骤2具体包括：

步骤201：将原始数据的数据特征解析成结构化的样本数据；

步骤202：将样本数据中已有的特征组合形成高维特征；

步骤203：对高维特征进行分析，形成新维度并对新维度的影响力进行排序；

步骤204：将样本数据按照新维度进行降维，在确保样本数据失真率低于设定值的前提下使用最小维度数；

步骤205：对新维度的样本数据进行归一化处理。

较佳的，所述步骤3具体包括：

步骤301：将样本数据输入数据特征分析算法，对样本数据作出标预测；

步骤302：将预测结果与预测结果集合进行对比验证，验证结果反馈到数据特征分析算法的执行程序；

步骤303：根据反馈结果计算偏差，并根据变差调整数据特征分析算法的参数；

步骤304：重复步骤301至步骤303，直至预测模型达到设计指标。

较佳的，所述数据特征包括：数据类型、长度和字符串模式。

较佳的，还包括步骤6：重复步骤1至步骤3。

根据本发明提供的一种基于智能模式识别的数据自动标注的系统，包括：

原始数据读取模块：从数据库读取原始数据，将原始数据的标签作为预测结果集合；