[发明专利]数据标注的优化方法及装置

说明书

本发明公开了一种数据标注的优化方法及装置，涉及数据分析技术领域，解决了数据标注准确性较低的问题，所述方法包括：首先选取待标注数据进行特征向量化处理；然后对特征向量化处理后的待标注数据进行聚类；根据聚类结果，对待标注数据进行临时标注；将临时标注后的数据进行分类；根据分类结果和预设条件，确定所述临时标注后的数据中用于模型训练的数据并进行相应标注。本发明适用于数据的标注。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据标注的优化方法及装置。

背景技术

近些年来，随着互联网的快速发展，数据训练模型的应用越来越广泛，数据标注是很多监督机器学习技术的基础，用户根据标注的数据，选取一定数量适合的数据对模型进行训练，得到可以使用的模型。对于有标注的数据，用户可以根据实际需要从互联网上抓取、收集，并在对抓取的数据进行整理标注后得到。

目前在对数据进行整理标注时，主要是通过人工方式进行整理标注，数据编辑师人工的对全部需要标注的数据一一进行标注，然而当存在大量的数据时，需要耗费巨大的人力和物力资源进行标注，并且人工标注后的数据中会存在部分数据质量较低、在训练模型的过程中属于无使用价值的数据，导致数据标注的准确性较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据标注的优化方法及装置。

为了达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据标注的优化方法，该方法包括：

选取待标注数据进行特征向量化处理；

对特征向量化处理后的待标注数据进行聚类；

根据聚类结果，对待标注数据进行临时标注；

将临时标注后的数据进行分类；

根据分类结果和预设条件确定所述临时标注后的数据中用于模型训练的数据并进行相应标注。

另一方面，本发明提供了一种数据标注的优化装置，该装置包括：

选取单元，用于选取待标注数据进行特征向量化处理；

聚类单元，用于对特征向量化处理后的待标注数据进行聚类；

标注单元，用于根据聚类结果，对待标注数据进行临时标注；

分类单元，用于将临时标注后的数据进行分类；

确定单元，用于根据分类结果和预设条件，确定所述临时标注后的数据中用于模型训练的数据并进行相应标注。

借由上述技术方案，本发明提供的一种数据标注的优化方法及装置，首先选取待标注数据进行特征向量化处理；对特征向量化处理后的待标注数据进行聚类；然后根据聚类结果，对待标注数据进行临时标注；将临时标注后的数据进行分类；再根据分类结果和预设条件，确定所述临时标注后的数据中用于模型训练的数据并进行相应标注。与现有技术相比，本发明通过对待标注数据进行筛选，从中获取数据质量较高的数据再进行标注，从而避免了通过人工方式进行标注时无法判断数据质量，而导致标注的数据中存在部分数据质量较低的问题，进而提高了数据标注的准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据标注的优化方法流程示意图；

图2示出了本发明实施例提供的另一种数据标注的优化方法流程示意图；