[发明专利]一种流式数据形成混淆矩阵的方法、设备及介质

说明书

本发明涉及流式数据形成混淆矩阵的方法、设备及介质，方法包括：接收流式数据，并将流式数据中的无效数据滤除；将滤除除后的数据中的标签列和预测列的数据类型进行统一，得到用于生成映射函数的数据；将所述用于生成映射函数的数据进行值映射，以生成混淆矩阵。本发明实施例通过将流式数据输入模型评估阶段之前，先将流式数据中的无效数据滤除，统一数据类型，提高了混淆矩阵的准确性，进而提高了模型评估的准确性。

技术领域

本发明涉及大数据、人工智能技术领域，特别涉及一种流式数据形成混淆矩阵的方法、设备及介质。

背景技术

随着科技的发展，AI人工智能越来越走进人们的生活。尤其是企业对数据的潜在价值的挖掘获益更加凸显了大数据与人工智能的特殊优势。AI是机器学习算法将海量数据处理后形成一个模型最终适应场景的一个过程，作为AI的实现主体，机器学习算法，在企业中的使用将越发普及。机器学习的价值取决于特征工程做得好不好，特征工程主要包括数据预处理、特征抽取、数据建模、模型评估等等。在进行算法的特征工程的模型评估阶段，需要生成矩阵，而生成生成矩阵需要一次性给出全部的数据，根据全部的数据确定矩阵的行和列，进而将数据元素根据坐标迁入矩阵。如果不能生成矩阵，模型的评价参数将无法给出，对于训练模型的优劣将无从知晓，模型的价值无法衡量。

发明内容

本发明旨在至少在一定程度上解决上述问题。

本发明实施例的第一方面提供了一种流式数据形成混淆矩阵的方法，包括：

接收流式数据，并将流式数据中的无效数据滤除；

将滤除除后的数据中的标签列和预测列的数据类型进行统一，得到用于生成映射函数的数据；

将所述用于生成映射函数的数据进行值映射，以生成混淆矩阵。

本发明示例通过将流式数据输入模型评估阶段之前，先将流式数据中的无效数据滤除，统一数据类型，提高了混淆矩阵的准确性，进而提高了模型检测的准确性。

在一个示例中，所述将所述用于生成映射函数的数据进行值映射，以生成混淆矩阵，包括：

确定字典中是否有所述生成映射函数的数据的映射值，若否，则在所述字典中更新所述映射值，并通过更新后的字典生成混淆矩阵。

本发明示例充分利用的数据类型变化的特性，通过字典的方式进行映射。

在一个示例中，所述则在所述字典中更新所述映射值，并通过更新后的字典生成混淆矩阵，包括：

判断所述映射值的数量是否大于矩阵阶数，若大于矩阵阶数，则进行矩阵扩容，以生成混淆矩阵。

在一个示例中，将所述用于生成映射函数的数据进行值映射，以生成混淆矩阵，包括：

通过所述用于生成映射函数的数据更新矩阵，并在所述流式数据停止输入后生成行标签和列标签，生成混淆矩阵。

在一个示例中，所述在所述流式数据停止输入后生成行标签和列标签，生成混淆矩阵，包括：

将在所述流式数据停止输入后的矩阵进行扩容，添加行和列，以在该矩阵中生成行标签和列标签，生成混淆矩阵。

在一个示例中，所述将滤除除后的数据中的标签列和预测列的数据类型进行统一，得到用于生成映射函数的数据，包括：

确定所述标签列和所述预测列包括的数据内容；

将所述标签列和所述预测列分别转换为中间数据类型，再将所述中间数据类型转换为最终数据类型，其中，所述最终数据类型是所述用于生成映射函数的数据。

本发明示例通过对标签列和预测列的数据类型进行统一，极大的提高了混淆矩阵的准确性。