[发明专利]一种数据分析引擎的数据探索方法及系统

说明书

本发明涉及一种数据分析引擎的数据探索方法及系统，其方法包括，采集外部大数据并对外部大数据进行清理和结构化处理，得到结构化数据集；对结构化数据集中的结构化数据进行特征化，得到每个结构化数据的特征值，并形成特征值集合；基于深度学习数据模型对特征值集合进行数据探索，得到数据探索结果。本发明在数据采集阶段先进行一次数据清洗，然后在数据特征阶段又进行一次数据过滤，将无法进行数据探索的无用数据排除，避免无用数据占据数据探索时间，提高数据探索效率；在数据探索之前，先进行数据结构化，再进行数据特征化，使得数据特征容易识别，利用反向探索使正向探索的权值收敛，增加数据探索的精度。

技术领域

本发明涉及数据探索领域，具体涉及一种数据分析引擎的数据探索方法及系统。

背景技术

数据探索一般指探索性数据分析。随着大数据的发展，数据分析的难度和复杂度在不断增加。丰富的数据量蕴含着大量的宝贵信息，但这样的数据需要复杂的统计分析探索，才能从中提取到有意义的结果。现有的数据探索方法过于保守，导致数据探索的精度差强人意，且面对大量的数据，其探索效率也无法满足现实要求。

发明内容

本发明所要解决的技术问题是提供一种数据分析引擎的数据探索方法及系统，可以提供数据探索效率和数据探索精度。

本发明解决上述技术问题的技术方案如下：一种数据分析引擎的数据探索方法，包括以下步骤，

S1，采集外部大数据并对所述外部大数据进行清理和结构化处理，得到结构化数据集；

S2，对所述结构化数据集中的结构化数据进行特征化，得到每个结构化数据的特征值，并形成特征值集合；

S3，基于深度学习数据模型对所述特征值集合进行数据探索，得到数据探索结果。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，在所述S1中，采用数据爬虫采集所述外部大数据并对所述外部大数据进行清理和结构化处理，所述数据爬虫内镶嵌有数据爬取组件、数据清理组件和数据结构化组件；所述S1具体为，利用所述数据爬取组件采集外部大数据，并利用所述数据清理组件清理所述外部大数据，且利用数据结构化组件对清理后的所述外部大数据进行结构化，得到结构化数据集。

进一步，所述结构化数据集中的每个结构化数据均包括X、Y和Z三个维度的结构特征；所述S2具体为，

S21，基于预设的特征化粒度计算所述结构化数据X、Y和Z三个维度的结构特征分别对应的特征化驱动值；

S22，根据所述结构化数据X、Y和Z三个维度的结构特征分别对应的特征化驱动值对所述结构化数据X、Y和Z三个维度的结构特征进行正向特征化，得到所述结构化数据X、Y和Z三个维度的第一特征值；根据所述结构化数据X、Y和Z三个维度的结构特征分别对应的特征化驱动值对所述结构化数据X、Y和Z三个维度的结构特征进行反向特征化，得到所述结构化数据X、Y和Z三个维度的第二特征值；

S23，判断所述第一特征值与所述第二特征值在X、Y和Z三个维度是否对应匹配；若匹配，则将所述第一特征值与所述第二特征值在X、Y和Z三个维度上的平均值作为所述结构化数据在X、Y和Z三个维度的最终特征值；若不匹配，则将所述结构化数据过滤掉。

进一步，所述深度学习数据模型具体为卷积神经网络模型；所述S3具体为，

S31，将所述结构化数据在X、Y和Z三个维度的最终特征值输入到所述卷积神经网络模型中，并在正卷积和反卷积处理的过程中依据探索权值进行正向探索，输出一维正向探索向量；

S32，将所述一维正向探索向量与预设正向探索向量进行作差处理，计算出正向探索损失向量；