[发明专利]智能化的数据优化方法、装置及计算机可读存储介质

说明书

本发明涉及人工智能技术，揭露了一种智能化的数据优化方法，包括：接收用户输入的数据优化指令，从大数据存储平台中提取原始数据集，对所述原始数据集进行去异常处理得到标准数据集，将所述标准数据集进行灰色预测得到统计信息集，计算所述统计信息集的代价值得到成本数据集，剔除所述成本数据集内大于或等于预设成本阈值的数据，得到优化成本数据集，将所述优化成本数据集进行数据范围修改操作得到最优数据集，将所述最优数据集存储至所述大数据存储平台内，完成数据优化操作。本发明还提出一种智能化的数据优化装置以及一种计算机可读存储介质。本发明可以实现高效的智能化的数据优化功能。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种智能化的数据优化的方法、装置及计算机可读存储介质。

背景技术

目前对于数据优化，多依赖人工经验和大数据优化模型如Hadoop等，但人工经验难以根据公司的数据情况积累科学地优化模型，换言之说，缺乏一个自动优化机制和优化模型，帮助开发者更快的完成数据优化，而大数据优化模型因为需要超强的数据扩展的硬件能力以及非结构化数据支持，综合来说对硬件要求高，因此，一种性价比高的数据优化方法急需解决。

发明内容

本发明提供一种智能化的数据优化方法、装置及计算机可读存储介质，其主要目的在于根据用户优化要求而进行智能化的数据优化。

为实现上述目的，本发明提供的一种智能化的数据优化方法，包括：

接收用户输入的数据优化指令，从大数据存储平台中提取原始数据集，对所述原始数据集进行去异常处理得到标准数据集；

将所述标准数据集进行灰色预测得到统计信息集；

计算所述统计信息集的代价值得到成本数据集；

剔除所述成本数据集内大于或等于预设成本阈值的数据，得到优化成本数据集；

将所述优化成本数据集进行数据范围修改操作得到最优数据集，将所述最优数据集存储至所述大数据存储平台内，完成数据优化操作。

可选地，所述去异常处理包括双边测试剔除处理和单边测试剔除处理，所述单边测试剔除处理包括最小值测试剔除处理和最大值测试剔除处理；

其中，所述双边测试剔除处理的计算方法为:

其中，i是正整数，表示所述原始数据集的平均值，S表示所述原始数据集的标准差，Y_i表示所述原始数据集内的数据，G₁为所述双边测试剔除处理的值。

所述最小值测试剔除处理的计算方法为：

G₂为所述最小值测试剔除处理后的值；

所述最大值测试剔除处理的计算方法为：

G₃为所述最大值测试剔除处理后的值。

可选地，将所述标准数据集进行灰色预测得到统计信息集，包括：

对所述标准数据集根据抽样统计方法统计历史数据得到历史数据集；

相加所述历史数据集和所述标准数据集得到总数据集；

根据所述总数据集建立微分方程，求解所述微分方程得到统计信息集。

可选地，所述微分方程为：

其中，X⁽²⁾表示所述总数据集，s为所述总数据集的数据编号，a为所述微分方程的制约因子，u为所述微分方程的目标值。