[发明专利]基于断点法的时空数据指标标定方法及系统

说明书

本发明提供了一种基于断点法的时空指标标定方法及系统，将原始数据按照空间尺度进行分类，得到分类后的数据；将分类后的数据进行预处理，得到预处理后的数据；对预处理后的数据进行统计，绘制分布直方图并生成统计特征；根据统计特征，选择合适的断点法，对预处理后的数据进行标杆值生成，得到标杆值；对分布直方图、统计特征和标杆值进行汇总，从而得到时空数据指标标定的最终结果。本发明能够从已有数据本身出发，自动化地将数据进行分段，并且兼顾各段内部的数据的范围和个数尽量相近。同时，对于呈现重尾分布的数据，能够有效考虑尾部数据低频但量大以至于不可忽略甚至需要缩放的特点，对往往不完全符合理论分布的现实数据具有重要意义。

技术领域

本发明涉及时空数据处理技术领域，具体地，涉及一种基于断点法的时空数据指标标定方法及系统，用于项目量化考评标准的参考辅助与自动生成。

背景技术

随着大数据云计算的快速深入发展，海量数据的获取、结构化存储以及批量处理变为现实。对于海量数据，如何化数为宝，挖掘数据本身存在的有价值信息，对未来各行业的发展和社会的进步有重要的意义。

时空数据是指同时具有时间维度和空间维度的数据，现实世界中的数据绝大多数都与具体的地理位置和时间节点有关。对于海量的时空数据，其必然包括时间、空间、专题属性三维信息。在目前海量数据多源融合的现状下，时空数据可以做到快速更新。

时空数据指标标定，过去往往由专家系统利用其领域知识和个人经验进行人工主观标定，从而对时空数据进行分段量化考评。然而，能否客观地反应数据的分布，或者多大程度地映射了数据的分布，以及能否随着需求的增加和技术的发展做到快速迭代更新，都是人工主观标定的痛点所在。

发明内容

本发明针对当前已经存在的时空数据量化考评标准由人工凭借个人经验主观标定，无法保证量化考评分段能够客观地反应数据本身的分布，并且针对实时产生的海量数据无法及时地根据数据分布对量化考评分段进行更新等问题，提出了一种基于断点法的时空数据指标标定方法及系统。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于断点法的时空数据指标标定方法，包括：

将原始数据按照空间尺度进行分类，得到分类后的数据；

将分类后的数据进行预处理，得到预处理后的数据；

对预处理后的数据进行统计，绘制分布直方图并生成统计特征；

根据统计特征，选择合适的断点法，对预处理后的数据进行标杆值生成，得到标杆值；

对分布直方图、统计特征和标杆值进行汇总，从而得到时空数据指标标定的最终结果。

优选地，所述将原始数据按照空间尺度进行分类，包括：针对包含不同空间信息的时空数据，根据需要选择适当粗细的粒度，按照空间尺度对时空数据进行分类。

优选地，所述将分类后的数据进行预处理预处理，包括：去除重复的数据条目和含有缺失项的数据条目。

优选地，所述统计特征包括：均值、最大值、最小值、不同取值数、唯一值比例、偏度和/或峰度。

优选地，所述对分布直方图、统计特征和标杆值进行汇总，包括：

使用Python的绘图库Matplotlib，以分布直方图为基础，将统计特征以文本形式展示在图表空白处，标杆值以竖直线形式将分布直方图分成几部分，得到时间数据指标标定的考评断点值，即为时空数据指标标定的最终结果。

优选地，根据统计特征，判断数据分布情况；根据数据分布情况，选择断点法如下：

针对近似于正态分布的数据，选取自然断点法对时间数据指标进行自动化分段标定；