[发明专利]大数据查询方法、装置、电子设备及存储介质

说明书

本发明涉及大数据，提供一种大数据查询方法、装置、设备及存储介质。该方法包括获取历史降雨数据，对历史降雨数据的经纬度进行编码生成坐标编码值；根据历史降雨数据的经纬度范围在数据库中建立区域分表，将含坐标编码值的历史降雨数据存入所述区域分表中，并在区域分表的坐标编码值和降雨时间上建立联合索引；当用户查询输入的经纬度和降雨时间后，通过坐标编码值和查询时间在所述区域分表中进行查询，并将进行可视化处理后的查询结果加载至可视化页面。本发明极大的提升了查询速度，降低了因建立更多字段的联合索引所占用的存储空间，增加了系统的扩展性和查询性能的稳定性。此外，本发明还涉及区块链技术，所述可视化页面可存储于区块链中。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据查询方法、装置、电子设备及存储介质。

背景技术

保险业务员在规划保险方案时，需要及时了解投保标的的历史降雨情况。近70年任意一点逐日降雨数据可视化，可有效的帮助业务员了解投保标的的历史降雨趋势，服务好保险定价，及时做好风险防范。

当前业内获得任意标的地址的历史降雨数据，一方面获取链路和时间比较长，无法根据经纬度在百亿级数据量下秒级可视化展示任意一年内的逐日降雨数据，不能及时响应业务；另一方面一次性导入70年降雨数据耗时较长，建立不合理的索引导致索引所占用的磁盘空间较大，在受限的磁盘存储空间下该问题尤其显著。

发明内容

鉴于以上内容，有必要提供一种大数据查询方法、装置、电子设备及存储介质，用于将经纬度查询转换成字符串的查询，建立联合索引节省磁盘空间，同时根据业务场景，将不同的经纬度分散存储在不同的分表中，增加了系统的扩展性和查询性能的稳定性。

一方面，本发明提出一种大数据查询方法，所述大数据查询方法包括：

获取历史降雨数据；

根据所述历史降雨数据的经纬度范围在数据库中建立区域分表；

对所述历史降雨数据的经纬度进行编码生成坐标编码值；

将含坐标编码值的历史降雨数据存入所述区域分表中；

在所述区域分表的坐标编码值和降雨时间上建立联合索引；

接收用户输入的经纬度和查询时间，通过坐标编码值和查询时间在所述区域分表中进行查询；

对所述查询的查询结果进行可视化处理，并将进行可视化处理后的查询结果加载至可视化页面，以便展示所述查询的查询结果。

根据本发明优选实施例，所述根据所述历史降雨数据的经纬度范围在数据库中建立区域分表包括：

确定历史降雨数据的经纬度范围；

根据历史降雨数据的数据量和存储服务器的性能，确定区域分表的数量；

根据历史降雨数据的经纬度范围和区域分表的数量，确定每个区域分表存放的历史降雨数据经纬度范围。

根据本发明优选实施例，所述将含坐标编码值的历史降雨数据存入所述区域分表中，包括：

解析所述历史降雨数据的经纬度信息；

将解析后的经纬度信息与区域分表的经纬度范围进行匹配，判断存放的区域分表；

将所述历史降雨数据存入对应的区域分表中。

根据本发明优选实施例，所述将所述历史降雨数据存入对应的区域分表中包括：

通过多线程的方式，将所述历史降雨数据先存入到一个批量操作的数组，再批量存入对应的区域分表中。

根据本发明优选实施例，所述在所述区域分表的坐标编码值和降雨时间上建立联合索引包括：