[发明专利]一种融合多源数据的物联网搜索系统、方法及存储介质

说明书

本发明公开了一种融合多源数据的物联网搜索系统、方法及存储介质，系统包括：多源数据接入模块，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；数据存储与分析模块，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；应用服务模块，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端。本发明可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

技术领域

本发明涉及物联网领域，尤其涉及一种融合物联网数据、行业数据和互联网数据等多源数据的物联网搜索系统、方法及存储介质。

背景技术

物联网技术处于快速增长阶段，市场年复合增长率超过30％，物联网设备数量已达百亿级。在物联网设备数量、以高清视频为首的网络带宽需求不断增长的需求背景下，促进了5G技术的不断成熟，2017年，中国移动在广州开通了全国首个5G预商用测试基站。当前，5G的峰值网络速率可达10Gbps级、网络传输速度比4G快10-100倍、网络时延从4G的100毫秒缩短到1毫秒、满足1000亿量级物联网终端设备的网络连接、且网络的每比特能耗降低1000倍。5G从技术上消除百亿级物联网设备数据传输的性能瓶颈，可实现真正意义上的万物无缝互联。

以Google、百度为代表的互联网搜索主要通过采集互联网上网页、文档，通过用户搜索日志来优化搜索结果、通过索引优化搜索性能的方式，为大众用户提供优质高速的静态信息检索服务；物联网具备设备海量、动态性强、实时性要求高等特点，使面向海量物联网设备的搜索仍处于起步阶段，现有的系统只是在物联网设备搜索方面的一些原型系统，如何实现物联网数据的有效搜索，以及和行业数据、互联网数据的融合搜索应用，目前仍未有解决方案。

发明内容

针对上述问题，本发明实施例的目的在于提供一种融合物联网数据、行业数据和互联网数据的物联网搜索系统、方法及存储介质，可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

本发明实施例提供了一种融合多源数据的物联网搜索系统，包括：

多源数据接入模块，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；

数据存储与分析模块，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；

应用服务模块，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

优选地，所述多源数据接入模块包括：

物联网设备开放接入单元，用于通过标准的开放API接口，实现物联网设备、物联网设备所包含的传感器、传感器实时产生的数据的接入；

行业数据归集单元，用于负责多种行业数据的归集，并对归集的数据与源数据进行一致性检查；其中，所述归集支持全量、增量的归集方式；

互联网数据采集单元，用于从互联网采集与物联网搜索相关的互联网数据；其中，数据类型包括静态网页、图片、音频、视频；

数据清洗与归类单元，用于对物联网设备开放接入单元、行业数据归集单元、互联网数据采集单元的数据进行清洗，以纠正数据中可识别的错误，处理无效值和缺失值；然后对清洗后的数据进行归类，将物联网设备产生的动态数据和实时性高的行业级数据归类为实时数据，将实时性不高的行业级数据和互联网数据归类为离线数据；