[发明专利]一种融合多源数据的物联网搜索系统、方法及存储介质有效
| 申请号: | 201810851757.X | 申请日: | 2018-07-26 |
| 公开(公告)号: | CN109033387B | 公开(公告)日: | 2021-09-24 |
| 发明(设计)人: | 殷丽华;方滨兴;刘祥涛;李超;田志宏;崔翔 | 申请(专利权)人: | 广州大学 |
| 主分类号: | G06F16/24 | 分类号: | G06F16/24;G06F16/25 |
| 代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 颜希文;宋静娜 |
| 地址: | 510000 广东省广*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 融合 数据 联网 搜索 系统 方法 存储 介质 | ||
1.一种融合多源数据的物联网搜索系统,其特征在于,包括:
多源数据接入模块,用于实现多源数据的接入、清洗、分类与入库;其中,所述多源数据包括物联网设备数据、行业级数据以及互联网数据;所述多源数据接入模块包括:
物联网设备开放接入单元,用于通过标准的开放API接口,实现物联网设备、物联网设备所包含的传感器、传感器实时产生的数据的接入;
行业数据归集单元,用于负责多种行业数据的归集,并对归集的数据与源数据进行一致性检查;其中,所述归集支持全量、增量的归集方式;
互联网数据采集单元,用于从互联网采集与物联网搜索相关的互联网数据;其中,数据类型包括静态网页、图片、音频、视频;
数据清洗与归类单元,用于对物联网设备开放接入单元、行业数据归集单元、互联网数据采集单元的数据进行清洗,以纠正数据中可识别的错误,处理无效值和缺失值,并对清洗后的数据进行归类,将物联网设备产生的动态数据和实时性高的行业级数据归类为实时数据,将实时性不高的行业级数据和互联网数据归类为离线数据;
数据入库单元,用于将实时数据写入到实时数据库,将离线数据写入到离线数据库;
数据存储与分析模块,用于实现多源数据区分存储,对各个数据库内的数据进行融合分析、索引建立,并提供数据搜索以及搜索结果排序过滤服务;
应用服务模块,用于接收用户通过用户终端发起的搜索请求,并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端;其中,所述搜索结果基于启发式自动发现模型获得,所述启发式自动发现模型具有不断迭代优化的功能。
2.根据权利要求1所述的融合多源数据的物联网搜索系统,其特征在于,所述行业数据归集单元具体用于,采用对增量数据推、存量数据拉的方式进行行业数据归集,并通过数据对账确保数据同步的一致性,确保新产生的行业数据的及时同步,同时具备在发生逻辑错误时通过全量同步的方式来恢复。
3.根据权利要求1所述的融合多源数据的物联网搜索系统,其特征在于,所述数据存储与分析模块包括:
融合分析单元,用于负责海量多源异构数据的关联分析,基于实时数据库和离线数据库,运用机器学习技术,基于人类的先验知识和边界条件,建立启发式信息自动发现模型,以通过建立的启发式信息自动发现模型自动发现数据新模式,实现数据融合智能;
多维索引单元,用于从时间、空间、常用查询字段多个维度为实时数据库以及离线数据库建立索引,以提供检索;
检索服务单元,用于接收应用服务模块发送的搜索请求,从所述搜索请求中提取搜索关键词,进行分词处理,以从实时数据库以及离线数据库内获取匹配搜索关键词的搜索结果;
排序过滤单元,用于对所述搜索结果进行排序与过滤,并将排序过滤后的搜索结果发送给应用服务模块。
4.根据权利要求3所述的融合多源数据的物联网搜索系统,其特征在于,所述启发式信息自动发现模型包括神经网络框架、神经网络模型、启发式规则配置模块、结果反馈模块,其中:
所述神经网络框架,为用于建立神经网络模型的基础框架;
所述神经网络模型,通过基于建立神经网络模型的基础框架以及知识发现的用途建立形成;
所述启发式规则配置模块,用于接收用户的规则配置输入,对神经网络模型进行启发式规则配置;
所述结果反馈模块,用于将每次输出的结果反馈给模型神经网络模型,实现模型优化。
5.根据权利要求3所述的融合多源数据的物联网搜索系统,其特征在于,所述应用服务模块包括:
行为数据入库单元,用于获取用户在使用用户终端的过程中产生的用户行为数据,将所述用户行为数据发送给数据存储与分析模块,以实现数据入库;
系统配置单元,用于负责为用户终端提供系统配置功能,从而使用户进行定制化配置;
运营管理单元,用于负责为系统管理员提供运营管理功能,包括系统负载、用户在线数、数据查询并发数、用户平均响应时延;
数据查询接口单元,用于负责为用户终端提供数据查询接口,以通过所述数据查询接口接收搜索请求,将所述搜索请求发送给数据存储与分析模块或者通过所述数据查询接口接收数据存储与分析模块返回的搜索结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州大学,未经广州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810851757.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





