[发明专利]异常数据的检测方法、系统、介质及终端在审
| 申请号: | 202011391190.6 | 申请日: | 2020-12-01 |
| 公开(公告)号: | CN114579391A | 公开(公告)日: | 2022-06-03 |
| 发明(设计)人: | 宁岩;赵大鹏;封雨 | 申请(专利权)人: | 上海宽带技术及应用工程研究中心;迪莲娜(上海)大数据服务有限公司 |
| 主分类号: | G06F11/30 | 分类号: | G06F11/30;G06K9/62 |
| 代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 徐秋平 |
| 地址: | 201201 上海市浦*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 异常 数据 检测 方法 系统 介质 终端 | ||
本发明提供一种异常数据的检测方法、系统、介质及终端;所述方法包括以下步骤:根据传感器组采集的历史数据,获取正常数据簇和异常数据簇;获取待检测时刻,传感器组采集的待检测数据;对待检测数据进行预处理,以获取待检测时刻对应待检测数据的待检测向量;将待检测向量输入至向量嵌入工具中,获取一待检测的可视化簇点;根据待检测的可视化簇点与正常数据簇和异常数据簇之间的距离,检测出待检测数据是否为异常数据;本发明通过向量嵌入技术处理多种传感器数据,识别信号之间的关联关系,进而提取出异常数据的模式和规律,实现在实际场景中,对传感器数据进行实时监控,从而准确地检测到异常数据,保证了异常数据检测的准确可靠性。
技术领域
本发明属于异常数据检测技术领域,特别是涉及一种异常数据的检测方法、系统、介质及终端。
背景技术
在IoT(Internet of Things,物联网)数据感知场景中,通常需要采集大量传感器的系列数据进行使用场景中设备运行状态的感知,这其中特别关注的是如何在庞大繁杂的传感器数据流中,检测到异常的发生,如果能在传感器数据流中及早检测到异常发生的趋势,那对于实际的场景是很有意义的,检测到异常数据的时机越早,造成的损失就越小。
目前,业内主流的异常数据检测方法通常采用以下两种方式:
(1)提高关键位置传感器数据的准确程度,这样可以从单一传感器数据的精确读数上明确当前是正常状态还是非正常状态。
(2)总结归纳异常状态时,相关的多种传感器历史数据呈现的特征或者规律,后续如果监控到传感器数据表现出的模式符合该特征时,就认为异常状态发生或者将要发生了。
对上述异常数据检测的解决办法存在如下的技术问题:
(1)由于传感器的准确度和精度,受制于当前的技术和加工水平,不可能无限制的提高,所以,业内主流的传感器技术水平无法满足能精确识别异常数据的要求,即导致异常数据检测的准确度降低。
(2)异常场景的相关历史数据可能关联多种传感器,并且是按时间顺序的流数据,这种情况下,数据的模式和规律不是特别明确的,牵扯到多种类、多数量的传感器数据,去提取信号模式是一个有巨大工作量的技术难题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种异常数据的检测方法、系统、介质及终端,用于解决现有异常数据检测存在的准确度低、工作量大,难以实现可靠的异常数据检测的问题。
为实现上述目的及其他相关目的,本发明提供一种异常数据的检测方法,包括以下步骤:根据传感器组采集的历史数据,获取正常数据簇和异常数据簇;获取待检测时刻,所述传感器组采集的待检测数据;对所述待检测数据进行预处理,以获取所述待检测时刻对应所述待检测数据的待检测向量;将所述待检测向量输入至向量嵌入工具中,获取一待检测的可视化簇点;根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离,检测出所述待检测数据是否为异常数据。
于本发明的一实施例中,根据传感器组采集的历史数据,获取正常数据簇和异常数据簇包括以下步骤:获取一历史时刻对应的所述历史数据;对所述历史数据进行预处理,以获取所述历史时刻对应所述历史数据的一原始向量;按照时间顺序,将预设时间段内对应每一所述历史时刻的所述原始向量输入至所述向量嵌入工具中,获取至少一所述正常数据簇和至少一所述异常数据簇;所述正常数据簇和所述异常数据簇中均包括至少一可视化簇点,且每一所述可视化簇点对应一所述原始向量。
于本发明的一实施例中,所述传感器组包括至少一传感器;所述待检测数据包括至少一所述传感器采集的目标数据;对所述待检测数据进行预处理,以获取所述待检测时刻对应所述待检测数据的待检测向量包括以下步骤:对每一所述传感器采集的所述目标数据进行字符串化处理,获取对应每一所述传感器的字符串数据,以区分出不同的传感器;对所有的所述传感器对应的所述字符串数据进行向量化处理,获取所述待检测向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海宽带技术及应用工程研究中心;迪莲娜(上海)大数据服务有限公司,未经上海宽带技术及应用工程研究中心;迪莲娜(上海)大数据服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011391190.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:初至拾取方法及装置
- 下一篇:视频处理方法、系统、介质及电子设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





