[发明专利]一种非结构化数据标记方法、装置、设备及存储介质在审
申请号: | 202110571842.2 | 申请日: | 2021-05-25 |
公开(公告)号: | CN113190680A | 公开(公告)日: | 2021-07-30 |
发明(设计)人: | 张文斐;索智鑫;高明;洪慧君;陆宏治;邹时容;宋佳骏 | 申请(专利权)人: | 广东电网有限责任公司广州供电局 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/117;G06K9/34;G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘晓娟 |
地址: | 510630 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 结构 数据 标记 方法 装置 设备 存储 介质 | ||
本申请公开了一种非结构化数据标记方法、装置、设备及存储介质,方法包括:通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置;根据预置分类卷积神经网络和非结构化数据片段进行分类操作,得到不同的非结构化数据序列;利用预置循环神经网络对非结构化数据序列进行标记,得到目标标记序列,目标标记序列包括目标标签、目标属性和切分位置。缓解了现有技术缺乏针对非结构化数据的统一且标准化处理手段,导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。
技术领域
本申请涉及数据处理技术领域,尤其涉及一种非结构化数据标记方法、装置、设备及存储介质。
背景技术
在电力安全规程中存在多种多样的数据,按照结构形式划分有结构化数据和非结构化数据。他们有着不同的价值,其中结构化数据容易直接通过统计分析或者作为后续基础数据进行使用,而非结构化数据往往需要进行复杂的预处理,而且需要针对特定应用场景进行不同处理。
目前,存在较为成熟且普适化的处理手段对电力安全规程中的结构化数据进行多种自适应的数据处理,但是对于非结构化数据而言,缺乏系统化,标准化的处理手段,提升非结构化数据描述的准确性,导致后续基于非结构化数据的价值挖掘可靠性较低。
发明内容
本申请提供了一种非结构化数据标记方法、装置、设备及存储介质,用于缓解现有技术缺乏针对非结构化数据的统一且标准化处理手段,导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。
有鉴于此,本申请第一方面提供了一种非结构化数据标记方法,包括:
通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置;
根据预置分类卷积神经网络和所述非结构化数据片段进行分类操作,得到不同的非结构化数据序列;
利用预置循环神经网络对所述非结构化数据序列进行标记,得到目标标记序列,所述目标标记序列包括目标标签、目标属性和所述切分位置。
优选地,所述预置切分技术包括预置分词器、预置图像分割法、预置音频分割法和预置视频分割法;相应的,所述通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置,包括:
采用预置分词器对目标非结构化数据文件中的文本内容进行切分,得到文本数据片段和对应的文本片段起始点;
采用预置图像分割法对目标非结构化数据文件中的图像文件进行切分,得到图像数据片段和对应图像矩形框的关键坐标点;
采用预置音频分割法对目标非结构化数据文件中的音频内容进行切分,得到音频数据片段和对应的音频片段起始点;
采用预置视频分割法对目标非结构化数据文件中的视频内容进行切分,得到视频数据片段和对应的视频片段起始点;
所述切分位置包括所述文本片段起始点、所述图像矩形框的关键坐标点、所述音频片段起始点和所述视频片段起始点。
优选地,所述通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置,之前还包括:
对所述目标非结构化数据文件进行预处理操作,所述预处理操作包括去噪处理和去冗余数据处理。
优选地,所述预置分类卷积神经网络的配置过程为:
将切分处理后的历史非结构化数据文件输入预置初始卷积神经网络中进行预训练;
采用预置测试集进行测试操作,并将测试准确率符合预置条件的所述预置初始卷积神经网络作为预置分类卷积神经网络。
本申请第二方面提供了一种非结构化数据标记装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司广州供电局,未经广东电网有限责任公司广州供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110571842.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种机器阅读理解方法、装置、设备和存储介质
- 下一篇:一种耐热抗冻式防裂管材
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置