[发明专利]一种非结构化数据标记方法、装置、设备及存储介质在审

专利信息
申请号: 202110571842.2 申请日: 2021-05-25
公开(公告)号: CN113190680A 公开(公告)日: 2021-07-30
发明(设计)人: 张文斐;索智鑫;高明;洪慧君;陆宏治;邹时容;宋佳骏 申请(专利权)人: 广东电网有限责任公司广州供电局
主分类号: G06F16/35 分类号: G06F16/35;G06F40/117;G06K9/34;G06N3/04;G06N3/08
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 刘晓娟
地址: 510630 广*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 结构 数据 标记 方法 装置 设备 存储 介质
【说明书】:

本申请公开了一种非结构化数据标记方法、装置、设备及存储介质,方法包括:通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置;根据预置分类卷积神经网络和非结构化数据片段进行分类操作,得到不同的非结构化数据序列;利用预置循环神经网络对非结构化数据序列进行标记,得到目标标记序列,目标标记序列包括目标标签、目标属性和切分位置。缓解了现有技术缺乏针对非结构化数据的统一且标准化处理手段,导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。

技术领域

本申请涉及数据处理技术领域,尤其涉及一种非结构化数据标记方法、装置、设备及存储介质。

背景技术

在电力安全规程中存在多种多样的数据,按照结构形式划分有结构化数据和非结构化数据。他们有着不同的价值,其中结构化数据容易直接通过统计分析或者作为后续基础数据进行使用,而非结构化数据往往需要进行复杂的预处理,而且需要针对特定应用场景进行不同处理。

目前,存在较为成熟且普适化的处理手段对电力安全规程中的结构化数据进行多种自适应的数据处理,但是对于非结构化数据而言,缺乏系统化,标准化的处理手段,提升非结构化数据描述的准确性,导致后续基于非结构化数据的价值挖掘可靠性较低。

发明内容

本申请提供了一种非结构化数据标记方法、装置、设备及存储介质,用于缓解现有技术缺乏针对非结构化数据的统一且标准化处理手段,导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。

有鉴于此,本申请第一方面提供了一种非结构化数据标记方法,包括:

通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置;

根据预置分类卷积神经网络和所述非结构化数据片段进行分类操作,得到不同的非结构化数据序列;

利用预置循环神经网络对所述非结构化数据序列进行标记,得到目标标记序列,所述目标标记序列包括目标标签、目标属性和所述切分位置。

优选地,所述预置切分技术包括预置分词器、预置图像分割法、预置音频分割法和预置视频分割法;相应的,所述通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置,包括:

采用预置分词器对目标非结构化数据文件中的文本内容进行切分,得到文本数据片段和对应的文本片段起始点;

采用预置图像分割法对目标非结构化数据文件中的图像文件进行切分,得到图像数据片段和对应图像矩形框的关键坐标点;

采用预置音频分割法对目标非结构化数据文件中的音频内容进行切分,得到音频数据片段和对应的音频片段起始点;

采用预置视频分割法对目标非结构化数据文件中的视频内容进行切分,得到视频数据片段和对应的视频片段起始点;

所述切分位置包括所述文本片段起始点、所述图像矩形框的关键坐标点、所述音频片段起始点和所述视频片段起始点。

优选地,所述通过预置切分技术对目标非结构化数据文件进行切分处理,得到不同的非结构化数据片段和对应的切分位置,之前还包括:

对所述目标非结构化数据文件进行预处理操作,所述预处理操作包括去噪处理和去冗余数据处理。

优选地,所述预置分类卷积神经网络的配置过程为:

将切分处理后的历史非结构化数据文件输入预置初始卷积神经网络中进行预训练;

采用预置测试集进行测试操作,并将测试准确率符合预置条件的所述预置初始卷积神经网络作为预置分类卷积神经网络。

本申请第二方面提供了一种非结构化数据标记装置,包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司广州供电局,未经广东电网有限责任公司广州供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110571842.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top