[发明专利]一种非结构化数据标记方法、装置、设备及存储介质

说明书

本申请公开了一种非结构化数据标记方法、装置、设备及存储介质，方法包括：通过预置切分技术对目标非结构化数据文件进行切分处理，得到不同的非结构化数据片段和对应的切分位置；根据预置分类卷积神经网络和非结构化数据片段进行分类操作，得到不同的非结构化数据序列；利用预置循环神经网络对非结构化数据序列进行标记，得到目标标记序列，目标标记序列包括目标标签、目标属性和切分位置。缓解了现有技术缺乏针对非结构化数据的统一且标准化处理手段，导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种非结构化数据标记方法、装置、设备及存储介质。

背景技术

在电力安全规程中存在多种多样的数据，按照结构形式划分有结构化数据和非结构化数据。他们有着不同的价值，其中结构化数据容易直接通过统计分析或者作为后续基础数据进行使用，而非结构化数据往往需要进行复杂的预处理，而且需要针对特定应用场景进行不同处理。

目前，存在较为成熟且普适化的处理手段对电力安全规程中的结构化数据进行多种自适应的数据处理，但是对于非结构化数据而言，缺乏系统化，标准化的处理手段，提升非结构化数据描述的准确性，导致后续基于非结构化数据的价值挖掘可靠性较低。

发明内容

本申请提供了一种非结构化数据标记方法、装置、设备及存储介质，用于缓解现有技术缺乏针对非结构化数据的统一且标准化处理手段，导致基于非结构化数据的价值挖掘操作可靠性较低的技术问题。

有鉴于此，本申请第一方面提供了一种非结构化数据标记方法，包括：

通过预置切分技术对目标非结构化数据文件进行切分处理，得到不同的非结构化数据片段和对应的切分位置；

根据预置分类卷积神经网络和所述非结构化数据片段进行分类操作，得到不同的非结构化数据序列；

利用预置循环神经网络对所述非结构化数据序列进行标记，得到目标标记序列，所述目标标记序列包括目标标签、目标属性和所述切分位置。

优选地，所述预置切分技术包括预置分词器、预置图像分割法、预置音频分割法和预置视频分割法；相应的，所述通过预置切分技术对目标非结构化数据文件进行切分处理，得到不同的非结构化数据片段和对应的切分位置，包括：

采用预置分词器对目标非结构化数据文件中的文本内容进行切分，得到文本数据片段和对应的文本片段起始点；

采用预置图像分割法对目标非结构化数据文件中的图像文件进行切分，得到图像数据片段和对应图像矩形框的关键坐标点；

采用预置音频分割法对目标非结构化数据文件中的音频内容进行切分，得到音频数据片段和对应的音频片段起始点；

采用预置视频分割法对目标非结构化数据文件中的视频内容进行切分，得到视频数据片段和对应的视频片段起始点；

所述切分位置包括所述文本片段起始点、所述图像矩形框的关键坐标点、所述音频片段起始点和所述视频片段起始点。

优选地，所述通过预置切分技术对目标非结构化数据文件进行切分处理，得到不同的非结构化数据片段和对应的切分位置，之前还包括：

对所述目标非结构化数据文件进行预处理操作，所述预处理操作包括去噪处理和去冗余数据处理。

优选地，所述预置分类卷积神经网络的配置过程为：

将切分处理后的历史非结构化数据文件输入预置初始卷积神经网络中进行预训练；

采用预置测试集进行测试操作，并将测试准确率符合预置条件的所述预置初始卷积神经网络作为预置分类卷积神经网络。

本申请第二方面提供了一种非结构化数据标记装置，包括：