[发明专利]一种训练数据的方法、装置及存储介质

说明书

一种训练数据的方法、装置及存储介质，该方法包括获取待处理的语料集合；从语料集合中提取实体集合，从实体集合中提取候选上位词集合；将实体集合中的实体分别与候选上位词集合中的各上位词组合，得到候选对集合，候选对集合包括多个候选对，候选对是指具备关联关系的实体与上位词的组合；将候选对、每个与候选对关联的语句分别构造为一份预测数据，以及对预测数据中与候选对关联的语句进行泛化处理；对各候选对所关联的语句分别进行分词处理，得到词语集合；对词语集合中的各词语输入泛化处理层进行转换，得到向量集合；根据预测数据和长短期记忆人工神经网络LSTM对所述向量集合进行训练和预测。通过采用该方案，能够提高训练数据的效率。

技术领域

本申请涉及大数据处理技术领域，尤其涉及一种训练数据的方法、装置及存储介质。

背景技术

在时间递归神经网络技术领域，一般采用长短期记忆人工神经网络(英文全称：long-short term memory，英文简称：LSTM)处理、预测时间序列中间隔长、延迟长的重要事件。在使用LSTM预测之前，需要从语料集合中挖掘上位词，并将问题转换成分类问题，即给定一个候选实体-上位词对，预测该候选实体-上位词对是不是真正的实体-上位词对。在预测方法上，一般都是分词处理、提取特征，然后使用传统分类器来对候选实体-上位词进行分类。但这种方式对领域知识要求较高，且最终分类的的结果可能不具有泛化性，其所能预测的范围较小。

目前主要基于深度学习的方法对候选实体-上位词进行分类，自动从语料集合中提取特征和生成批量的训练数据，基于批量的训练数据进行预测，能够提高分类的性能，但是由于深度网络很复杂，外加命名实体数量的增加，需要生成更多的训练数据，生成大量的训练数据所耗费时间较长，并且效率较低。

发明内容

本申请提供了一种训练数据的方法、装置及存储介质，能够解决现有技术中训练数据的效率较低的问题。

本申请第一方面提供一种训练数据的方法，所述方法包括：

获取待处理的语料集合；

从所述语料集合中提取实体集合，所述实体集合包括多个命名的实体；

从所述实体集合中提取候选上位词集合；

将所述实体集合中的实体分别与所述候选上位词集合中的各上位词组合，得到候选对集合，所述候选对集合包括多个候选对，所述候选对是指具备关联关系的实体与上位词的组合；

将候选对、每个与候选对关联的语句分别构造为一份预测数据，以及对预测数据中与候选对关联的语句进行泛化处理；

对各候选对所关联的语句分别进行分词处理，得到词语集合；

对所述词语集合中的各词语输入泛化处理层进行转换，得到向量集合；

根据所述预测数据和长短期记忆人工神经网络LSTM对所述向量集合进行训练和预测。

本申请第二方面提供一种用于训练数据的装置，具有实现对应于上述第一方面提供的训练数据的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一种可能的设计中，所述装置包括：

获取模块，用于获取待处理的语料集合；

处理模块，用于从所述语料集合中提取实体集合，所述实体集合包括多个命名的实体；

从所述实体集合中提取候选上位词集合；

将所述实体集合中的实体分别与所述候选上位词集合中的各上位词组合，得到候选对集合，所述候选对集合包括多个候选对，所述候选对是指具备关联关系的实体与上位词的组合；