[发明专利]一种文化资源实体识别训练数据的自动标注系统及方法

说明书

一种文化资源实体识别训练数据的自动标注方法及系统，该方法首先通过前缀集合构建模块将关键词词典转换为前缀集合；然后通过关键词匹配模块在原始文本中匹配关键词并获得其位置区间信息；再通过区间合并模块解决关键词位置区间包含或者相交的问题以及构造关键词分析信息并写入分析文本；其次通过工具调用模块识别原始文本中的通用实体同时将分析信息写入分析文本；最后通过格式转换模块将原始文本转换为带有标签信息的标注文本。该系统及方法能够显著提高了标注效率，大大降低了错误率以及标注成本。

技术领域

本公开属于计算机、人工智能技术领域，特别涉及一种文化资源实体识别训练数据的自动标注系统及方法。

背景技术

近几年，人工智能技术发展迅速，各行各业都开始融合人工智能技术进行创新和发展。人工智能的核心内容在于它的算法或者说是模型，一个模型往往需要大量的数据来进行模型训练，以此来提高它的智能性。所以数据的格式化标注就是人工智能应用第一阶段的任务。目前的格式化标注方式以人工为主，一种是全人工标注，另一种是在标注工具辅助下的人工标注。不管是哪种标注方式，当遇到大规模的数据需要标注时，按以往的标注方式人工成本将会非常高，而且效率低下，准确度也得不到保证。这是在标注时面临的一大难题。

人工智能技术的目的就是让机器拥有人类的认知能力。人类的认知能力是通过不断的学习得到的，同理机器的认知能力也需要通过不断的学习来获得，而标注好的数据就是机器的学习资料。比如我们想让机器识别“狗”图片，直接拿一张小狗的图片给它，它是没有办法分辨出这是小狗。当我们把大量标注好的“狗”的图片拿给机器，让它进行识别、学习，机器通过提取大量图片的特征并对应到“狗”这个标签上。这时我们再拿一张机器没有见过的图片给它，机器就会根据图片的特征识别出对应的标签。统称为数据集的训练集和测试集是机器学习模型训练的基础，机器学习模型的精确度建立在数据集的规模和标注准确度之上。一个高性能的人工智能应用，除了优质模型之外，还需要高质量的数据集对模型进行训练，数据集的质量越高，模型的精确度就越高，人工智能应用的价值就越高。所以高效的制作高质量的训练集是人工智能的基础。传统的人工标注方式制作训练集效率非常低，尤其在对文本内容进行标注时。

发明内容

为了解决上述问题，本公开提供了一种文化资源实体识别训练数据的自动标注系统，其包括前缀集合构建模块、关键词匹配模块、区间合并模块、工具调用模块和格式转换模块，其中，

前缀集合构建模块通过读入的关键词字典，采用前缀集合构建算法将关键词字典转换为前缀集合；

关键词匹配模块接收所述前缀集合以及原始文本，通过关键词匹配算法将原始文本中的领域关键词识别出来并将其在原始文本中的位置区间记录到信息集中；

区间合并模块接收所述信息集，通过区间合并算法解决关键词区间包含和相交的问题，最终生成新的信息集，并将所述新的信息集中的元素保存到分析文本中；

工具调用模块用于识别文化领域内通用专有名词，并将其添加到所述新的信息集中，并将所述新的信息集中的元素保存到分析文本中；

格式转换模块将所述分析文本和原始文本通过格式转换算法转换为成熟的标注文本。

本公开还提供了一种文化资源实体识别训练数据的自动标注方法，其包括如下步骤：

S100：通过读入的关键词字典，采用前缀集合构建算法将关键词字典转换为前缀集合；

S200：接收所述前缀集合以及原始文本，通过关键词匹配算法将原始文本中的领域关键词识别出来并将其在原始文本中的位置区间记录到信息集中；

S300：接收所述信息集，通过区间合并算法解决关键词区间包含和相交的问题，最终生成新的信息集，并将所述新的信息集中的元素保存到分析文本中；

S400：识别文化领域内通用专有名词，并将其添加到所述新的信息集中，并将所述新的信息集中的元素保存到分析文本中；