[发明专利]一种数据标签的挖掘方法及系统

说明书

【技术领域】

本发明涉及互联网应用领域，尤其涉及一种数据标签的挖掘方法及系统。

【背景技术】

目前，主要有以下两种数据标签的挖掘方法：

第一种标注方法是人工构建数据标签体系，通过制定两个数据标签的上下位关系达到描述数据标签体系的效果，例如，人工标注以下具有上下位关系的数据标签：

美食

美食，餐馆

美食，餐馆，中餐馆

美食，餐馆，西餐馆

美食，小吃

美食，酒吧

其中，每一行数据标签都描述了一组数据标签之间的上下位关系。

第二种标注方法是网络构建数据标签系统，由互联网网站对互联网页面进行分类索引，例如大众点评之类的垂直网站会有以下文本：

北京餐厅→朝阳区→朝外大街→自助餐→水木锦堂铁板烧自助餐厅（朝外店）

上述文本实际上包含了数据标签之间的上下位关系，通过分析这样的文本就可以构建数据标签体系，例如该文本可以得到“餐厅，自助餐”这样一个数据标签的上下位关系。

其中，第一种人工构建数据标签体系的方法由于需要人工构建，还需要确保上下位关系的准确性，因此带来很大的工作量，人力成本很高，因此人工构建的数据标签体系中数据标签数量较少，数据标签之间上下位关系比较简单，导致人工构建结果无法覆盖大部分数据标签，从而无法实现数据标签的推理和校验。第二种网络构建数据标签系统虽然是自动构建数据标签体系，但是数据标签之间上下位关系的准确率较低，构建结果无法用于推理和校验。

【发明内容】

本发明提供了一种数据标签的挖掘方法及系统，实现数据标签的层次化挖掘，提高挖掘出数据标签的上下位关系的准确性。

本发明的具体技术方案如下：

根据本发明一优选实施例，一种数据标签的挖掘方法，包括：

统计预先从互联网中获得的开放数据标签和预先构建的基础数据标签体系中基础数据标签的出现次数，并统计所述开放数据标签与基础数据标签的共现次数；

利用统计的出现次数和共现次数获得置信度，当共现次数大于预设第一阈值时或所述置信度大于预设第二阈值时或所述置信度大于平均置信度与置信度标准差的和值时，将所述开放数据标签作为所述基础数据标签的特征标签添加到基础数据标签体系。

上述方法中，构建基础数据标签体系的方法为：

依据预先对网页标注时所标示出的tab页和标签，获得网页中tab页和标签的位置；依据标签的位置从互联网网页中获得数据标签，并利用地点词库对获得的数据标签进行筛选；依据tab页的位置从互联网网页中提取tab页，依据所述tab页中数据标签的先后顺序获得数据标签之间的上下位关系；

依据预设的数据标签体系以及从互联网网页中获得的数据标签之间的上下位关系对数据标签进行组合，得到数据标签序列，利用得到的数据标签序列组成基础数据标签体系。

上述方法中，从互联网中获得的开放数据标签的方法为：

依据预先进行网页的标注时所标示出的短文本，获得互联网网页中短文本的位置，依据所述位置从互联网网页中获得短文本；

对从互联网网页中获得的短文本进行分词处理，统计分词处理后每个词语在所有互联网网页中的出现次数，依据预设的过滤阈值从所述词语中过滤掉低频词，得到开放数据标签。

上述方法中，该方法还包括：依据所述开放数据标签的获取位置对所述开放数据标签进行分类，并在数据标签体系中保存所述开放数据标签及对应的类型。

上述方法中，所述置信度等于开放数据标签和基础数据标签的共现次数除以所述开放数据标签的出现次数。

上述方法中，所述平均置信度等于与所述开放数据标签共现的基础数据标签的置信度的和值除以与所述开放数据标签共现的基础数据标签的总数。

上述方法中，所述置信度标准差利用如下公式获得：