[发明专利]基于搜索引擎数据库的样本自动挖掘方法及装置

说明书

本发明公开了一种基于搜索引擎数据库的样本自动挖掘方法及装置。其中方法包括：获取已标注域名集合，所述已标注域名集合中包含多个已标注类目的第一域名；在所述搜索引擎数据库中查询每个第一域名对应的搜索词，对搜索词的类目进行标注，得到已标注搜索词集合；在搜索引擎数据库中查找每个已标注类目的搜索词对应的未标注类目的第二域名，对第二域名的类目进行标注，并将标注完成的第二域名添加到所述已标注域名集合中。本方案通过较为精确的扩展策略完成更丰富的host的挖掘，使得host的标注质量较高，较好的改善了文本分类问题中常见的样本标注的数量问题和质量问题。

技术领域

本发明涉及互联网技术领域，具体涉及一种基于搜索引擎数据库的样本自动挖掘方法及装置。

背景技术

数据挖掘领域里，文本分类是常用的技术手段，广泛应用于用户兴趣分类、人口统计属性建模、垃圾邮件识别等场景。作为典型的有监督学习方法，文本分类的质量高度依赖于标注样本的质量。而传统的样本标注通过人工方式来完成，成本高，主观性强，不利于标注样本的收集，从而影响到文本分类的质量和效率。

现有技术提供了一种基于点击协同的方式，用以完成样本的自动挖掘。其原理是人工标注点击域名(host)的分类，然后在点击host与文本之间建立起对应关系，通过待标注文本与标注host之间的协同关系，完成文本的自动标注过程。由于待标注的host通常较少，而文本则较多，所以通过这种方案能够在一定程度上缓解标注样本的工作量。但是，host本身仍然需要人工标注，所以本方案的可扩展性不高。

现有技术还提供了一种基于伪相关反馈的样本挖掘策略。该方案中，首先为每个类目人工选取一定数量的种子词，然后将这些种子词送入搜索引擎，从搜索引擎的返回结果中提取排名靠前的部分中提取出高权重词语，作为种子词的扩充，再送入搜索引擎，这些扩充后的种子词以及搜索结果中排名靠前的文本即作为标注样本。在该方案中，种子词的扩充容易往往在扩充过程中会引入概念飘移，最终会影响到自动挖掘出的标注样本的质量。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于搜索引擎数据库的样本自动挖掘方法及装置。

根据本发明的一个方面，提供了一种基于搜索引擎数据库的样本自动挖掘方法，所述搜索引擎数据库中存储有搜索词与域名之间的多对多的对应关系，所述搜索词对应的域名是指该搜索词的搜索结果中所有被用户点击的网页的域名；

所述方法包括：

获取已标注域名集合，所述已标注域名集合中包含多个已标注类目的第一域名；

在所述搜索引擎数据库中查询每个第一域名对应的搜索词，对搜索词的类目进行标注，得到已标注搜索词集合；

在搜索引擎数据库中查找每个已标注类目的搜索词对应的未标注类目的第二域名，对第二域名的类目进行标注，并将标注完成的第二域名添加到所述已标注域名集合中。

根据本发明的另一方面，提供了一种基于搜索引擎数据库的样本自动挖掘装置，包括：

搜索引擎数据库，适于存储有搜索词与域名之间的多对多的对应关系，所述搜索词对应的域名是指该搜索词的搜索结果中所有被用户点击的网页的域名；

第一域名标注模块，适于获取已标注域名集合，所述已标注域名集合中包含多个已标注类目的第一域名；

搜索词标注模块，适于在所述搜索引擎数据库中查询每个第一域名对应的搜索词，对搜索词的类目进行标注，得到已标注搜索词集合；

第二域名标注模块，适于在搜索引擎数据库中查找每个已标注类目的搜索词对应的未标注类目的第二域名，对第二域名的类目进行标注，并将标注完成的第二域名添加到所述已标注域名集合中。