[发明专利]用于生成主题模型的技术

说明书

在一些示例中，一种用于生成主题模型的系统，包括处理器，该处理器可处理文档集以生成训练数据，其中，该文档集中的每个文档与一个或多个用户相关联。处理器还可使用训练数据生成多个主题模型，使得每个主题模型包括不同数量的主题。处理器还可基于训练数据中包括的有关与文档相关联的用户的信息，对每个主题模型生成评估分数。评估分数描述展示来自指定数量的用户的指定兴趣级别的主题的百分比。处理器还可基于评估分数来确认最终主题模型，并存储最终主题模型以在自然语言处理中使用。

技术领域

本公开涉及用于生成在自然语言处理中使用的主题模型的技术。

发明内容

根据本文所述的实施例，一种用于生成主题模型的系统包括处理器，该处理器可处理文档集以生成训练数据。该文档集中的每个文档与一个或多个用户相关联。处理器还可使用训练数据生成多个主题模型，以使得每个主题模型包括不同数量的主题。处理器还可基于训练数据中包括的有关与文档相关联的用户的信息，对每个主题模型生成评估分数。评估分数描述展示来自指定数量的用户的指定兴趣级别的主题的百分比。处理器还可基于评估分数来确认(identify)最终主题模型，并存储最终主题模型以在自然语言处理中使用。

在一些实施例中，一种生成主题模型的方法，包括：处理文档集以生成训练数据；以及从初始数量的主题开始，以迭代的方式从训练数据中生成主题模型，并在每次迭代后针对该主题模型计算用户参考的标准。可针对下一次迭代增加主题数量，直到用户参考的标准满足阈值。用户参考的标准描述展示来自指定数量的用户的指定兴趣级别的主题的百分比。该方法还包括存储主题模型以在自然语言处理中使用。

在又一个实施例中，一种用于生成主题模型的计算机程序产品可包括计算机可读存储介质，该计算机可读存储介质中体现有程序指令，该计算机可读存储介质不是暂时信号本身。程序指令可由处理器执行，以使处理器处理文档集以生成训练数据，其中，该文档集中的每个文档与一个或多个用户相关联。另外，程序指令可被执行以使处理器使用训练数据来生成多个主题模型，其中，每个主题模型包括不同数量的主题。此外，程序指令可被执行以使处理器基于在训练数据中包括的有关与文档相关联的用户的信息，对多个主题模型中的每个主题模型生成用户参考的标准，其中，评估分数描述展示来自指定数量的用户的指定兴趣级别的主题的百分比。程序指令可被执行以使处理器基于该用户参考的标准来确认最终主题模型，并存储最终主题模型以在自然语言处理中使用。

附图说明

图1描绘了根据本文描述的实施例的可生成主题模型的示例计算系统的框图；

图2是根据本文描述的实施例的生成主题模型的示例方法的过程流程图；

图3是根据本文描述的实施例的可生成主题模型的有形的非暂时性计算机可读介质；

图4描绘了根据本文描述的实施例的说明性云计算环境；以及

图5描绘了根据本文描述的实施例的由云计算环境提供的功能抽象层集。

具体实施方式

与自然语言处理有关的机器学习技术可分析和处理自然语言数据，诸如出现在文档语料库中的术语，例如单词、短语和数字。机器学习技术可使用统计推断从自然语言数据中标识启发式规则。许多自然语言处理技术依赖于主题模型的使用，该主题模型描述了在文档正文中出现的抽象概念集。可通过处理文档语料库来生成主题模型以提取术语以及这些术语出现在每个文档中的频率。可对数据进行处理以基于每个文档中使用的术语的相似性对文档进行分组，然后基于某些单词在相似文档集中出现的频率对术语进行分组。然后，术语的每个分组与该主题模型中的主题相关联。因此，该主题模型中的每个主题包括被认为与特定主题相关的术语集合。另外，每个主题的每个术语可具有关联的分布分数。下表1中示出了简化主题模型的示例。应当理解，实际的主题模型通常将包括两个以上的主题，并且每个主题可与大量的术语相关联。

表1：示例主题模型。