[发明专利]基于SinglePass算法实现无标注语料主动预测移动客服领域中突发事件的方法

说明书

本发明提出了一种基于SinglePsss算法实现无标注语料主动预测移动客服领域突发事件的方法。主要包括预处理、构建句子向量、基于SinglePass算法聚类、寻找突发词、计算突发词相关度、返回突发事件工单六个阶段。在预处理阶段，对客服领域中的工单数据进行分词、去停用词、训练词向量等预处理。在构建句子向量阶段，采用向量相加的方法，分别将句子中每个词的词向量相加，得到句子向量。在基于SinglePass算法聚类阶段，基于句子向量，利用SinglePass算法，对工单数据进行聚类，得到突发事件的话题。在寻找突发词阶段，基于时间序列算法(Kleinberg)得到每个话题下的突发词。在计算突发词相关度阶段，利用互信息得到突发词之间的相关度和突发话题热度。在返回突发事件工单阶段，返回突发话题热度最高文本中包含突发词相关度最高的突发词的工单，即得到突发事件。

技术领域

本发明涉及自然语言处理领域的一种主动预测移动客服领域中的突发事件方法。具体涉及一种基于SinglePass算法实现无标注语料主动预测移动客服领域中的突发事件方法。主要涉及专利分类号G06计算；推算；计数G06F电数字数据处理G06F17/00特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法G06F17/30信息检索；及其数据库结构。

背景技术

随着数据的爆发式增长以及信息技术的快速发展，如何通过海量数据发现用户潜在的意图，主动预测突发事件成为目前人们关注的重点问题。突发事件是指突然发生并且短时间内受到广泛关注，且在短时间内给社会或人们带来不良影响，需要相关部门及时采取措施进行应对的事件。

因此及时发现并妥善处理突发事件，对于相关部门进行更好的网络监管，维系社会和人民生活的稳定具有重要意义。目前基于网络信息的标注语料，预测突发事件的研究比较少。发现网络突发事件是一个聚类的过程，现有的相关研究大多采用布尔模型、tfidf的文本表示模型对突发事件文本进行聚类。这两种模型由于其简单性和快速性在突发事件预测中得到广泛应用。然而，这两种突发事件的文本表示模型却存在一些问题，比如布尔模型仅有两个取值，会丢失词汇的重要性量度；tfidf的文本表示模型能够较为准确的对词语的权重进行量化，通过计算tf和idf的值来量化词语的重要程度，这种方法虽然简单、计算速度快，但是却不能捕捉到文本句子内部词语间潜在语义信息。人类语言的本质是以语义为基础的，因此挖掘句子的语义信息对于突发事件的检测起着至关重要的作用。

而且目前突发事件检测大多针对网络突发事件检测，尚没有基于移动客服领域，在没有标注语料的情况下，利用自然语言处理技术挖掘移动客服数据潜在的语义信息，主动预测突发事件的相关研究。

因此，挖掘移动客服领域数据间潜在的语义信息，主动对移动客服领域的突发事件进行预警，更好地服务客户迫在眉睫，并需要有针对性的引入自然语言处理技术。本发明方法主要研究如何在没有标注移动客服领域突发事件的情况下，利用自然语言处理技术中的聚类方法，理解用户的意图，挖掘语义信息，主动预测移动客服领域中的突发事件。

目前基于突发事件研究的关注点主要在基于网络突发事件标注语料(只有在已知网络突发事件的情况下才能将其检测出来)的基础上，从文档库中检测出相关联的、出现频率较高的突发词，然后再对这些突发词进行组合，从而能够使用突发特征来对突发事件进行描述。目前的研究仅限于网络信息领域的标注语料，不适应于移动客服领域的突发事件预警，并且不能很好满足舆情监控的需求。如果能够在突发事件尚未形成的时候将其检测出来并对其做出反应会有更加有意义。因此如何针对移动客服领域，基于无标注语料，利用自然语言处理技术，挖掘突发事件工单数据潜在的语义信息，主动预测移动客服领域的突发事件，成为移动客服领域亟待研究的重点内容。

发明内容