[发明专利]生成特征向量和基于特征向量进行文本分类的方法和装置

说明书

本发明公开了一种生成特征向量和基于特征向量进行文本分类的方法和装置，涉及计算机技术领域。该生成特征向量的方法的一具体实施方式包括：获取文本数据的特征权重矩阵和词向量矩阵，特征权重矩阵由文本数据与业务场景类别的关联权重构成；通过对特征权重矩阵与词向量矩阵进行运算以生成特征向量矩阵，特征向量矩阵由特征向量组成。该实施方式能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种生成特征向量和基于特征向量进行文本分类的方法和装置。

背景技术

随着大数据时代的来临，大数据分析也应运而生。网络平台通过对自身数据仓库中规模巨大的数据进行分析，可以获取有用的资源，以用于更好地指导网站建设、企业运营等等。

以目前发展迅速的电子商务为例，随着互联网的迅速普及，线上购物占据了广大消费用户生活中很高的购物比例。如何通过对用户的消费记录、评论信息等数据进行分析来更好地提高用户的消费体验，扩大电商的市场，成为目前大量电商角逐的主战场。以对用户的评论信息进行分析为例，通过基于用户的评论信息以及相关的新闻等内容，可以根据不同的业务场景(例如：账号安全、虚假交易、恶意订单、营销风控等)对用户的评论信息进行分类，进而可以确定畅销商品和滞销商品，排除商家的不正当竞争行为或对用户的欺骗行为以对商家进行严格管控等。其中，对用户的评论信息进行分类本质上即是对文本进行分类。

目前，常用的基于业务场景的文本分类方法，大多是基于现有的机器学习技术或者各种统计学习方法，通过对已有的标注数据进行训练，然后对线上的评论数据进行预测。现有的机器学习技术或者统计学习的方法，实现过程一般是：首先，对文本进行分词；再计算每个词与不同业务场景的相关度；然后，根据相关度选择主要特征，一般选择满足预定相关度阈值的特征或者将相关度由高到低排序后靠前的预定个数的特征作为主要特征；最后，通过对主要特征进行训练得到文本分类模型，以对线上的文本数据进行分类预测。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

一般的特征选择都是选取了排名靠前的部分主要特征作为训练模型的输入，进而训练模型以对文本数据进行分类预测。在这种情况下，因为数据量覆盖不到位，主要特征可能只适应于部分类别，导致其他类别欠拟合，从而忽略了一些其他特征，丢失了相对来说比较重要的特征，导致系统上线后性能不够理想。

发明内容

有鉴于此，本发明实施例提供一种生成特征向量和基于特征向量进行文本分类的方法和装置，能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

为实现上述目的，根据本发明实施例的一个方面，提供了一种生成特征向量的方法。

一种生成特征向量的方法，包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

可选地，获取文本数据的特征权重矩阵的步骤包括：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词与业务场景类别的关联权重以得到所述文本数据的特征权重矩阵。

可选地，利用特征选择的方法计算所述每个词与所述业务场景类别的关联权重，所述特征选择的方法包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数、数据建模、L1范数正则化、决策树。

可选地，获取文本数据的词向量矩阵的步骤包括：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词的词向量以得到所述文本数据的词向量矩阵。

可选地，所述运算为卷积运算。