[发明专利]一种文本的标注方法及装置

权利要求书

1.一种文本的标注方法，其特征在于，包括：

获取与原始文本对应的词序列；

将所述词序列进行转化和映射，得到实体标注向量；

统计所述实体标注向量中预设实体信息的数量；

若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述数量小于预设的阈值时，将所述原始文本标注为正常文本。

3.根据权利要求1所述的方法，其特征在于，获取与原始文本对应的词序列，包括：

确定所述原始文本所属的技术领域；

依据所述技术领域，采用分布式爬虫的方法在目标数据集中爬取所述原始文本；

对所述原始文本进行实体抽取处理并形成词序列。

4.根据权利要求1所述的方法，其特征在于，将所述词序列进行转化和映射，得到实体标注向量，包括：

将所述词序列通过词嵌层转化为词向量；

将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱；

将所述特征图谱通过两层全连接层映射为特征向量；

将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量。

5.根据权利要求1所述的方法，其特征在于，统计所述实体标注向量中预设实体信息的数量，包括：

遍历所述实体标注向量，获取所述标注向量中的实体信息；

将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。

6.根据权利要求1所述的方法，其特征在于，所述预设的阈值为1。

7.一种文本的标注装置，其特征在于，包括：

获取模块，用于获取与原始文本对应的词序列；

转化映射模块，用于将所述词序列进行转化和映射，得到实体标注向量；

统计模块，用于统计所述实体标注向量中预设实体信息的数量；

标注模块，用于若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。

8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：

确定单元，用于确定所述原始文本所属的技术领域；

爬取单元，用于依据所述技术领域，采用分布式爬虫的方法在目标数据集中爬取所述原始文本；

抽取单元，用于对所述原始文本进行实体抽取处理并形成词序列。

9.根据权利要求7所述的装置，其特征在于，所述转化映射模块包括：

第一转化单元，用于将所述词序列通过词嵌层转化为词向量；

第二转化单元，用于将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱；

映射单元，用于将所述特征图谱通过两层全连接层映射为特征向量；

筛选单元，用于将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量。

10.根据权利要求7所述的装置，其特征在于，所述统计模块包括：

获取单元，用于遍历所述实体标注向量，获取所述标注向量中的实体信息；

比较统计单元，用于将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。