[发明专利]具有用于文本注释的演变领域特异性词典特征的机器学习模型

权利要求书

1.一种生成用于机器学习模型的嵌入的方法，包括：

从第一文本数据提取字符嵌入和词语嵌入；

根据领域知识数据集来生成领域知识嵌入；

将所述字符嵌入、所述词语嵌入和所述领域知识嵌入组合为组合嵌入；并且

将所述组合嵌入提供到所述机器学习模型的层。

2.根据权利要求1所述的方法，其中，所述领域知识数据集包括来自领域专家的反馈。

3.根据权利要求2所述的方法，其中，来自所述领域专家的所述反馈包括对第二文本数据的命名实体识别标记。

4.根据权利要求2所述的方法，其中，来自所述领域专家的所述反馈包括要用于更新词汇数据库的额外词汇。

5.根据权利要求2所述的方法，其中，来自所述领域专家的所述反馈基于对所述机器学习模型的输出的正确性的确定。

6.根据权利要求1所述的方法，其中，所述领域知识数据集包括被应用到第二文本数据的自然语言处理引擎的输出。

7.根据权利要求1所述的方法，其中，所述领域知识数据集包括基于第二文本数据的查询到基于词汇数据的TRIE词典的输出。

8.根据权利要求1所述的方法，其中，所述机器学习模型执行对第二文本数据的命名实体识别。

9.根据权利要求1所述的方法，其中，所述机器学习模型执行对第二文本数据的医学障碍注释。

10.根据权利要求1所述的方法，还包括：

在生成所述领域知识嵌入之前使用所述第一文本数据、所述字符嵌入和所述词语嵌入来训练所述机器学习模型；并且

在生成所述领域知识嵌入之后重新训练所述机器学习模型。

11.根据权利要求10所述的方法，还包括：

基于在重新训练所述机器学习模型之前被添加到所述领域知识数据集的数据量来确定需要对所述机器学习模型的重新训练。

12.根据权利要求1所述的方法，其中，提取所述字符嵌入还包括：

将卷积神经网络层应用到所述第一文本数据中的词语以产生第一字符嵌入部分；

将长短期记忆神经网络层应用到所述第一文本数据中的词语以产生第二字符嵌入部分；并且

将所述第一字符嵌入部分和所述第二字符嵌入部分进行连结以产生所述字符嵌入。

13.根据权利要求1所述的方法，其中，所述机器学习模型包括长短期记忆层和条件随机场层，并且还包括将所述领域知识嵌入提供到所述条件随机场层。

14.根据权利要求13所述的方法，还包括：

在生成所述领域知识嵌入之前使用所述第一文本数据、所述字符嵌入和所述词语嵌入来训练所述机器学习模型；并且

在生成所述领域知识嵌入之后重新训练所述机器学习模型。

15.一种编码有用于生成用于机器学习模型的嵌入的指令的非瞬态机器可读存储介质，包括：

用于从第一文本数据提取字符嵌入和词语嵌入的指令；

用于根据领域知识数据集来生成领域知识嵌入的指令；

用于将所述字符嵌入、所述词语嵌入和所述领域知识嵌入组合为组合嵌入的指令；以及

用于将所述组合嵌入提供到所述机器学习模型的层的指令。

16.根据权利要求15所述的非瞬态机器可读存储介质，其中，所述领域知识数据集包括来自领域专家的反馈。

17.根据权利要求16所述的非瞬态机器可读存储介质，其中，来自所述领域专家的所述反馈包括对第二文本数据的命名实体识别标记。