[发明专利]使用神经网络的知识发现

权利要求书

1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个基于变换器的语言神经网络来识别一个或更多个词之间的一个或更多个关系，所述一个或更多个基于变换器的语言神经网络使用特定于域的数据来训练。

2.根据权利要求1所述的处理器，其中所述一个或更多个词之间的一个或更多个关系包括指示一个或更多个词的查询短语与一个或更多个词的目标短语之间的量化关系的分数，其中所述分数是正数或负数。

3.根据权利要求1所述的处理器，其中所述一个或更多个基于变换器的语言神经网络包括：

查询-目标条件层，其在给定查询短语中的查询词的情况下使用softmax函数计算目标短语中的每个目标词的条件概率；以及

求和层，用于对所述目标短语中的每个目标词的所述条件概率求和，以获得指示所述查询词与所述目标短语之间的量化关系的分数。

4.根据权利要求1所述的处理器，其中所述一个或更多个基于变换器的语言神经网络包括用于以下各项的层：

计算查询词的第一掩码语言预测；

计算目标短语中的每个目标词的第二掩码语言预测；

执行所述第一掩码语言预测和所述第二掩码语言预测的点积乘法，以获得所述目标短语的查询-目标预测；以及

对所述目标短语的所述查询-目标预测求和，以获得指示所述查询词与所述目标短语之间的量化关系的分数。

5.根据权利要求4所述的处理器，其中所述查询-目标预测包括第一查询-目标预测，所述第一查询-目标预测是正数，所述正数指示所述查询词与所述目标短语中的对应目标词之间的正关系。

6.根据权利要求4所述的处理器，其中所述查询-目标预测包括第一查询-目标预测，所述第一查询-目标预测是负数，所述负数指示所述查询词与所述目标短语中的对应目标词之间的负关系。

7.根据权利要求1所述的处理器，其中所述一个或更多个词包括一个或更多个词的查询短语和一个或更多个词的目标短语，并且其中所述一个或更多个基于变换器的语言神经网络包括：

评分函数，用于对所述查询短语的每个词与所述目标短语的每个词之间的关联的分数求和并归一化；以及

排序函数，用于针对所述目标短语中的期望特性来对所述查询短语中的感兴趣项进行排序。

8.根据权利要求1所述的处理器，其中所述一个或更多个基于变换器的语言神经网络是用所述特定于域的数据使用鲁棒优化的变换器的双向编码器表示方法(RoBERTa)来训练的。

9.根据权利要求1所述的处理器，其中所述一个或更多个基于变换器的语言神经网络包括：

输入层，用于：

在推理阶段期间接收附加的特定于域的数据；

接收一个或更多个词的查询短语并且使用字节对编码(BPE)将所述查询短语编码成令牌的第一向量；

接收一个或更多个词的目标短语并且使用BPE将所述目标短语编码成令牌的第二向量；

变换器的双向编码器表示(BERT)层，其使用鲁棒优化的变换器的双向编码器表示方法(RoBERTa)来训练，并且包括：

第一注意力头，用于接收所述令牌的第一向量并且计算所述令牌的第一向量中的每个令牌的统计预测；

第二注意力头，用于接收所述令牌的第二向量并且计算所述令牌的第二向量中的每个令牌的统计预测；以及

输出层，用于通过对所述令牌的第一向量的所述统计预测和所述令牌的第二向量的所述统计预测执行点积乘法来确定查询-目标分数。

10.一种处理器，包括：一个或更多个电路，用于使用一个或更多个基于变换器的语言神经网络来识别在一个或更多个文档中描述的一种或更多种药物，其中所述基于变换器的语言神经网络是使用特定于域的数据来训练的。