[发明专利]增强具有外部存储器的神经网络

权利要求书

1.一种计算机实现的方法，包括：

由增强神经网络系统接收系统输入；

获得通过从外部存储器读取而生成的读取数据向量；

通过组合所述系统输入与来自所述外部存储器的所述读取数据向量来生成神经网络输入；

使用所述增强神经网络系统的神经网络来处理所述神经网络输入，以生成针对所述神经网络输入的神经网络输出；

从所述神经网络输出的系统输出部分来生成针对所述系统输入的系统输出；

使用所述神经网络输出的写入部分来写入到所述外部存储器；和

所述使用神经网络输出的读取部分来从所述外部存储器读取。

2.根据权利要求1所述的方法，其中，所述系统输入是由所述增强神经网络系统接收的系统输入序列中的一个。

3.如权利要求2所述的方法，其中，所述读取数据向量是通过在所述系统输入序列中的在先系统输入的处理期间读取所述外部存储器而生成的。

4.根据权利要求1所述的方法，其中，通过组合所述系统输入和来自所述外部存储器的所述读取数据向量来生成所述神经网络输入包括：

将所述系统输入和所述读取数据向量级联以生成所述神经网络输入。

5.根据权利要求1所述的方法，其中，所述神经网络是前馈神经网络或递归神经网络中的一个。

6.根据权利要求1所述的方法，其中，所述神经网络包括递归神经网络层和前馈神经网络层。

7.根据权利要求1所述的方法，其中从所述神经网络输出的所述系统输出部分生成针对所述系统输入的所述系统输出包括：

将一个或多个变换应用于所述系统输出部分以生成所述系统输出。

8.根据权利要求1所述的方法，还包括：

在写入到所述外部存储器之前，使用所述神经网络输出的擦除部分从所述外部存储器中擦除。

9.根据权利要求8所述的方法，其中使用所述神经网络输出的所述擦除部分从所述外部存储器中擦除包括：

使用所述神经网络输出的所述擦除部分来确定擦除权重，其中所述擦除权重包括所述外部存储器中的多个位置中的每个位置的相应权重，并且定义所述外部存储器中的所述多个位置上的分布；和

根据所述擦除权重，从所述外部存储器中的所述多个位置中的每个位置进行擦除。

10.根据权利要求1所述的方法，其中，使用所述神经网络输出的所述写入部分来写入到所述外部存储器包括：

使用所述神经网络输出的所述写入部分的指定子部分来确定写入权重；和

根据所述写入权重来写入到所述外部存储器。

11.根据权利要求10所述的方法，其中，使用所述神经网络输出的所述写入部分来写入到所述外部存储器包括：

从所述神经网络输出的所述写入部分的不同指定子部分来确定写入向量；和

将所述写入向量写入到所述外部存储器。

12.根据权利要求1所述的方法，其中使用所述神经网络输出的所述读取部分从所述外部存储器读取包括：

使用所述神经网络输出的所述读取部分确定读取权重；和

根据所述读取权重从所述外部存储器中的多个位置读取。