[发明专利]基于自然语言短语对图像进行自动分割

权利要求书

1.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的指令，所述指令用于对包括多个像素的图像进行分割，所述指令在由计算设备的处理器执行时引起所述计算设备执行动作，所述动作包括：

接收有序标记集合，所述有序标记集合引用所述图像的第一区域；

生成图像图，所述图像图表示多个图像特征中的每个图像特征与所述多个像素的对应部分之间的对应；

生成标记数据元素集合，其中所述标记数据元素中的每个标记数据元素表示所述标记集合中对应标记的语义特征；

迭代地更新分割图，所述分割图表示所述多个像素中的每个像素是否被包括在所述图像的所述第一区域中，其中所述分割图的多个迭代更新中的每个迭代更新是基于：所述分割图的先前版本，以及所述图像图和所述标记数据元素中基于所述标记集合的顺序的一个标记数据元素的组合；以及

基于所述图像和所述分割图来生成分割图像。

2.根据权利要求1所述的计算机可读存储介质，其中所述动作还包括：

迭代地更新n元语法数据元素，所述n元语法数据元素对所述标记集合的所述顺序的语义特征进行编码，其中所述n元语法数据元素的多个迭代更新中的每个迭代更新是基于：所述n元语法数据元素的先前版本，和所述标记数据元素中基于所述标记集合的所述顺序的一个标记数据元素；以及

迭代地更新所述分割图，其中所述分割图的所述多个迭代更新中的每个迭代更新还基于：所述图像图和已更新n元语法数据元素的组合，所述已更新n元语法数据元素与所述标记集合的所述顺序相对应。

3.根据权利要求2所述的计算机可读存储介质，其中所述n元语法数据元素的所述多个迭代更新中的每个迭代更新还基于已训练长短期记忆(LSTM)神经网络，所述已训练长短期记忆神经网络传播所述n元语法元素的所述多个迭代更新中的每个迭代更新。

4.根据权利要求1所述的计算机可读存储介质，其中所述分割图的所述多个迭代更新中的每个迭代更新还基于已训练递归神经网络(RNN)，所述已训练递归神经网络传播所述分割图的所述多个迭代更新中的每个迭代更新。

5.根据权利要求1所述的计算机可读存储介质，其中所述分割图的所述多个迭代更新中的每个迭代更新还基于已训练卷积多模态递归神经网络(mRNN)，所述已训练卷积多模态递归神经网络传播所述分割图的所述多个迭代更新中的每个迭代更新。

6.根据权利要求1所述的计算机可读存储介质，其中所述图像特征由图像特征标识模型来标识，所述图像特征标识模型被实施于已训练完全卷积神经网络(FCN)上。

7.根据权利要求1所述的一个或多个计算机可读存储介质，其中单词嵌入自然语言模型被用于标识所述标记的所述语义特征，所述单词嵌入自然语言模型在多维空间中嵌入所述标记中的每个标记，并且被嵌入在所述多维空间内的标记对之间的距离基于语义语料库内的语义分布来指示所述标记对之间的语义相似度。

8.一种用于对图像进行分割的方法，包括：

接收所述图像，其中所述图像包括多个像素；

基于自然语言短语来生成n元语法，所述自然语言短语引用在图像的第一区域内所描绘的对象，其中所述n元语法包括有序标记集合；

生成图像数据结构，所述图像数据结构对多个图像特征中的每个图像特征与所述多个像素的对应部分之间的映射进行编码，其中所述多个图像特征基于图像特征标识模型在所述图像内被标识；

基于自然语言模型来生成标记数据结构集合，其中所述标记数据结构中的每个标记数据结构对所述标记集合中对应标记的语义特征进行编码；

基于第一递归神经网络(RNN)以及所述图像数据结构和所述标记数据结构集合中的部分的多个迭代生成的组合，来迭代地生成分割图，其中所述第一RNN在所述分割数据结构的迭代生成期间传播所述分割图，并且所述分割图标识在所述图像的所述第一区域中所包括的所述多个像素的子集；以及

基于经迭代生成的所述分割图来对所述图像进行分割。