[发明专利]选择用于有监督机器学习问题的神经网络架构

说明书

公开了用于针对机器学习问题选择神经网络的系统和方法。一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。

背景技术

已知多种不同类型的神经网络架构(例如，卷积神经网络、前馈神经网络等)。选择用于解决给定机器学习问题的神经网络架构(以及给定架构类型内的子架构)可能具有挑战性。

附图说明

在附图的图中，通过示例而非限制的方式示出了本技术的一些实施例。

图1示出了根据一些实施例的可以在其中实现选择用于解决机器学习问题的神经网络架构的示例系统。

图2示出了根据一些实施例的用于选择用于解决机器学习问题的神经网络架构的示例方法的流程图。

图3示出了根据一些实施例的用于减少错误率的示例方法的流程图。

图4A至4B示出了根据一些实施例的用于从块中选择单元的示例方法的流程图。

图5是示出根据一些实施例的能够从机器可读介质读取指令并且执行本文中讨论的任何方法的机器的组件的框图。

发明内容

本公开总体上涉及被配置为选择用于解决机器学习问题的神经网络架构的机器，包括这种专用机器的计算机化变体和对这种变体的改进，并且涉及使这种专用机器与提供神经网络技术的其他专用机器相比得到改进的技术。特别地，本公开致力于用于选择用于解决给定机器学习问题空间中的机器学习问题的神经网络架构的系统和方法。

根据本文中描述的技术的一些方面，一种系统包括处理硬件和存储器。存储器存储指令，该指令在由处理硬件执行时使处理硬件执行操作。该操作包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该操作包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性(expressivity)的至少一个表达性度量(measure)。该操作包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性(trainability)的至少一个可训练性度量。该操作包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。该操作包括提供表示所选择的至少一个候选神经网络的输出。

根据本文中描述的技术的一些方面，一种机器可读介质存储指令，该指令在由一个或多个机器执行时使一个或多个机器执行操作。该操作包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该操作包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该操作包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该操作包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。该操作包括提供表示所选择的至少一个候选神经网络的输出。

根据本文中描述的技术的一些方面，一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。该方法包括提供表示所选择的至少一个候选神经网络的输出。