[发明专利]用于预测触摸解释的多任务机器学习

说明书

本公开提供了利用机器学习来预测多个触摸解释的系统和方法。具体地，本公开的系统和方法可以包括并使用机器学习触摸解释预测模型，其中该模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而提供一个或多个预测触摸解释输出。每个预测触摸解释输出对应于至少部分地基于触摸传感器数据的不同类型的预测触摸解释。预测触摸解释可以包括触摸点解释集合、手势解释和/或针对一个或多个未来时间的触摸预测向量。

技术领域

本公开一般涉及机器学习。更具体地，本公开涉及利用多任务机器学习来确定触摸点和其他触摸解释的系统和方法。

背景技术

用户可以使用用户输入对象(诸如例如一个或多个手指、由用户操作的触笔(stylus)或其他用户输入对象)向计算设备提供用户输入。具体地，在一个示例中，用户可以使用用户输入对象来触摸触敏显示屏或其他触敏组件。用户输入对象与触敏显示屏的交互使得用户能够以原始触摸传感器数据的形式向计算设备提供用户输入。

在某些现有计算设备中，可以在与触摸传感器相关联的数字信号处理器上使用简单启发法(heuristics)将触摸传感器数据直接解释为0个、1个或多个“触摸点”。用来确定触摸传感器数据是否产生触摸点确定的传统分析可以限制可能的解释类型。在一些示例中，这样的现有计算设备中的触摸点确定使用有限数量的固定处理规则来分析触摸传感器数据。处理规则有时不能被修改来适配新技术，也不能相对于不同用户针对特定触摸模式而定制。此外，对所确定的触摸点的任何附加分析都涉及附加处理规则的后续使用。此外，现有计算设备中的触摸点确定在触摸点确定之后丢弃大量原始触摸传感器数据，因此阻止了进一步处理原始触摸传感器数据的可能性。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述而获知，或者可以通过对实施例的实践而获知。

本公开的一个示例方面针对一种从用户输入对象确定触摸解释的计算设备。该计算设备包括至少一个处理器、机器学习触摸解释预测模型和至少一个计算机可读介质(其可以是有形的、非暂时性计算机可读介质/多个有形的、非暂时性计算机可读介质，然而该方面不限于此)，该至少一个计算机可读介质存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而输出一个或多个预测触摸解释。该操作包括获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一触摸传感器数据集合。该操作还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该操作还包括接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的预测意图的一个或多个预测触摸解释。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。

本公开的另一个示例方面针对一个或多个有形的、非暂时性计算机可读介质(其可以是有形的、非暂时性计算机可读介质，然而该方面不限于此)，该一个或多个有形的、非暂时性计算机可读介质存储当由一个或多个处理器执行时使得一个或多个处理器执行操作的计算机可读指令。该操作包括获得描述机器学习触摸解释预测模型的数据。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而提供多个预测触摸解释输出。每个预测触摸解释输出对应于至少部分地基于触摸传感器数据的不同类型的预测触摸解释。该操作还包括获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一触摸传感器数据集合。该操作还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该操作还包括接收作为触摸解释预测模型的输出的多个预测触摸解释，每个预测触摸解释描述一个或多个用户输入对象的不同预测方面。该操作还包括执行与多个预测触摸解释相关联的一个或多个动作。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。