[发明专利]网络自动化脚本的爬虫

说明书

对于指定要对网站执行的任务的给定输入查询，在不具有关于该网站或该查询的任何先前知识的情况下，对正确的动作序列(或UI脚本)进行机器学习。为了学习正确的UI脚本，创建任务代理，该任务代理执行多个任务代理运行，包括对网站上的UI元素(例如，按钮、文本域、菜单等)的不同动作序列。在执行对UI元素的每一个动作后监视网页的状态。创建小任务，这些小任务包括对于每一个任务代理所执行的动作序列以及分配给小任务的分数，并且基于分数来从这些小任务中选择正确的UI脚本(例如，具有最高分数的小任务)。

背景技术

当今，网络爬行涉及对网页上的文本和实体的语义和关键字分析。虽然在尝试理解文本语义时是有效的，但语义学习在尝试理解构建到当今网站中的动作时并不有效。例如，用于租车的网页可能需要用户通过输入文本(例如，姓名、到达机场、生日等)来填写在线表单以进行预定。常规的网络爬虫无法始终通过简单地分析表单文本来理解预定车辆的动作。网络爬虫而是必须通过对该网站的其余部分进行语义分析来认识到提供该网页的公司租赁车辆。

理解网页上的动作对于许多操作而言是至关重要的。数字助理(诸如由总部在美国华盛顿州雷蒙德市的微软公司开发的)正变得更老练并且能够理解用户何时想要执行不同的动作(例如，预订晚餐、预订航班、订披萨，等等)，而不是仅仅检索信息。用户可能希望通过支持同一任务(例如，订披萨)的许多网站之一(例如，餐厅A、B或C)来执行该任务。此外，机器人流程自动化(RPA)和物联网(IoT)自动化要求设备不仅要捕获数据，而且还要在没有用户干预的情况下执行动作。随着越来越多的应用移至网络上，它们的动作必须在语义学习提供的范围之外加以理解。

在网络上执行动作大部分通过UI脚本来控制，这些UI脚本是计算机对象，这些计算机对象使用可执行脚本语言来创建以执行与网页的动态交互(例如，点击、文本输入、滚动等)。具有标准标记语言对象(例如，超文本标记语言(HTML)或可扩展标记语言(XML))的传统网页大部分是静态文档。UI脚本在网页中执行动态动作，诸如输入购买信息字段、输入用户名、指定预定的具体日期、或输入特定街道地址。因此，网络脚本被频繁地用来通过编程驱动网站的UI以执行人工任务。

当今，生成并维护UI脚本是极度费时的。编写UI脚本涉及检查网页的DOM树以标识所有相关UI元素(例如，文本域、日期选择器、地图等)。一些软件自动化工具通过提供“记录和回放”接口来简化该过程。常规自动化工具可生成用于以下操作的UI脚本：通过在网站上选择每日预约、选择特定医学专家、查找开放时间和日期、以及选择设施位置来在网页上预订医疗预约。这些任务中的每一者必须被记录，这是非常乏味且需要人工交互。

尝试自动化跨需要不同网络脚本的众多不同网站的任务是资源密集的。再加上网站不断更新使得传统的记录和回放自动化工具在没有对此类脚本进行过多重复的网络爬行、测试和记录的情况下不足以对网站支持的行为进行建模，并且当前工具不足以在当今数字助理和网络自动化应用所需的水平上理解网络上的动作变得相当明显。

发明内容

参考下文列出的附图，在下文详细描述所揭示的示例。提供以下发明内容以解说本文所公开的一些示例。然而，这并不意味着将所有示例限制于任何特定配置或操作顺序。