[发明专利]一种面向安卓的用户个性化定制语音控制应用方法

说明书

本发明属于移动应用软件技术领域，具体为一种面向安卓的用户个性化定制语音控制应用方法。本发明采用针对安卓应用的录制回放技术；在录制阶段用户按照安卓应用自身的触屏操作方式使用应用，并定义需要语音输入的参数信息、针对候选结果的筛选机制以及需要语音输出的结果信息，这些执行过程以及输入输出设置都被记录为运行脚本；在回放阶段目标应用在被语音指令启动后按照运行脚本自动运行，在需要语音输入的时候通过语音助手与用户进行语音交互，在产生输出信息时通过语音助手报读输出结果。本发明通过对安卓系统框架层代码的修改来使得安卓应用具备语音交互场景的定制和执行能力，无需安卓应用进行任何修改，也无需安卓应用开发者提供支持。

技术领域

本发明属于移动应用软件技术领域，具体涉及一种面向安卓的用户个性化定制语音控制应用方法。

背景技术

当前的移动应用主要以基于触摸屏的手势操作作为主要的用户交互手段。这种交互模式在大多数时候都比较方便。但是当用户使用环境中出现光线强烈、手被占用、姿势不方便等情境障碍，或者残疾用户具有视力或手臂等方面的身体障碍时，触屏交互就不再方便了。语音交互对于触屏交互而言是一种良好的补充，能够在触屏交互不方便的情况下提供一种灵活、便利的替代交互手段。

现有的一些移动应用中集成了语音交互能力，但仅支持一部分功能，且需要应用开发者来实现。类似Siri的语音交互助手则需要应用开发者通过基于接口的开发来实现对于应用的操控。而读屏软件则主要针对屏幕内容的报读，交互能力较弱。

本发明为安卓用户提供了一种个性化定制语音交互场景的能力，使他们可以根据自己的需要将普通的安卓应用转化成一个完全由语音操控的应用。该方法主要针对用户使用安卓应用时的常用使用场景。用户在每次执行这些安卓应用场景时，大部分的交互步骤都相同，仅在某些步骤上的输入信息和选择不同。针对这些场景，本发明通过用户操作录制的方式将其执行过程和重复输入录制成执行脚本，同时将存在变化的输入信息和选择设置为语音交互内容。在此基础上，本发明通过执行脚本回放的方式执行语音交互场景，其中的语音交互通过集成的语音助手来实现。

发明内容

本发明的目的在于针对用户使用安卓应用时的常用使用场景，提供一种交互能力强的用户个性化定制语音控制应用方法，包括安卓应用语音交互场景的录制与回放、语音助手与安卓应用之间的双向交互等。

本发明在集成语音助手的基础上，支持最终用户针对任意选中的安卓应用定制并使用语音交互场景，从而将普通的原生安卓应用变成完全由语音控制的应用。该方法采用针对安卓应用的录制回放技术。其中，在录制（即语音交互场景的定制）阶段，用户按照安卓应用自身的触屏操作方式使用应用，并定义需要语音输入的参数信息、针对候选结果的筛选机制以及需要语音输出的结果信息。这些执行过程以及输入输出设置都被记录为运行脚本；在回放（即语音交互场景的使用）阶段，目标应用在被语音指令启动后按照运行脚本自动运行，并在需要语音输入的时候通过语音助手与用户进行语音交互，并在产生输出信息时通过语音助手报读输出结果。本发明通过对安卓系统框架层代码的修改来使得安卓应用具备语音交互场景的定制和执行能力，无需安卓应用进行任何修改，也无需安卓应用开发者提供支持。

本发明的概念模型如图1所示。针对一个目标应用可以定义多个语音交互执行场景。每个场景中都包含一系列窗口，每个窗口上都会执行一系列的交互序列，这些在录制过程中都被记录到执行脚本中。一些交互序列所涉及的控件事件（例如文本框输入）中需要一些输入值，这些输入值可以来自于录制过程中记录的输入值（即在每次执行过程中都一样的重复值），或者来自于回放执行过程中的即时输入值（即在执行过程中通过语音交互获得的输入值）。此外，一些交互序列所涉及的控件事件（例如文本标签的内容更新）产生输出值，这些输出值通过语音播报的方式返回给用户。

具体来说，本发明提供的面向安卓的用户个性化定制语音控制应用方法，包括以下步骤。