[发明专利]使用自回归机器学习模型进行并行解码

摘要

本申请涉及一种使用自回归机器学习模型进行并行解码。提供了用于执行以并行方式生成从自回归序列到序列模型的输出的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面中，分块并行解码方法利用了一些架构能够在次线性时间内对序列进行评分的事实。通过一次生成用于多个时间步长的预测，然后退回到由评分模型验证的最长前缀，该方法能够在不影响性能的情况下实质地改善贪婪解码的速度。

主权项

1.一种用于生成来自自回归模型p₁的输出的方法，包括：获得k‑1个辅助模型p_i，其中i＝2,…,k，所述辅助模型p_i各自被配置为针对给定前缀输入来预测来自模型p₁的单个第i个输出；以及对当前输入执行以下操作，直到满足终止条件为止：针对所述当前输入，生成来自模型p₁到p_k中的每一个的相应的独立预测，每个独立预测是单个令牌的预测；找出最大的n，使得(i)来自用于与由模型p₁到p_(n‑1)独立预测的第一个令牌至第(n‑1)个令牌级联的所述当前输入的输入的下一个令牌的模型p₁的预测匹配(ii)由模型p_n采用的第n个令牌的独立预测；以及通过将来自模型p₁至p_n的独立预测附加到所生成的输出来扩展所生成的输出。