[发明专利]基于神经网络的智能编程语言程序翻译方法系统

说明书

本发明提出一种基于神经网络的智能编程语言程序翻译方法和系统，包括：构建用于将源语言程序翻译为目标语言程序的正向模型，以及将目标语言程序为源语言程序的反向模型；根据源语言程序库和目标语言程序库，通过反向翻译训练该正向模型和该反向模型，得到正翻译模型和反翻译模型；将待翻译的源语言程序输入该正翻译模型，将得到的多个候选结果输入重排序模型，得到各候选结果的分数，选择分数最高的候选结果作为该源语言程序的翻译结果。

技术领域

本发明涉及程序代码转换、程序生成、程序翻译和自然语言处理技术领域，并特别涉及一种基于神经网络的智能编程语言程序翻译方法系统。

背景技术

智能芯片作为深度学习算法的重要物质载体，已经在不同的领域之中得到了广泛使用。作为智能计算系统中系统软件的重要组成部分，专用于智能计算系统的智能编程语言不断涌现，例如CUDA编程语言和BANG语言等。由于深度学习算法的快速发展，开发者为了在智能芯片上部署自定义的算法，需要用智能编程语言开发用户程序。然而，这些编程语言具有很高的编程难度，对程序员提出了很高的要求。由于智能芯片的庞大的运算单元设计，往往具有数据和任务上的并行性，程序员在使用这些编程语言时需要遵循并行编程模型。此外，不同于通用处理器上缓存(Cache)等对程序员透明的存储结构，程序员在使用智能编程语言时，还需要手动对不同类型的存储空间进行显式的声明和管理等。这些难点无疑都加大了程序员在智能芯片上开发用户程序的挑战。

基于串行编程模型的传统编程语言的用户程序很容易获得，这得益于以下两方面的原因：(1)串行编程模型上存在大量已经开发并优化过的遗产代码；(2)串行编程模型符合程序员的使用习惯，用户可以轻松地使用传统编程语言编写用户程序。因此，如果能够利用传统编程语言的用户程序，将其迁移到智能编程语言的用户程序，能够极大的减少程序员在智能芯片上开发用户程序的开销。

目前，已经有一些工作进行了在不同自然语言之间的翻译工作(如英语翻译成中文)，还有一些人进行了程序语言翻译的工作(如将C语言翻译成CUDA语言)。目前现有技术TransCoder可以将神经网络用于程序语言翻译，它能够完成针对C、Python、Java等用户程序的自动翻译。它由基本的Transformer架构组成，包含一个编码器和一个译码器，编码器和译码器分别有独立的6层。该模型对于多种编程语言是共用的，采用三种无监督训练方式进行训练。

第一个任务是跨编程语言的预训练，该任务与掩码语言模型(MLM，MaskedLanguage Model)的训练方法类似，随机遮挡住一部分输入序列的词元，训练模型根据被遮挡住词元的上下文预测出词元。在训练过程中，交替更换不同语言的训练数据以让模型更高质量地学习不同语言的表示。

第二个任务：降噪自编码：经过掩码语言模型的预训练后，编码器已经学会了词的表征。但是翻译任务需要编码器和译码器的共同参与，而此时的译码器还没有学会如何解码。因此TransCoder引入了降噪自编码的任务来训练译码器。该方法是通过对输入序列加入噪声，例如随机遮挡，删除某个词元或打乱顺序，然后让模型预测出原来的序列。这种训练方式让译码器也参与了训练，同时也让模型的稳定性更强，能够应对输入噪声。

第三个任务：反向翻译。经过前两步的训练之后，模型已经可以初步生成翻译结果了。但是生成结果的质量较差，因为模型还无法做到从指定语言翻译到另一个指定语言。为了解决这个问题，引入了反向翻译，反向翻译是一种缺乏监督语料情况下的解决方案，是一种弱监督学习模型。反向翻译由两部分组成，分别是源语言到目标语言和目标语言到源语言的翻译模型。首先目标语言的语料作为输入，经过模型翻译得到源语言，这时会生成一个带有噪声的源语言语料，然后该源语言的语料和目标语言的语料可以近似认为是一对监督语料，因此从源语言到目标语言的过程就可以以一种弱监督的方式进行。训练过程中，两个方向同时训练直到收敛。

以下主要讲现有技术Transcoder存在的问题和缺点。