[发明专利]一种基于深度学习的自然语言转化为SQL语句的方法

说明书

本发明涉及到一种基于深度学习的自然语言转化为SQL语句的方法，特别是使用知识蒸馏方法的获得轻量级的模型技术，属于数据库智能检索、问答系统等技术领域。本发明提出了一种基于深度学习的NL2SQL算法，基于BERT预训练模型对英文和中文的自然语言进行编码训练得到NL2SQL模型，再使用知识蒸馏方法获得轻量级的NL2SQL模型，根据提供的NL2SQL任务数据集训练模型，输入自然语言问题后即可推理出对应的SQL语句；本发明能够处理中文和英文NL2SQL任务；本发明减小模型的计算资源消耗，提高推理速度。

技术领域

本发明涉及到一种基于深度学习的自然语言转化为SQL语句的方法，特别是使用知识蒸馏方法的获得轻量级的模型技术，属于数据库智能检索、问答系统等技术领域。

背景技术

在现实生活中，人们在工作生活过程中通常伴随着海量的数据的产生，例如档案管理、网络购物、银行业务等等。在这过程中产生大量结构化和半结构化的数据，一般通过使用关系型数据库来有效的存储管理并利用这些数据。结构化查询语言SQL(StructuredQuery Language)是一个通用的、功能性极强的数据库操作语言。因此查询关系型数据库中的数据的过程中通常需要通过使用SQL查询语言来进行交互。但使用SQL查询需要用户预先学习数据库系统和SQL语法的相关专业知识，对于非专业的人员来说，学习具有门槛和一定难度。随着数据库技术以及人工智能技术在日常工作生活中越来越广泛的应用，人们希望通过自然语言实现对数据库的智能交互的需求越来越迫切。NL2SQL(Natural Language toSQL)应运而生，顾名思义，它是将自然语言转化为可执行的结构化查询语句。其目的就是使那些没有学习过数据库知识的用户也能够自如地使用数据库。用户可以用自然语言的表达形式查询数据库获得自己想要的数据，而不必掌握相关的SQL语言的文法规则和数据库知识。与使用传统的SQL查询语言相比，这种方法更适合广大的普通用户，使用NL2SQL技术能够改善人机交互的容易程度，同时也能大大提升数据库系统的实用性和易用性。

近年来随着深度学习技术的发展，其在自然语言处理领域中得到了广泛应用，并通过实验证实了在NL2SQL任务中取得了较大的进展。模型的创新和改进大大提高了机器的理解能力。但目前深度学习的方法仍面临着一些挑战，一是深度学习方法的核心问题是它们需要大量的训练数据才能提供准确的翻译。编制和标注这些训练数据的成本非常昂贵，因为它通常需要人工用相应的SQL查询来注释自然语言示例。且标注需要有相关专业知识的人来标注，自然语言标注成本较高，这也造成了研究的数据集存在缺口，尤其是有关中文的NL2SQL的研究并不深入，缺少数据质量高的开源中文数据集。目前较多人利用的开源数据集仅有中文CSpider和追一科技在一次挑战赛发布的中文TableQA数据集。究其原因，主要还是数据集的前期收集工作需要花费大量专业人员手动的编辑和标注数据处理，费时费力。现阶段对NL2SQL任务的研究大部分基于英文的数据集，与之相比中文的数据集研究是近几年才开始，而且由于中文的语法表达较英文更加丰富和多样，针对中文的NL2SQL研究更为复杂。

另一方面，诸如BERT等预训练的语言模型，已经大大改善了许多自然语言处理任务的性能。然而，预训练的语言模型通常计算成本很高，所以很难在资源受限的设备上有效地执行它们。