[发明专利]基于GPT2的云ERP社区生成式问答方法

说明书

本发明公开了基于GPT2的云ERP社区生成式问答方法，通过对云ERP社区人工客服数据脱敏与清洗去噪；建立云ERP社区客服数据驱动服务；构建基于Transformer的无监督训练；构建基于Transformer解码器的GPT2模型；构建基于GPT2的生成式问答模型。最后通过实验验证证明模型的性能和有效性。针对现有社区问答方式检索效率低，不能及时、方便、灵活、有效的为各类客户提供问答服务等问题，以及社区交互数据中的海量人工客服会话数据未得到有效利用的问题，提出一种基于GPT2的云ERP社区生成式问答方法，该方法能够克服检索式方法的局限性，回答用户无法在数据库中检索到答案的问题，提升云ERP社区问答的灵活性，最后通过实验验证证明了模型的性能和有效性。

技术领域

本发明涉及智能问答领域，具体是一种基于GPT2的云ERP社区生成式问答方法。

背景技术

企业资源计划(Enterprise Resource Planning，ERP)是集信息技术与先进管理思想于一身，通过整合和优化企业要素和资源提高企业效益和效能的重要手段。伴随着云计算的发展，ERP思想与云服务模式结合形成的云ERP平台由于能更好地结合自身资源特点和客户需求特征，为用户提供一系列更有价值、更灵活、更廉价和更便捷的业务和服务支持，成为当前ERP领域发展的主流方向。在云服务模式下，云ERP提供商、供应链上的各类用户群、开发者和软件开发商等主体、业务、数据及其关系等形成了云ERP生态圈。依托生态圈打造各方交流、开放、共享和合作的云ERP生态社区是云ERP发展的重要内容和趋势。云ERP生态社区的良好运转可以为社区生态文化建设、用户学习成长和高效服务咨询提供保障。高质量的云ERP生态运行服务是社区良好运转的基础，运行服务的动态适应和自主演化是生态社区运行良好的关键之一。由于社区业务覆盖面广、用户类型和数量众多、各类沟通交流极为频繁，各类用户常会因业务、技术和商务等各方面的问题需要随时咨询。因此，智能问答是云 ERP生态运行服务的关键环节，是云ERP生态圈所有个体和组织灵活、快捷的交流和分享的重要保障。然而，区别于娱乐、购物等普通生活类社区，云ERP生态社区具有极强的领域性、技术性、专业性特征，且涉及的主体多、范围广、内容丰富、问题杂，给云ERP生态社区的运行保障工作带来巨大困难与挑战。

问答方法的构造想法最早可以追溯到上世纪五十年代由英国数学家图灵提出的图灵测试。直到1966年，美国麻省理工学院人工智能实验室开发出了第一个较为完整的智能问答系统Eliza，是自然语言处理技术的早期应用。随着人工智能技术的不断发展，在神经网络深度学习的基础上，智能问答系统的效果越来越好，目前主要分为任务完成型问答、闲聊型对话等，分别对应限定的专业领域及开放问题域。为了完成这些问答任务，研究者们主要采用检索式问答、生成式问答方法开展研究。检索式问答方法作为工业界常用的传统方法，达到了减少人工依赖的目标，但是由于检索式方法的局限性，对于数据库外的问题无法形成回答。生成式问答方法的出现得益于深度学习在机器翻译模型上的应用，而机器翻译模型通常是基于编码器-解码器(Encoder-Decoder)的架构来完成的。基于类似的Encoder-Decoder模型通常不依靠特定的知识库或者规则模板，而是基于海量的问答对话语料的学习和训练，这种在大数据驱动下获得的对话能力更贴近于人类的思维模式。此外，不同于检索匹配到的答案，生成式模型得到的回复更加灵活多变，但生成的内容在控制上也有很大的难度。目前生成式问答模型一般通过序列到序列(Seq2Seq)的模型来实现，即是一种能够根据给定的序列，通过特定的方法生成另一个序列的方法，所以生成式问答是一类需要条件极多的条件生成问题。

社区问答是云ERP社区运行服务的关键环节，是云ERP生态社区所有个体和组织灵活、快捷的交流和分享的重要保障。存在现有社区问答方式检索效率低，不能及时、方便、灵活、有效的为各类客户提供问答服务的问题。考虑云ERP生态社区的开放性、涉众群体的多样化和用户需求的多变性，在时间和空间维度上的领域数据众多，存在社区交互数据中的海量人工客服会话数据未得到有效利用的问题。

发明内容