[发明专利]基于用户反馈自动标注语义分析结果正误性的方法

说明书

本发明公开了基于用户反馈自动标注语义分析结果正误性的方法，有效利用语义分析产生的海量数据，基于用户对系统响应而做出的不同反馈行为，再通过大数据分析和权重处理，自动对语义分析的结果标注正误，节省大量人工标注成本，提高标注效率。

技术领域

本发明涉及语义标注技术领域，尤其涉及基于用户反馈自动标注语义分析结果正误性的方法。

背景技术

语义分析是计算机自然语言处理领域中的一个重要方向，旨在将人类使用的自然语言映射为一个完整的、计算机可执行的形式化意义表示。它是自然语言处理的核心研究领域，也是实现各种智能系统的关键技术，如人机交互系统、智慧设备的语音控制、机器人动作控制等。语义分析工作的主要流程首先是对文本数据进行领域分类，然后根据领域分类的结果，采用各自领域对应的模型进行意图识别、实体识别、句法分析、语义消歧等，最后综合上述分析结果形成语义分析结果。

实际落地的语义分析系统大部分都是持续迭代项目，需要不断进行优化和调整。优化工作主要以分析用户在使用过程中产生的数据为主，通过对解析正确的数据进行模型或流程优化可以提高分析效率。而对解析错误的数据进行分析则可以及时发现系统BUG和用户新的需求，从而提高系统分析的准确率和覆盖面。其中对分析数据正误的判断来源于人工标注，这种方式需要耗费大量人力，不利于开发和迭代。目前行业对语义自动标注的研究又集中在词性标注、句法标注层面，缺乏一种高效且准确的方法对已经分析出的数据进行正误标注。

发明内容

目前落地的语义分析系统大都面向终端，用户在发起一次语义分析请求后，语义分析结果最终都会通过终端反馈给用户。系统产生的正确响应、错误响应、延迟响应或不响应，用户通过直观感受，会有持续的语义请求行为反馈回系统，在同一轮对话中(本专利所述的同一轮对话指在一定时间内领域相同的对话)，通过分析用户这种反馈之间的语义分析结果差异、时间差异、领域差异、情感差异，可以标注每位用户每一条语义分析结果的正误。由于每位用户有着不同的反馈习惯，因此结合海量数据分析和权重计算，最终可以标注语义分析结果的正误。本发明利用用户实际使用过程中产生的数据，依据用户对不同响应的反馈，实现自动标注语义分析结果的正误，省去大量的人工标注成本，提高标注效率。同时可以产生大量已标注的数据用于科研和生产。

本发明通过以下技术方案来实现上述目的：

基于用户反馈自动标注语义分析结果正误性的方法，包括以下步骤：

步骤1，确定用户在同一轮对话中可容忍的错误响应次数；

步骤2，收集语义分析系统产生的数据，汇总数据所涉及到的所有领域意图分类，根据不同的领域意图，确定相邻两次语义请求为同一轮对话的最长时间间隔和可以视为同一轮对话的领域分组；

步骤3，将数据按照不同用户进行汇聚，并对同一用户的数据按照请求时间升序排列；

步骤4，遍历每一位用户已经排序的数据，依次取出每条数据并和缓存区中最近一条数据进行对比分析；

(1)、判断当前缓存区数据是否为空，若为空，则缓存当前数据并获取下一条数据；

(2)、取出缓存区中离当前数据最近的数据，判断两条数据领域差异和时间差异，确定两条数据是否处于同一轮对话中，若处于，则跳转到(3)，否则跳转(4)；

(3)、分析当前请求是否为对语义分析结果的明确评价，若为积极评价，则跳转(5)，若为消极评价，则跳转(6)，若不是明确评价，则缓存当前数据；

(4)、此时当前数据和缓存中的数据为不同轮次的对话，首先判断缓存中的数据语义分析结果是否一致，若一致，则跳转(6)。否则判断缓存中的数据数量，若数量大于用户在同一轮对话中可容忍的错误响应次数，则缓存中的所有数据标注为错误，缓存清空后放入当前数据，否则跳转(5)；