[发明专利]字段的规范化自动命名方法、装置及系统

说明书

本发明提供了一种字段的规范化自动命名方法、装置及系统，所述方法包含：获取待命名的字段所对应的中文数据；通过预设短语词库对所述字段对应的中文数据进行分词处理获得描述短语，根据所述描述短语的词性筛除所述描述短语中预定类别短语获得命名短语；将所述命名短语与预设短语词库比较，获得所述命名短语对应的分类信息和缩写标识；根据所述分类信息和所述缩写标识按预设命名组装规则组装获得命名数据。

技术领域

本发明涉及数据仓库研发领域，尤指一种字段的规范化自动命名方法、装置及系统。

背景技术

在数据仓库进行数据开发时，频繁会遇到给上百个字段命名的工作。字段由多个短语组成，字段命名工作就是根据已知的字段中文名取出字段英文名。字段命名需要遵守数仓建设规范,如单个短语缩写规范、多个短语组合顺序规范等，达到通过字段命名理解到字段的含义的目的。

当前做法有两种：一是人工命名，往往需要耗费大量时间精力，通常1个字段需要1-2分钟。二是最长匹配原则自动化命名，采用逐步迭代的方法，比如字段“最近7天逾期天数”，首先匹配短语词库“最近7天逾期天数”，未匹配到的话继续匹配“最近7天逾期天”、“最近7天逾期”、“最近7天逾”、“最近7天”，匹配到后，继续匹配“逾期天数”、“逾期天”、“逾期”，匹配到后，继续匹配“天数”；该方案缺点有二，一是命名的成功率低，严重依赖字段中文描述规范，比如“最近7天的逾期天数”，短语库中没有“的”短语的缩写，故该字段无法命名，二是该方案层层循环，效率低，消耗系统计算资源多；三是中文名不同但其实是同义的变量无法识别，会命名成不同的字段名，提升了数据仓库的管理难度和数据使用难度。

综上，如何提供一种新的方案，能够花费更小计算成本、提高命名成功率，并且能够识别同义字段、对同义字段使用相同字段命名，是本领域亟待解决的难题。

发明内容

本发明目的在于提供一种字段的规范化自动命名方法、装置及系统，以在花费更小计算成本的基础上提高命名的成功率，并且能够识别同义字段、对同义字段使用相同字段命名。

为达上述目的，本发明所提供的字段的规范化自动命名方法，具体包含：获取待命名的字段所对应的中文数据；通过预设短语词库对所述字段对应的中文数据进行分词处理获得描述短语，根据所述描述短语的词性筛除所述描述短语中预定类别短语获得命名短语；将所述命名短语与预设短语词库比较，获得所述命名短语对应的分类信息和缩写标识；根据所述分类信息和所述缩写标识按预设命名组装规则组装获得命名数据。

在上述字段的规范化自动命名方法中，优选的，将所述命名短语与预设短语词库比较之前还包含：于预设数据库中检索所述字段的历史命名数据；当存在历史命名数据时，比较分析所述历史命名数据和所述命名短语之间的相似性；当所述相似性超出预设阈值时，以所述历史命名数据作为所述字段的命名数据。

在上述字段的规范化自动命名方法中，优选的，比较分析所述历史命名数据和所述命名短语之间的相似性包含：通过词向量模型分别获取所述历史命名数据和所述命名短语的词向量；利用词向量相似度计算方法比较所述历史命名数据和所述命名短语的词向量之间的相似度，获得所述历史命名数据和所述命名短语之间的相似性。

在上述字段的规范化自动命名方法中，优选的，通过预设短语词库对所述字段对应的中文数据进行分词处理获得描述短语，根据所述描述短语的词性筛除所述描述短语中预定类别短语获得命名短语包含：根据预设短语词库构建单词查找树，通过所述单词查找树利用二分查找算法对所述字段对应的中文数据进行机械分词和词性标注；根据所述描述短语的词性筛除所述描述短语中无义词后获得命名短语。

在上述字段的规范化自动命名方法中，优选的，通过预设短语词库对所述字段对应的中文数据进行分词处理获得描述短语还包含：当预设短语词库中未包含所述描述短语时，根据所述中文数据生成提示信息；通过所述提示信息请求获得外部输入的描述短语及对应的词性。