[发明专利]字频分级统计方法及系统

说明书

技术领域

本发明涉及计算机信息处理技术领域，具体涉及一种字频分级统计方法及系统。

背景技术

文字的发明是人类文明的重要标志，也是一个民族的传统与文化得以延续的主要手段。

我国文字历史悠久，形体变革多样。数千年来，从文字图画到图画文字，再到甲骨文、金文、大篆、小篆、隶书、草书、行书、楷书，汉字的形体虽多有变异，但又一脉相承，忠实地记录了中华文明的光辉历程。

作为文字具体载体的古今字书资源数量庞大，从东汉《说文解字》到当代的《汉语大字典》，各类著录了大批文字及其形音义属性的字书、韵书，是进行文字研究平台的基本资源，对这些浩瀚的文字资源进行数字化后，如何高效的进行各种统计范围、统计级别的字频统计，将会大大促进中华各族文字研究的进程，进而加快我国文字处理的国际化、标准化进程。

而现有的字频统计方法通常是，首先针对待提取的古今字书原始资源，进行数字化处理，建立基础字集数据库进行处理。这些基础数据库包括古今字书资源库、古文字属性库、现代汉字属性库、少数民族文字属性库等，然后以单个字本身为单位，在全体数字资源库中逐个进行遍历性质的字频统计，这种统计方式在大数据量的时候其统计效率较差，速度较慢。在上百万、上千万的数据统计中，通常需要较长的等待时间。这种方式即使在大型数据库服务器端采取了优化措施，其即时的统计速度仍不能让人满意。

发明内容

本发明提供一种字频分级统计方法及系统，以提高统计速度和准确率。

为此，本发明提供如下技术方案：

一种字频分级统计方法，包括：

提取每份原始文献的属性信息；

根据所述属性信息对所述原始文献进行分类，并建立不同类别的文档属性表；

逐一对各类别的原始文献进行数字化，生成数字化文档；

根据文字的属性信息进行以所述数字化文档为单位的初级字频统计和字数统计，并将统计结果保存到与所述文档属性表与所述数字化文档相应的电子目录下；

按每篇文档的字频统计记录为基础统计单位，进行文字在各种统计范围内的逐级合并式字频统计。

优选地，所述属性信息包括：文件信息和内容信息；

所述文件信息的特征包括：文件时间信息，文件名；

所述内容信息的特征包括：类别信息，分类号，作者，朝代信息，字型信息，出土信息，出版信息、样本名称。

优选地，所述逐一对各类别的原始文献进行数字化，生成数字化文档包括：

逐一将各类别的原始文献的图片转换为可以编辑、检索的数字化文档。

优选地，所述文字的属性信息包括以下任意一项或多项属性信息：文字的字型、Unicode编码、笔顺、笔画、部首、字型结构。

优选地，所述根据文字的属性信息进行以所述数字化文档为单位的初级字频统计和字数统计包括：

根据文字的属性信息，以每份文档为单位进行每个字符的字频统计和字数统计。

优选地，所述进行文字在各种统计范围内的逐级合并式字频统计包括：

基于所述数字化文档的内容属性信息，进行按文档属性信息的快速合并式字频统计；和/或

基于文字的属性信息，进行基于文字属性信息的快速合并式字频统计。

一种字频分级统计系统，包括：

提取单元，用于提取每份原始文献的属性信息；

分类单元，用于根据所述属性信息对所述原始文献进行分类，并建立不同类别的文档属性表；

数字化单元，用于逐一对各类别的原始文献进行数字化，生成数字化文档；

初始统计单元，用于根据文字的属性信息进行以所述数字化文档为单位的初级字频统计和字数统计，并将统计结果保存到与所述文档属性表与所述数字化文档相应的电子目录下；

综合统计单元，用于按每篇文档的字频统计记录为基础统计单位，进行文字在各种统计范围内的逐级合并式字频统计。

优选地，所述数字化单元，具体用于逐一将各类别的原始文献的图片转换为可以编辑、检索的数字化文档。

优选地，所述初始统计单元，具体用于根据文字的属性信息，以每份文档为单位进行每个字符的字频统计和字数统计。

优选地，所述综合统计单元包括：

第一统计子单元，用于基于所述数字化文档的内容属性信息，进行按文档属性信息的快速合并式字频统计；和/或

第二统计子单元，用于基于文字的属性信息，进行基于文字属性信息的快速合并式字频统计。