[发明专利]一种基于词条作品热度构建分类分级词表的方法及系统

说明书

本发明提供一种基于词条作品热度构建分类分级词表的方法及系统，通过按照预设分类方式，从文学语料库中提取出预设类型的词条构成分类词集；然后根据分类词集中各词条在每一作品中出现的频次和各作品的总字数，逐词计算分类词集中每一词条在每一作品中的作品热度；并将同一词条所对应的各作品热度求和，得到相应词条的词条热度；最后根据每一词条对应的词条热度，对词集中词条进行排序并基于排序结果构建分类分级词表。本发明可解决对于作品字数不平衡语料库，现有分类分级词表构建方法对词条排序不合理的问题。

技术领域

本发明涉及分类分级词表技术领域，特别是指一种基于词条作品热度构建分类分级词表的方法及系统。

背景技术

分类分级词表是儿童分级阅读计量的基础资源，在儿童的成长中，从分类分级词表中的特定类型词条的自然属性那里获得的信息，是一份极为重要的精神营养。面向儿童阅读需求构建分类分级词表可以为儿童分级阅读计量提供基础资源。而在分类分级词表的构建过程中，词汇分级是文本分级的重要依据。

现有对分类词汇进行分级的方法主要是基于语料库提取常用词经常使用“频次”和“分布”。基于频次和分布计算词的使用度，编出按使用度高低排列的分级表，其分布主要考虑的是语料的“分类”与“语篇”的数量，此方法一般适用于常规基础词语的分类分级。

但对于一些字数不平衡的文学语料库，上述方法并不适用；例如对于儿童文学语料，其中的儿童文学服务于各年龄层次的儿童，不同作品间存在很大的字数差异性。如果按照使用“频次”和“分布”对儿童文学语料中提取的分类词条进行分级排序，就容易出现对于同一词条，根据篇幅较小的作品计算的使用度会偏小，而根据篇幅较大的作品计算的使用度又会偏大；如此一来，势必造成基于此类分级方式所构建的分类分级词表不合理的问题。

发明内容

本发明要解决的技术问题是提供一种基于词条作品热度构建分类分级词表的方法及系统，针对作品字数不平衡语料库，提供一种基于词条作品热度对词条进行排序的方案，并在此基础上构建更为合理的分类分级词表，进而为儿童分级阅读计量提供基础资源。

为解决上述技术问题，本发明的实施例提供一种基于词条作品热度构建分类分级词表的方法，其包括：

按照预设分类方式，从文学语料库中提取出预设类型的词条构成分类词集；

根据所述分类词集中各词条在每一作品中出现的频次和各作品的总字数，逐词计算所述分类词集中每一词条在每一作品中的作品热度；

将同一词条所对应的各作品热度求和，得到相应词条的词条热度；

根据每一词条对应的词条热度，对所述分类词集中所有词条进行排序并基于排序结果构建分类分级词表。

进一步地，该文学语料库是多篇字数不同的作品构成的字数不平衡语料库。

进一步地，所述分类词集中每一词条的作品热度通过下列公式计算得出：

其中，f_i,j为词条i在作品j中的作品热度，FC_i,j为词条i在作品j中的频次，FZ_j为作品j的总字数，k为自定义的常量。

可选地，k的取值为10000。

可选地，所述对所述分类词集中所有词条进行排序，具体为：

对所述分类词集中所有词条按照各词条对应的词条热度的降序进行排序。

相应地，为解决上述技术问题，本发明的实施例还提供一种基于词条作品热度构建分类分级词表的系统，其包括：

分类词集构建模块，用于按照预设分类方式，从文学语料库中提取出预设类型的词条构成分类词集；