[发明专利]一种自适应的基于词汇文本难度的生词标注系统及方法

权利要求书

1.一种自适应的基于词汇文本难度的生词标注方法，其特征在于，包括以下步骤：

步骤一、进行文本词汇难度评估，计算词汇w在包含N个词语的文本text中出现n次的α概率分位数；所述步骤一、进行文本词汇难度评估，计算词汇w在包含N个词语的文本text中出现n次的α概率分位数；具体包括：

步骤1.1将文本text中的所有单词变形转化为原型形式，单词变形包括：首字母大写、动词各种变形、名词复数变形、形容词/副词比较级和最高级变形，文本中所有单词的原型构成的集合为WordSet，转步骤1.2；

步骤1.2统计文本text中各单词原型出现的次数，使用Count(w)表示单词w文本text中出现的次数，用T记录文本中的总词数，转步骤1.3；

步骤1.3对WordSet中的每一个单词w，利用公式textDif(w,text)＝α(w,n)I(w)计算单词w在文本text中的难度，其中n＝Count(w)，转步骤1.4；

步骤1.4将WordSet中的所有单词按照其在文本text中的难度排序，将在当前文本中最难的词汇设为w₁，次难词汇设为w₂，其在文本中出现的次数分别为n₁,n₂,...，以此类推；将这些单词及文本出现次数按降序插入键值对序列sortedWordMapw_i,n_i；其中，键w_i表示文本中难度排名第i位的单词，值n_i存储难度排名第i位的单词在文本中出现的次数；

所述步骤1.3中，利用公式textDif(w,text)＝α(w,n)I(w)计算w在文本text中的难度，具体包括：

待做词汇标注的英文文本为text，计算文本text中各个单词w的文本难度textDif(w,text)；然后，对文本中各单词按照难度由大到小的顺序排序并统计其出现次数；其中，在当前文本中最难的词汇为w₁，次难词汇为w₂，其在文本中出现的次数分别为n₁,n₂,...，以此类推；

文本text包含N个单词，单词w在文本text中出现k次的概率由二项分布近似刻画，即：

其中，为在N个元素中选择k个元素的组合数，N为文本text的总词汇数，Prop(w)为词语w在语料库中整体的出现概率；那么，词汇w在包含N个词语的文本text中出现n次的α概率分位数为：在text中w出现的条件下，w出现次数小于等于n次的概率累加，即：

而单词w在文本text中的难度textDif(w,text)由其在语料库中的信息量I(w)＝-lg(Prop(w))和w在文本text中出现n次的α概率分位数α(w,n)的乘积构成，即：

textDif(w,text)＝α(w,n)I(w)      (3)

步骤二、进行词表对比，确定文本text中不在词库Lex的超纲词汇，并将这些词汇按照难度排序后存储；

步骤三、进行生词标注，计算基于词汇文本难度词汇列表的累积词汇量，并对超过难度要求的生词进行标注；具体包括：

对前γ百分位的生词，利用词典进行词义标注或标注提示；具体步骤如下：

步骤3.1令当前累计词量TC＝0、处理词位I＝0，转步骤3.2；

步骤3.2令I＝I+1，对生词序列UnknownList中的生词U_I，计算累计词量TC＝TC+Count(U_I)；其中，Count(U_I)表示单词U_I在文本text中出现的次数，如果TC/N＝γ，将U_I加入需标注生词集合WordToLabel，转步骤3.2；否则，转步骤3.3；

步骤3.3遍历待标注生词集合WordToLabel，对其任意生词U，利用词典检索其对应的词义，用M记录，并将结果U,M存储到词标注序列LabelMap中；

步骤3.4遍历词标注序列LabelMap，对任意生词及其对应的词义U,M，在文本中找到生词U第一次出现的位置，按“U(M)”的格式，对词义进行标注；

步骤四、进行文本难度评估，并给出文本难度提示信息。