[发明专利]一种基于动态主题模型的软件演化建模方法

说明书

技术领域

本发明涉及一种软件建模方法，特别涉及一种软件演化建模方法，属于软件开发工程领域。

背景技术

随着软件项目的开发，其复杂程度不断提高，对其维护和理解的难度也不断加大。开发者和项目经理的注意力需要多次在不同的主题和任务间转移，他们经常需要回答这样一些问题：该软件项目是如何随时间变化的？哪一个主题或任务是当前工作的重点，并在其中花费了多少精力？各种软件开发特征（例如修复错误，增加功能，修改功能，改善功能等）在不同时间段内所占比重是多少？同一个开发特征在不同的时间阶段内其侧重点又是什么？要回答这样一系列问题，就需要去软件历史库（例如源代码，提交消息，故障数据库等）中寻求答案。但考虑到软件历史库过于庞大，靠人工的方法去理解软件随时间的变化过程相当的费时费力，甚至有时是不可能完成的任务。所以这时候就需要采用数据挖掘或信息检索领域的技术（例如主题模型）去挖掘软件历史库（尤其是非结构化历史库）中的语义信息，来帮助我们理解软件的演化过程。

在该领域中，狄利克雷分配模型（LDA）及其变种已被用来对某些非结构化软件历史库（比如源代码source code和提交消息commit messages）进行挖掘。但其采用的软件演化模型存在以下问题：1）简单得使用LDA对整个语料库中的文档一次性建模，然后通过“文档-主题”矩阵计算一系列指标来表征软件特征的演化过程，虽然取得不错的效果，但没有考虑到“单个时间段内的文档具有无序性，时间段间的文档具有有序性”的原则（比如 the Hall Model）；2)需要进行主题连接等繁琐的后处理过程（比如the Link Model）。

动态主题模型于2006年由美国普林斯顿大学的David M. Blei 等人提出。对于一个以时间段（比如月或周）划分的语料库，动态主题模型可假设后一个时间段的主题由前一个时间段的主题演化而来。但是动态主题模型假设主题的演化服从正态分布，这个限制导致它使得很大的改变处于不利地位，即它不适用于主题变化很剧烈的语料库。所以为了避免这个缺点，我们选择将提交消息作为建模对象，因为通过大量的经验表明，在软件的演化和维护中，提交消息是软件开发人员对软件的每一次修改所进行的注释，它使用自然语言描述了谁修改了什么以及如何修改。其中充斥着许多永恒不变的软件开发特征：比如修复错误，增加功能，删除功能，改善功能等等。这些软件开发特征贯穿始终，所以使用动态主题模型对其建模，可以充分利用其优点且避开其缺点，从而产生理想的效果。

发明内容

本发明的目的是提供一种基于动态主题模型的软件演化建模方法，帮助开发人员和项目管理者理解项目开发过程中各个时间段内的开发侧重点以及整个时间周期内的开发特征的演化过程，缩短开发人员的开发维护时间，提高开发效率。

本发明的目的是这样实现的：一种基于动态主题模型的软件演化建模方法，其特征在于，包括如下步骤：

步骤1)预处理：对CVS数据库中的提交消息进行托肯化，去停用词，词干化三步操作，生成预处理后的消息文档，并分别建立时间序列文档和向量空间模型文档；

步骤2-1)建立时间序列文档：对预处理后的消息文档按时间间隔T进行划分，生成时间序列文档；

步骤2-2)建立向量空间模型文档：将预处理后的文档转化为向量空间模型文档，先将消息文档中出现的所有单词利用数字标号为其建立索引，且不允许重复，再将每一篇消息文档使用时间为其建立索引，最后将消息文档按篇逐行进行排列，每行消息文档按照unique_word_count index1:count1 index2:count2 … indexn:countn格式进行表征，其中unique_word_count代表该行消息文档中不重复单词的个数，index:count是一个键值对，代表在该行消息文档中第index个单词有count个；

步骤3)动态主题建模：设置主题数目K，将时间序列文档和向量空间模型文档作为动态主题模型的输入文档，使用动态主题模型对其建模，并将动态主题模型的输出分别转化为“文档-主题”矩阵和“主题-单词”矩阵；

步骤4-1)转化“文档-主题”矩阵：将动态主题模型的输出首先转化为一个“文档-主题”矩阵，并使用公式计算出第k个主题在第j个时间段的标准化分配权值，标准化分配权值用来表征相应软件的主题在该时间段内的分配权重，公式中|Tj|表示第j个时间段内的消息文档总数，dij表示第j个时间段内的第i篇消息文档，dij[k]表示这篇消息文档中有关主题k的概率；