[发明专利]多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序

说明书

技术领域

本发明涉及多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序，更具体地，涉及用于估计要混合的模型的数目、类型和参数的多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序。

背景技术

使用多个模型来呈现数据的混合模型(混合分布)在工业应用中非常重要。存在多种示例，例如混合正态分布模型和混合隐马尔可夫模型。例如，工业上这种混合模型用于根据观测到的异常值发现不诚实的医疗账单(非专利文献1)，或检测网络故障(非专利文献2)。此外，混合模型的其他重要应用示例包括销售中消费者行为聚类(基于假定类似消费者属于相同模型的研究)以及对物品主题的分析(基于相同主题的物品属于相同模型的研究)。

通常，在指定构成混合模型的多个模型(也称作分量)的混合的数目(也称混合数目)和分量类型的情况下，例如EM算法(非专利文献3)和变分贝叶斯方法(非专利文献4)之类的公知方法可以用于指定分布(模型)的参数。确定用于估计这种参数的混合数目和分量类型是必要的。通常，指定这种模型的问题被称作“模型选择问题”或“系统识别问题”，并认为是构建可靠模型的重要问题。因此，已经提出了有关该问题的多种技术。

例如，选择具有最大后验概率的模型的方法被称作用于确定要混合的模型的数目的方法。为此提出的方法有：1)基于贝叶斯信息量的方法；2)基于变分贝叶斯方法的方法(例如，非专利文献4)；3)基于使用Dirichlet过程的非参数化贝叶斯估计的方法(例如，非专利文献5)；等。

现有技术列表：

非专利文献

非专利文献1：Kenji Yamanishi，Jun-ichi Takeuchi，Graham Williams，and Peter Milne，″Online Unsupervised Outlier Detection Using FiniteMixtures with Discounting Learning Algorithms″，Proceedings of the SixthACM SIGKDD International Conference on Knowledge Discovery and DataMining(KDD2000)，ACM Press，2000，pp.320-324。

非专利文献2：Kenji Yamanishi，and Yuko Maruyama，″Dynamic SyslogMining for Network Failure Monitoring″，Proceedings of the Eleventh ACMSIGKDD International Conference on Knowledge Discovery and DataMining(KDD2005)，ACM Press，2005，pp.499-508。

非专利文献3：A.P.Dempster，N.M.Laird，and D.B.Rubin，″MaximumLikelihood from Incomplete Data via the EM Algorithm″，Journal of RoyalStatical Society.Series B(Methodological)，Vol.39，No.1，1977，pp.1-38。

非专利文献4：Adrian Corduneanu and Christopher M.Bishop，″Variational Bayesian Model Selection for Mixture Distributions″，InArtificial Intelligence and Statistics2001，T.Jaakkola and T.Richardson(eds.)，Morgan Kaufmann，pp.27-34。

非专利文献5：Carl Edward Rasmussen，″The Infinite Gaussian MixtureModel″，in Advances in Neural Information Processing Systems12，S.A.Solla，T.K.Leen and K.-R.Muller(eds.)，MIT Press(2000)，pp.554-560.