[发明专利]一种基于结构和属性相似度的用户实体解析方法

说明书

本发明公开了一种基于结构和属性相似度的用户实体解析方法，通过对社交网络的分析和建模，结合了社交网络中的好友关系和用户个人资料，即结构信息和属性信息，实现了跨社交平台的用户实体解析的目的。在实体解析的过程中，引入了动态阈值的概念，在迭代的不同时期使用不同的阈值来适应当前情况下的数据特点，调控属性和结构所占比重，以获得更为准确地结果。

技术领域

本发明属于实体解析技术领域，更为具体地讲，涉及一种基于结构和属性相似度的用户实体解析方法。

背景技术

在数据集中，数据所指向的现实世界中的对象，一般称之为实体(Entity)。对于同一实体，在不同甚至同一数据集中，可能存在多种不同的表现或描述形式，当将多个不同来源的数据集进行合并以分析处理时，这些对于同一实体的描述则会混杂在一起，造成一定程度的重复现象。实体解析(Entity Resolution)，就是对数据集中的多种不同的描述进行识别、连接，确定哪些描述映射于现实世界中的同一实体的过程。实体解析是数据预处理过程中的一个重要步骤，主要用于解决数据的重复冗余等质量问题。

随着社交网络的快速发展，实体解析在社交网络方面的应用逐渐受到了关注。大部分社交网络用户不仅仅使用一个社交网络，而是根据自己的兴趣和需要，同时使用多个社交网络，而不同的社交平台之间的信息是孤立的、不互通的，因此没有办法直接识别同一个用户在不同平台的虚拟身份。社交网络的跨平台实体解析问题，就是匹配和识别在不同社交平台上的属于同一用户实体的账户，即用户识别或账户匹配。通过账户身份的匹配，能够实现对用户的个性化服务，并且也有助于解决社交网络的一些安全问题。

实体解析这一概念最早被提出于1959年。Newcombe等人在《科学》上发表的文章首次提出了这个概念，并认为实体解析是一个统计问题，从概率的角度阐述了实体解析问题。十年后的1969年，Fellegi和Sunter首次对实体解析问题做出了规范化和公式化，他们将其视为一个机器学习中的分类问题并且在他们的文章中规范了实体解析的一系列符号和定义，建立了经典的Fellegi-Sunter模型。在此之后的研究中，有很多研究者对Fellegi-Sunter模型进行了改进和补充，主要有Jaro，Winkler，Belin和Rubin，Ravikumar，Larsen，Sadinle等人，其中，Winkler做了大量的工作，采用贝叶斯统计模型，对Fellegi-Sunter模型的参数计算和匹配规则等做了一系列的改进。

针对社交网络的实体解析研究，主要于近些年展开。大部分研究者着眼于社交网络的属性、结构和社交内容这几个方面展开研究。属性指的是用户的个人资料，如头像、用户名、性别、生日、教育背景、所在地等，结构指的是社交网络中账户与账户间的好友关系，而社交内容指的是用户在社交活动中产生的文本、图片等信息，如博客、评论、地理位置等。

基于属性的算法主要利用的是社交网络中用户的个人资料信息，将每一项描述信息分别视为用户的一个属性，把问题转化为属性字段的匹配。如Zafarani和Liu利用用户名和用户个人主页的URL，提出了用户实体解析算法。Goga等人提出了适用于大规模身份识别的算法。基于结构的算法就是主要利用社交网络的好友关系信息，把社交网络抽象成图结构，利用一些图结构信息来实现用户实体解析。Narayanan和Shmatikov^[13]以及Bartunov等人从这个角度研究了相关的算法。基于社交内容的算法利用对文本风格的分析，以及时间、地理位置等信息，实现用户实体解析。如Almishari和Tsudik提出了一种通过分析作者写作风格，在不同社交平台识别用户的方法。Goga等人提出了利用用户发布内容时的地理定位、时间戳，以及内容的写作风格来联合实现用户识别的工作。