[发明专利]用于低延迟数据存取的数据流分割

说明书

相关申请的交叉引用

本申请要求于2013年1月31日提交的美国专利申请号13/756,340的优先权，通过引用将其全部内容结合于此。

技术领域

本发明总体涉及数据获取和处理系统，并且具体地涉及能够将数据分割成多个数据流的数据获取和处理系统。

背景技术

计算机和网络计算的发展引起了需要大量数据存储的应用。例如，数千万用户可以创建网页并且将图像和文本上传到社交媒体网站中。因此，社交媒体网站每天可能累积大量数据，因此，需要一种用于存储和处理数据的高度可扩展的系统(scalable system)。存在促进这样的大量数据存储的多种工具。

这些社交媒体网站的前端集群监测用户活动并且基于社交媒体用户的活动产生日志数据。前端集群将日志数据传输至集中存储文件管理器或数据仓库。集中存储文件管理器或数据仓库组织所接收的日志数据并且对来自数据处理应用的请求作出响应。为了容纳大量的日志数据，普遍使用大规模的数据仓库以存储日志数据并且为来自数据处理应用的数据密集查询服务。

通过使应用能够与数以千计的计算机(也称作节点)的集群和前兆字节的数据交互存在支持大规模数据密集的分布式应用的框架。例如，被称为Hadoop的框架使用分布式、可扩展的、便携式文件系统，称为Hadoop分布式文件系统(HDFS)以在Hadoop集群中的数据节点(也称为从节点)之中分布大量数据。为了减小数据节点电源中断或网络故障(包括开关故障)的不利影响，HDFS内的数据通常被复制在不同的数据节点上。

开发了Hive用于在Hadoop集群的顶部上运行，Hive是一种开放源数据仓库系统。Hive支持用被称为HiveQL的类似脚本查询语言(SQL)的说明性语言表示的数据查询。然后Hive系统将用HiveQL表示的查询编译成可以有向无环图的数学表达式在Hadoop集群上执行的映射减少工作。HiveQL语言包括支持包含原始类型、集合(例如，阵列和映射)以及嵌套布局类型(nested compositions of types)的表格的类型系统。此外，Hive系统包括被称为Hive-Metastore的系统类目，包含方案和统计，这对数据探索和查询优化有用。

与Hadoop集群耦合的Hive系统可以为社会网络系统存储和分析大量数据。例如，Hive系统可以分析在用户之间的连接程度以对用户在社会网络系统上跟进的故事进行排列。Hive系统可以分析活动日志以了解社会网络系统的服务如何被用来帮助应用开发员、网页管理员以及广告人员做出开发和业务决定。Hive系统可以运行复杂的数据挖掘程序以优化向社会网络系统的用户示出的广告。Hive系统可以进一步分析使用日志以识别社会网络系统的垃圾邮件和滥用。

Hive系统对于没有创造并且执行Hive查询用于著作、调试并且调度复杂的数据管道并且基于存储在Hive系统和如同MySQL和Oracle的其他关系数据库中存储的数据生成报告的能力的人包括基于网络的工具。

然而，前端集群将捕获的日志数据定期而不是实时地发送到集中数据仓库。此外，在数据仓库能够对这些日志数据的数据查询做出响应之前，数据仓库需要花费时间组织所接收的日志数据。因此，在捕获日志数据的时长之后仅可用数据仓库中的日志数据。时长可以是一小时甚至一天。数据处理和消耗应用仅可访问具有明显延迟的日志数据。

此外，集中数据仓库需要保持与前端服务器的连接来持续接收日志数据。在现代的社交网络中，前端服务器的数目可以上千甚至更多。数据仓库承载保持连接的重大负荷。这种保持连接的负荷影响数据仓库的总性能。

发明内容

本文中引进的技术提供了低延迟地日志数据存取和处理的益处。具体地，本文中引进的技术包括实时生成大量日志数据并且将日志数据传送至聚合集群的前端集群。将聚合集群设计成聚合来自不同的前端服务器和集群的到来的日志数据流。聚合集群进一步将日志数据分割成多个数据流以便数据流被并行发送至接收应用。在一个实施方式中，聚合集群随机分割日志数据以确保日志数据被均匀分布在分割数据流中。在另一个实施方式中，接收分割数据流的应用确定如何分割日志数据。

根据本文中引进的技术，因此，提供了分割数据流的方法。该方法包括基于实时用户活动产生日志数据、将日志数据传输至聚合服务器、在聚合服务器聚合日志数据、将日志数据分割到多个日志数据流、以及将日志数据流并行馈送到至少一个后端服务器。