[发明专利]一种大数据高并发下全域频控系统及方法

说明书

本发明公开了一种大数据高并发下全域频控系统和方法，创建基于文件的共享内存，让每个订单频控标识对应一个共享内存文件，生成自定义缓存，将共享内存映射到缓存中。消息处理系统管理多个压缩写进程，竞价系统进行频控查询的时候，先将数据进行分片计算，确定访问那组缓存服务器的那台服务器可读，连接该缓存服务器的某个读进程，根据媒体标记，查询所有该媒体的所有订单，从自定义缓存中取出对应的频控标识对应的共享内存映射，取出共享内存中的频控次数。最后格式化信息将所有订单的频控情况一起返回竞价服务器。整个系统解决了现有分布式缓存的缺点和不足，非常适用于大数据并且高并发的环境，轻松实现了全域频控系统的要求。

技术领域

本发明涉及一种大数据高并发下全域频控系统及方法。

背景技术

随着网络技术的发展及智能终端的快速普及，移动互联网及传统互联网给大数据精准营销公司带来了新的机遇，同时也带来了新的挑战。在大数据精准营销公司中，互联网广告平台DSP(需求方平台)是一个在线实时广告平台，它拥有两个核心特点，一是大量数据下非常快的数据运算速度和技术，二是高并发下先进的用户定向技术能力。

互联网广告平台对数据运算技术和速度、用户定向技术都要求极其苛刻。从普通用户在浏览器中地址栏输入网站的网址，到用户看到页面上的内容和广告这短短百多毫秒之内，互联网广告平台和媒体门户网站就需要发生了好几次网络往返的数据信息交换。媒体卖方平台首先要向DSP发竞价请求，到DSP的竞价响应，响应超时时间不得120毫秒，否则认为竞价失败。在这段时间内dsp平台还需要对几十乃至于上百个订单的每个订单进行地域判断，平台判断，频控次数判断，价格判断，尺寸判断，广告类型判断，点击数判断，曝光数判断，黑白名单判断，展示类型判断等等，还要对用户进行性别、职业、年龄、收入、兴趣爱好等等进行判断。实现用户定向投放。每个订单对大型数据的查询和运算不下几十次，对每次的查询和运算都是毫秒级的，并且dsp平台的QPS一般都是几十万，这对系统的架构及一些系统的应用带来了很大的挑战。

全域频控系统就是其中的挑战之一。全域频控是指在用户全部的媒体中看到该广告的次数。例如:某个广告主希望每个用户在所有的媒体中，最多看到3次他的广告，从而能够节约成本，在有限的广告预算中能让更多的人看到广告。当然，全域频控也可以只针对某种类型或者某地域或者某时间段频控，是可大可小的灵活设置的频控方式。频控的一条数据大约是50个byte左右，一个订单大约10亿左右的数据，占用的内存大约在70G左右，redis也准备2倍以上的空间，大约需要150G以上。设计每天100个订单计算需要15T左右的内存。对内存的占用也是难以承受。

互联网高速发展的今天,高并发的场景并不鲜见。例如电商秒杀和抢购以及12306网站上节假日抢票等,都是比较典型的互联网高并发场景。对于高并发场景，如果不进行合理架构及流量管控，将导致一系列的问题出现，比如一些可用的连接资源被耗尽、分布式缓存的容量被撑爆、数据库吞吐量降低，最终必然会导致系统产生雪崩效应。一般情况下，这些互联网站通常采用的做法是通过扩容、动静分离、缓存、服务降级及限流等手段来保护系统的稳定运行。