双11的世界级流量背后，阿里如何平衡成本和用户体验
2019-11-25 09:34:28   来源：东方头条   

能支持双11巨额流量的大数据和AI能力到底有多强大？

来源 | 大数据文摘

文｜魏子敏

今年双11，阿里巴巴当天处理的数据量高达970个PB，这是一个怎样的量级呢？打个比方，央视网目前所有电视剧和新闻节目留存下来，数据量级只有80个PB，不及阿里双11当天要分析数据的十分之一。

的确，对于阿里巴巴的技术人来说，每一年的双11都是一次“大考”，检验的不仅是那一天的技术稳定性，其背后的技术基础设施更是一项项世界级的超级工程——2009年阿里巴巴开始自研云操作系统飞天，2011年首次应用自研数据库OceanBase，2014年实现异地多活，2015年实现混合云弹性架构，2018年首次应用神龙服务器，而今年，阿里给自己定下的大目标是——实现核心系统100%上公共云。

正如马云所说，“双11是一次技术测试，它所需要的所有技术、设备，是十年以后整个中国科技、经济发展的一种基础设施。”

具体到大数据和AI，双11需要考虑的场景主要面临三大场景和两大问题：

对于消费者，双11预热期和当天，希望看到什么样的产品；对于商家，需要预测今年双11哪些货会成为流行款，我们提前备多少合适？对于物流来说，如何合理安排，避免堵塞。

这三个场倒回来两个问题：供应链问题和物流问题。

看似简单的问题，面对的却是千万级别的商品和十亿计的消费者规划，这样一个超大规划的问题，更简单来说，考验的是怎么用大数据、AI的角度帮消费者定制最合适的款，告诉商家备什么样的货、备多少货，告诉物流的企业怎么做物流，这也是双11背后，大数据、AI最大的挑战。

如何解决成本和用户体验的矛盾？

剁手党们都知道，双11当天的流量是个非常极端的案例，流量峰值极高，但下滑也非常迅速：双11刚开始大家会有一个疯抢的过程，这是非常迅速的爬坡的过程，一直到凌晨有几分钟到达一个巅峰；过了凌晨后，流量会慢慢降下来，到两三点大家开始休息了，到早晨起来又会有一个购物的过程。

这样一个过程中，有两个数值需要关注。

一是至高点，想支撑这样一个巅峰，并且能够有一个相对比较顺滑的体验，需要把服务器扩展到一个比较高的值，但是，如果按照这个巅峰部署在线服务非常贵，并且因为每年只需要这一次使用，平时都是闲置，这就意味着数十亿的成本的增加；

另一个是中位数，如果按照这个值去做机器部署，在其之上的所有请求都会卡住。这个问题其实对于一般的企业并不是问题，但是对于阿里巴巴来说问题就非常严重，因为在凌晨的巅峰流量中损失的可能是非常大的营业额。

怎么解决这个问题？

这里要提到一个阿里目前应用比较成熟、颇受业内好评的技术——混合部署。阿里云智能计算平台事业部研究员关涛（观涛）用这样一个例子讲述了解决方案：先顶上一些可以进行大数据和AI计算的服务器，下面是在线服务，就像手机后台的Web server。

“平时因为我们在线服务包括晚上很多其他的时间用不满，但在那个时候大数据的计算实际上会用一部分在线服务的资源来做计算。到双11当天的时候会有一个后退，我们把作业限下来，在零点、两点之间针对双11购物的尖峰把在线的部分推上去，用更多的服务服务这种服务，把这个服务撑下来。因为双11产生了海量的计算，在线服务再让给一部分服务器，把双11这部分的峰值吃掉，走到正常水平状态，这是一年可能就做这一次两个小时的双11的巅峰，其实能帮阿里巴巴节省数十亿的成本。”

这里关涛重点强调了两个关键点：一是弹性，不同系统之间动态弹性的能力；二是成本，通过弹性的方式节省成本。

而这两条线实际上就是云计算的本质，这也是今年阿里云耗费巨大精力，实现所有核心系统上云的核心点。

关涛称，“从这点上我们拥有了10万规模的弹性调度能力，有效解决了双11的成本和用户体验的矛盾。 ”

飞天大数据平台：

为每个商家提供决策数据支持

双11后台是由阿里计算团队一套叫做流计算系统的配置，它是一个数据进来的实时计算的系统，通过实时计算的模式，能够给到系统，给到商家，给到消费者非常实时的数据的能力。从数字上看2017、2018年在能力上有将近一倍的提升，通过这种峰值的提升，让大家下单的时候感觉不到任何卡顿。

当然，双11背后还有非常多的数据需要实时计算，当天虽然很多商家备货，做了自己的爆款，做了自己促销的计划，但是双11当天瞬息万变，不知道什么时候货就光了，究竟卖的好不好，因此，阿里还研发了一个面向商家商业决策的支持平台。

关涛举了个例子，阿里会给商家做一个提示，主推款的商品卖的太快，按照目前的情况你可能到明天两点就没了，因为很多商家不希望双11一开场货就卖光了。

“另外我们会告诉商家主推款其实目前甚至卖的范围在整个行业角度上来看没有达到预期，会鼓励商家多考虑发一些优惠券，所有这些行为都做了实时计算的结果和AI的预测结果，推出给商家，我们今年的数据统计中，去年2018年双11的时候，这样的实时推荐给商家的智能的决策90%都会被商家采用，比如我们认为你换一个主推款更好，推出券出去去，几乎商家都会跟着做。”

飞天AI平台：不仅千人千面

双11背后还有一个叫做飞天AI的平台，2010年大家打开淘宝长的都一样，2013-2015年阿里开始尝试千人千面，每个人的推荐购买页面都不一样，到2019年，不仅千人千面，甚至同一件商品会有上千种不同的视频封面。

“这就是刚才说的我们把音频和视频的元素都合进推荐系统里面去，我们会自动甄别挑选出最合适的视频。从这里大家可以看到，我们的系统其实处理非常多视频，在千万级别的货品，可能搜下很多货品都有几百上千个不同视频的图片，这是靠飞天AI平台做的。”

尽管依托分布在全球超过十个数据中心里面，数据中心的机器损失在几十台台规模是一个正常的现象，但如何做到不让用户感知，才是一家合格云服务企业的能力。超大规模、弹性扩展、低成本、AI、企业级高可靠性，从飞天系统、大数据处理平台到智能化应用，这些技术叠加起来打造了一个新的分布式的基于云的平台，才支撑起了双11的世界级流量。

END

编辑|阿板 校对|坚果 视觉|牛小伟

文章已经在微信公众号原创发表，

需要转载，请在公众号后台联系。