支持百亿请求的微博广告运维技术实践

 一、运维在广告体系中的价值

运维的工作来源已久，但直到近些年，随着互联网的发展，产品的维护工作越来越复杂，以及服务可用性的提升，都让运维的工作越来越重要。我们可以回顾下运维发展至今都经历了哪些阶段。

① 人工阶段

这个阶段的运维主要通过人肉操作我们的服务，由于这个阶段的服务大都是单实例，流量服务器都比较少，所以我们通过命令行就能够解决绝大多数的问题。

② 工具阶段

随着互联网影响逐渐变大，我们的流量也开始变大，我们的产品功能也开始变得丰富，曾经我们单实例的服务也开始朝着多实例、分布式发展，为了应对逐渐增加的服务器、服务数，我们开始使用一些如Puppet的运维工具，通过Shell、Python写一些脚本来提升运维的工作效率，减少重复的劳动。

③ DevOps

前几年，运维领域开始提出DevOps的理念，开始着手解决运维与开发的合作问题，开始让运维的工作走向规范化、平台化。让一个产品从功能开发到测试交付、再到后期运维能够更加的快捷、频繁、可靠，更快的响应互联网快速的发展和产品迭代。

④ AiOps

这两年，人工智能和大数据的异常火热，而运维领域的许多工作都为AI和大数据的实施落地提供了良好的土壤。我们也希望通过Ai和大数据等技术的引入，能够将运维的技术层次带入一个更高的台阶。

通过以上描述，我们可以看到运维的工作在互联网的产品技术链中是不可或缺的一环，那么下面我们再来看下在微博广告团队，我们都是通过哪些方案举措来服务微博广告的产品。

对于我们微博广告团队来说，服务的可用性是至关重要的，也是我们的核心KPI，所以保障广告服务的稳定性也是我们运维工作的重中之重。我们主要会通过优化系统和提升效率两个方面来保障和提升我们服务的可用性。

具体涉及的内容包括系统性能评估、故障迅速定位、应急事件处理、请求链路跟踪、代码快速迭代、指标走势预测等等。

▲ 图1-1 运维在微博广告的价值

二、复杂业务场景下的运维建设之路

1、服务治理

图2-1是去年IG夺冠时，王思聪发了一条博文，而这条博文对微博广告的影响就如图2-2所示。这种突发的流量波动是微博典型的特征之一，它不同于双十一等活动，可以提前预估流量，做好前期准备工作。在传统的运维场景下，也许在你也还没准备好的情况下，流量的高峰就已经过去了。所以如果应对这样突发的流量高峰是我们需要重点解决的问题之一。

▲ 图2-1

▲ 图2-2

从去年开始，我们运维团队开始进行基于机房的服务治理工作。在以前，广告的很多服务部署都是单点单机房、很多多机房的部署也面临部署不均衡，流量不均匀等现象。跨机房的请求更是无形的增加了整个广告链路的请求耗时。所以再出现机房级故障时，我们的服务就可能像图2-4所示的那样，那么服务的高可用性也就无从谈起了。

▲ 图2-3

▲ 图2-4

在19年的上半年，经过大半年的时间，我们完成了微博广告基于机房级别的服务优化改造。共治理服务一百多个，所有的服务都分布在两个及以上的运营商和机房中，从而避免了单机房出现故障时，造成广告服务的不可用。而我们治理过程中坚持的准备主要有以下几点：

服务多机房均衡部署

分布在不同运营商

机房承载能力冗余

流量请求均匀分布

上下游同机房请求

同时，我们还会定期做流量压测，来发现我们系统链路中的服务瓶颈。我们将生产环境的流量重新拷贝到生产环境中去，来增加线上流量，发现服务性能瓶颈。

图2-5是我们对某广告产品的整体性能压测所展示的效果，我们可以清楚的发现图中有两个模块的在流量高峰下，出现了耗时波动较大的问题。由此我们可以针对性的进行优化。

▲ 图2-5

2、自动化运维平台

随着互联网的发展，我们的广告产品也是日新月异，迭代频繁。我们运维团队每天需要面对来自三百多个业务方提过来的上线需求，在三千多台机器上进行服务的变更等操作，如何提升服务上线的效率和质量，如何让变更变得安全可靠也是我们重要的目标之一。

（编辑：ASP站长网）