freeBuf
一文了解“内容检测”性能测试自动化建设
2023-03-17 14:25:17
所属地 浙江省

网易易盾内容检测服务经常在线上做性能测试,在性能测试过程中遇到了哪些痛点?对于这些痛点,怎样通过自动化的手段来尝试改进?

01 性能测试简介

1.1 什么是性能测试

性能测试是通过特定的方式对被测系统按照一定策略施加压力,获取该系统的响应时间、吞吐量等性能指标,来检测系统上线后能否满足用户需求的过程。基于性能测试的定义不难看出,性能的核心指标就是经常挂在嘴边的QPS和RT。

c724c7a1-cade-42ad-909d-12c673a78bd8.png

1.2 为什么要做性能测试

简单了解性能测试之后,有些小伙伴肯定会问为什么要做性能测试。对于这个问题,打算举两个生活中的例子来说明下。

(1)12306——每年春运都是一次大考

ac7917d4-2417-4def-b777-e319e6bf9b4a.png

临近春节,打工人要抢回乡的火车票,2019年12月23日,有大量网友反映,12306网站突然崩了,在购买车票的时候出现无法登录、无法购票、车次加载失败、页面卡住等情况,疑似因访问流量过大而出现服务器崩溃。

(2)微博——顶流明星的瓜不好吃

f4402843-4d1f-45e5-8a2d-051912566bc7.png

知名明星的离婚消息突然公布,消息迅速登上微博热搜。此类消息公布后,有网友反映微博客户端出现了短暂宕机、网络出错的现象。

02 性能测试的痛点

2.1 压测执行过程繁琐

压测执行在易盾性能测试的整个流程中比重最大,易盾线上压测一般采用梯度压测。什么是梯度压测,简单而言,就是把压测的大目标拆分成多个小目标。从小的目标做起,直到最后完成最终目标。假设易盾内容检测压测的目标值是QPS达到200,那通常从压力值20开始,然后40、60逐渐加大压力,直到最后完成200的目标值。

3d93ab21-451e-4906-a6cf-fe0308f9d55c.png

具体的执行步骤怎么样呢?我们先用压力值20,在NPT压测平台创建一个压测任务并执行,一般一轮压测执行10分钟。如果达不到20的目标值,压测中止定位性能问题;如果达到20的目标值,创建下一个目标值40的压测任务,继续执行。重复之前的判断逻辑,直到压测中止或者完成压测目标。

11b6111f-9425-4c53-a123-dcc977a04c90.png

可能有人会问,这不是自找麻烦,直接用200去压测看看行不行不就完事了。线上压测,保证线上安全始终是第一位的,要慎之又慎,如果因为压测把线上压挂了会严重影响客户体验,甚至产生资金损失。

2.2 监控依赖人

在性能测试过程中,监控&分析属于一个难点,到底难在哪里?这里需要人的经验,要对“被测系统”比较熟悉。只有在熟悉的前提下,你才知道需要看哪些监控指标,这些指标是不是正常,进而给出判断的结论。

目前,线上压测会安排值班同学观察监控,这种依赖人的监控很难做到实时,因为人的精力有限,根本没法兼顾所有监控。还有就是很少有同学从头到尾盯着监控的,大家都是有报警的时候去关注下。这样存在一些风险,可能有些报警没有配置、或者配置修改了没有及时还原,导致线上有问题了,没有报警发出来。

在压测过程中,我们经常会遇到加大并发QPS上不去的情况,这时候一般就出现性能瓶颈了,但是这个瓶颈在哪里就需要根据监控数据去定位和分析了。我们在定位的时候无非也是使用经验的三板斧,CPU/内存/磁盘/网卡等系统资源是否正常,请求量和RT是否合理,有没有出现超时等异常错误。

1a6b14b8-2acb-4b38-972b-3157f88fa592.png

2.3 压测数据未隔离

b2192d54-767b-4473-aaa1-bd81d1a65a2e.png

由于压测流量和真实流量没有做数据隔离,导致线上无法进行全链路压测,有些业务场景覆盖不到。比如易盾存储场景,一旦数据落库存在性能问题,kafka的数据就会积压。此时kafka的topic中既有真实流量又有压测流量的数据,就算立马停止压测,也会影响线上真实流量数据的消费速度,影响用户体验。因此,平常线上压测都会关闭数据存储。

2.4压测资损

易盾有一些外部供应商,之前压测过程中,由于方案评估不到位遗漏了供应商这个环节,导致线上压测产生了一些额外的费用,这种压测资损也是不能容忍的。

03 性能测试自动化实践

3.1 压测一键执行

创建压测任务的时候,自动创建多个梯度压测子任务。还是用易盾内容检测来举例,我们创建一个QPS目标值200的压测任务,这个压测任务被拆分成了5个梯度,每个梯度的压测目标值从小到大分别是40,80,120,160和200。这5个梯度对应NPT平台上5个压测目标值分别是40,80,120,160和200压测子任务。

474d2cdf-dbf6-4294-beaf-ae7d7565b7e3.png

点击启动压测任务后,系统会顺序执行NPT平台上QPS目标值40,80,120,160和200的压测子任务。压测子任务达到目标值,会自动执行下一个子任务,如果达不到目标值,就会自动中止压测任务。

c7e54cfa-7e05-48b5-b2e0-70b70c17d012.png

3.2 监控&分析量化

对于监控与分析,明确的思路就是量化。

先是监控,我们事先定义好哪些应用需要纳入监控,这些应用各自需要监控哪些指标。这两个要素搞清楚之后,剩下就是通过哨兵提供的API获取监控数据,写入数据库。

015a911c-26c4-4919-bb9a-c787f83bf648.png

对于外部供应商特殊业务场景的监控,我们在监控大盘纳入供应商请求量的指标。当供应商请求量同比或者环比出现异常时,要及时停止压测。

c75d2158-8b2c-46a7-8d0b-359b750393d6.png

3.3全链路压测组件接入

存储场景压测覆盖不到的问题如何解决?首先“被测系统”接入了全链路压测组件,实现了真实流量和压测流量的数据隔离。

060ee52b-351d-4ac3-873c-16b5beb2d0f7.png

其次,影子队列消费提供开关,kafka数据积压时,关闭开关,保证只有真实流量数据的消费。

04 性能测试自动化平台

对于上述性能测试中的改进点,我们构建了自有的性能测试自动化平台来承载。

4.1 整体架构

e88d7eef-b82b-476a-9418-c89c82a62325.png

4.2 落地情况

易盾SaaS服务压测已经完成小流量的试跑,和之前的常规压测比,具有明显的优势。

591347fd-3679-4d33-9c50-7a2f4ccaa41e.png

本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏