微服务系统场景下,系统的高可用性是一个很大的挑战,面对可用性的技术设计方案常用的就是服务的熔断、降级、限流来保证服务不出现雪崩的现象。服务限流定义:服务限流是指在⾼并发请求下,为了保护系统,可以对访问服务的请求进行数量上的限制,从⽽防⽌系统不被激增的流量请求压垮,在秒杀中,限流是⾮常重要的。几种常用限流算法【限流算法】计数器算法(固定窗口)计数器算法是使用计数器在周期内累加访问次数(比如一分钟内超过10w的阀值),当达到设定的限流值时,触发限流策略。下一个周期开始时,进行清零,重新计数。此算法在单机还是分布式环境下实现都非常简单,使用redis的incr原子自增性和线程安全即可轻松实现。这个算法通常用于QPS限流和统计总访问量,对于秒级以上的时间周期来说,会存在一个非常严重的问题,那就是临界问题,如下图:假设1min内服务器的负载能力为100,因此一个周期的访问量限制在100,然而在第一个周期的最后5秒和下一个周期的开始5秒时间段内,分别涌入100的访问量,虽然没有超过每个周期的限制量,但是整体上10秒内已达到200的访问量,已远远超过服务器的负载能力,由此可见,计数器算法方式限流对于周期比较长的限流,存在很大的弊端。【限流算法】滑动窗口滑动窗口算法是将时间周期分为N个小周期,分别记录每个小周期内访问次数,并且根据时间滑动删除过期的小周期。如下图,假设时间周期为1min,将1min再分为2个小周期,统计每个小周期的访问数量,则可以看到,第一个时间周期内,访问数量为75,第二个时间周期内,访问数量为100,超过100的访问则被限流掉了由此可见,当滑动窗口的格子划分的越多,那么滑动窗口的滚动就越平滑,限流的统计就会越精确。此算法可以很好的解决固定窗口算法的临界问题。【限流算法】漏桶算法漏桶算法是访问请求到达时直接放入漏桶,如当前容量已达到上限(限流值),则进行丢弃(触发限流策略)。漏桶以固定的速率进行释放访问请求(即请求通过),直到漏桶为空。【限流算法】令牌桶算法令牌桶算法是程序以r(r=时间周期/限流值)的速度向令牌桶中增加令牌,直到令牌桶满,请求到达时,向令牌桶请求令牌,如获取到令牌则通过请求,否则触发限流策略服务熔断定义:服务熔断是指,当服务A调⽤的某个服务B不可⽤时,上游服务A为了保证⾃⼰不受影响,从⽽不再调⽤服务B,直接返回⼀个结果,减轻服务A和服务B的压⼒,直到服务B恢复。服务降级定义:当发现系统压⼒过载时,可以通过关闭某个服务(比如评论服务),或限流某个服务来减轻系统压⼒,这就是服务降级。总结相同点:都是为了防止系统崩溃,影响用户体验和资损问题的发生。不同点:熔断是下游服务故障触发的,降级是为了降低系统负载,限流是在服务可承载的负荷下,控制流量顺序接收处理。#微服务##高可用##服务高可用##限流##熔断##降级##java##springcloud#
概要
0 评论