【Guava】使用Guava的RateLimiter做限流

摘要:
1、 有两种常见的限流算法:漏桶算法和令牌桶算法。1.漏桶算法漏桶算法的原理相对简单。请求进入泄漏桶,泄漏桶以一定的速率漏水。当请求太多时,水会直接溢出。可以看出,漏桶算法可以强制限制数据传输速度。2.令牌桶算法的原理是系统以一定的速率将令牌放入桶中。如果有请求,请求将从存储桶中取出令牌。如果可以获得令牌,则可以继续完成请求,或者等待或拒绝服务。该算法可以处理具有突发程度的请求
一、常见的限流算法

目前常用的限流算法有两个:漏桶算法和令牌桶算法。

1.漏桶算法

漏桶算法的原理比较简单,请求进入到漏桶中,漏桶以一定的速率漏水。当请求过多时,水直接溢出。可以看出,漏桶算法可以强制限制数据的传输速度。

image

2.令牌桶算法

令牌桶算法的原理是系统以一定速率向桶中放入令牌,如果有请求时,请求会从桶中取出令牌,如果能取到令牌,则可以继续完成请求,否则等待或者拒绝服务。这种算法可以应对突发程度的请求,因此比漏桶算法好。

image

在 Wikipedia 上,令牌桶算法是这么描述的:

  • 每秒会有 r 个令牌放入桶中,或者说,每过 1/r 秒桶中增加一个令牌
  • 桶中最多存放 b 个令牌,如果桶满了,新放入的令牌会被丢弃
  • 当一个 n 字节的数据包到达时,消耗 n 个令牌,然后发送该数据包
  • 如果桶中可用令牌小于 n,则该数据包将被缓存或丢弃
二、RateLimiter

Guava中开源出来一个令牌桶算法的工具类RateLimiter,可以轻松实现限流的工作。RateLimiter 对简单的令牌桶算法做了一些工程上的优化,具体的实现是 SmoothBursty。需要注意的是,RateLimiter 的另一个实现 SmoothWarmingUp,就不是令牌桶了,而是漏桶算法。也许是出于简单起见,RateLimiter 中的时间窗口能且仅能为 1s,如果想搞其他时间单位的限流,只能另外造轮子。

RateLimiter 有一个有趣的特性是「前人挖坑后人跳」,也就是说 RateLimiter 允许某次请求拿走超出剩余令牌数的令牌,但是下一次请求将为此付出代价,一直等到令牌亏空补上,并且桶中有足够本次请求使用的令牌为止。这里面就涉及到一个权衡,是让前一次请求干等到令牌够用才走掉呢,还是让它先走掉后面的请求等一等呢?Guava 的设计者选择的是后者,先把眼前的活干了,后面的事后面再说。

测试代码:

public class RateLimiterMain {
    public static void main(String[] args) {
        RateLimiter rateLimiter = RateLimiter.create(2);
        System.out.println(rateLimiter.acquire(5));
        System.out.println(rateLimiter.acquire(2));
        System.out.println(rateLimiter.acquire(1));
    }
}

输出内容:

0.0
2.496889
0.992149

可以看出,令牌桶每秒只能产生2个令牌,我们可以第一次取出5个,但是第二个再去取令牌的时候,需要等2.5s,也就是第一次令牌取完后,需要等2.5s才能取到令牌。同样的,第三次取1个令牌的时候,也需要等待第二次的1s的时间。也就是,取的速率可以超过令牌产生的速率,但是下一次再次去取的时候,需要阻塞等待。

当然也可以使用tryAcquire来非阻塞的获取,可以实时返回结果。另外tryAcquire也可以传入参数,也就是等待的时间,超时直接返回false。这点等同于常见的lock,tryLock。

三、并发控制Semaphore

一般来说,在网关系统中,还有一个参数叫并发控制,就是某一个资源可以被同时访问的个数。这种情况下,我们可以使用Semaphore来控制。

Semaphore不同于互斥锁。互斥锁是某个资源只能支持同时一个访问,而Semaphore可以支持多个访问,但是加上了总数的控制。

感兴趣的同学可以继续深入了解Semaphore的使用。

免责声明:文章转载自《【Guava】使用Guava的RateLimiter做限流》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇ElasticSearch 内存那点事【转】测评:华为最新移动应用/APP测试工具MobileTest下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

ML基础06-数据不平衡问题

0、什么是数据不平衡问题 在机器学习的分类问题中,不同类别的样本数据量存在差异。在某些场景,比如网页点击率预估(网页点击率低),购物推荐(浏览产生的购买少),信用卡欺诈,网络攻击识别等,这种差异可能会较大。传统的学习算法,对不同类别的数据一视同仁地处理,会产生在多数类样本效果较好,但是在少数类样本上效果差的问题。而在上述的四种场景中,我们更关注的是少数类的...

全局唯一Id:雪花算法

分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。 有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。 而twitter的SnowFlake解决了这种需求,最初Twitter把存储系统从MySQL迁移到Cassand...

GJK碰撞检测算法

https://blog.lufei.so/#/collisionDetection/GJK/1 https://blog.lufei.so/#/collisionDetection/GJK/2 现实世界里我们对于是否碰撞的判断可以说极其容易而且准确,比如下图。在二进制的世界里,一切就没这么直观了。 GJK(Gilbert-Johnson-Keerthi...

算法竞赛专题解析(6):搜索进阶(1)--搜索基础

本系列是这本算法教材的扩展:《算法竞赛入门到进阶》(京东当当) 清华大学出版社PDF下载地址:https://github.com/luoyongjun999/code 其中的“补充资料”如有建议,请联系:(1)QQ 群,567554289;(2)作者QQ,15512356 目录 1 搜索简介 2 搜索算法的基本思路 3 BFS的性质和代码实现 4...

相似图片搜索的三种哈希算法

想必大家都用google或baidu的识图功能,上面就是我搜索冠希哥一幅图片的结果,达到图片比较目的且利用信息指纹比较有三种算法,这些算法都很易懂,下面分别介绍一下: 一、平均哈希算法(aHash) 此算法是基于比较灰度图每个像素与平均值来实现的,最适用于缩略图,放大图搜索。 步骤: 1.缩放图片:为了保留结构去掉细节,去除大小、横纵比的差异,把图片统一...

新东方人工智能中台实践和AI部门管理经验分享

文章作者:张建鑫 前言 新东方人工智能开放平台 ( https://ai.xdf.cn/ ) 致力于教育+AI创新,以行业最低价格,提供智能语音、文字识别、人脸人体、自然语言理解等优质AI开放能力,助力中小公司快速低成本创新,全面赋能教育事业。欢迎访问网站,并留下宝贵意见。 与AI同行相比,新东方以少得多的人力和低得多的研发投入,从2020年8月,仅用一年...