Redis 中的布隆过滤器的实现
什么是『布隆过滤器』
布隆过滤器是一个神奇的数据结构,可以用来判断一个元素是否在一个集合中。很常用的一个功能是用来去重。在爬虫中常见的一个需求:目标网站URL千千万,怎么判断某个URL爬虫是否宠幸过?简单点可以爬虫每采集过一个URL,就把这个URL存入数据库中,每次一个新的URL过来就到数据库查询下是否访问过。
selectidfromtablewhereurl='https://jaychen.cc'
但是随着爬虫爬过的URL越来越多,每次请求前都要访问数据库一次,并且对于这种字符串的SQL查询效率并不高。除了数据库之外,使用Redis的set结构也可以满足这个需求,并且性能优于数据库。但是Redis也存在一个问题:耗费过多的内存。这个时候布隆过滤器就很横的出场了:这个问题让我来。
相比于数据库和Redis,使用布隆过滤器可以很好的避免性能和内存占用的问题。
布隆过滤器本质是一个位数组,位数组就是数组的每个元素都只占用1bit。每个元素只能是0或者1。这样申请一个10000个元素的位数组只占用10000/8=1250B的空间。布隆过滤器除了一个位数组,还有K个哈希函数。当一个元素加入布隆过滤器中的时候,会进行如下操作:
- 使用K个哈希函数对元素值进行K次计算,得到K个哈希值。
- 根据得到的哈希值,在位数组中把对应下标的值置为1。
举个
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下