Redis混合存储产品与架构介绍

发布于:2021-05-14 01:58:01

简介

Redis混合存储实例是阿里云自主研发的完全兼容Redis协议和特性的混合存储产品。通过将部分冷数据存储到磁盘,在保证绝大部分访问性能不下降的基础上,大大降低了用户成本并突破了内存对Redis单实例数据量的限制。

与Redis高性能内存型实例差别

Redis高性能内存型实例中,所有的Key和Value都存储在内存中以达到极致性能。

产品优势

    简单易用
    Redis混合存储型实例的绝大部分热点请求直接从内存获取,其性能与高性能内存型实例完全一致。后台异步IO,冷数据访问不影响正常请求的响应。在90%数据落在磁盘上的极端场景下,正态访问的QPS仍可达纯内存性的70%。底层存储采用阿里自研下一代高性能全用户态存储引擎Alibaba FusionEngine:通过结合上层应用深入定制,以及与底层硬件深度结合,将新一代存储介质如NVMe SSD性能发挥到极致。4KB数据读取速度在20us左右,相比业界同类引擎性能有80%提升。

整体架构


存储模型


在Redis混合存储实例中,我们将所有的Key和经常访问的Value保留在内存中,将不经常访问的Value保存在磁盘上。之所以在内存中保留所有Key是处于以下两点考虑:


    Key的访问频度比Value要高很多。

    因此,Redis混合存储实例最适合以下使用场景:


      数据访问不均匀,存在热点数据;内存不足以放下所有数据,且Value较大(相对于Key而言)

    线程模型



    数据从内存到磁盘

      在周期巡检函数serverCron中,如果发现当前内存快满了,大于设定的阈值vm-max-memory(略小于maxmemory)时,会尝试挑选出一些key,将其Value保存到磁盘;挑选的维度为最*访问时间和value大小, 公式为swappability = age*log(估算内存大小)。主线程为挑选出的value生成IO任务,加入到IO任务队列中;IO线程会从IO任务队列中取出任务,将Value存储到底层存储引擎(RocksDB)中, 并通知主线程。主线程收到通知后释放Value所占用内存并标记内存中该Key对应的Value已被存储到磁盘上。

    数据从磁盘到内存
      当Redis混合存储实例收到用户请求时,会先判断请求是否需要读取对应Key的Value;如果请求不需要读取相关value(比如set foo bar是不需要关心foo这个key原有的值是多少的)或者value已经在内存中,则正常执行该命令;如果有涉及到的Value不在内存中,主线程会对应生成一个读取Value的IO任务,加入到IO任务队列中;主线程将需要等待IO任务完成的客户端加入到等待列表,然后继续处理其余客户端的请求;IO线程获取到读取Value的IO任务时,从底层存储引擎中读取数据,并通知主线程;主线程收到通知后,依次处理等待该Value的所有客户端请求。

    同步IO

    在以下情况下,Redis混合存储的异步IO模型会退化成同步方式:


      写入量太大导致后台线程不能及时将数据交换到磁盘,内存不断增加到超出maxmemory时。由于无法预知脚本会操作哪些value以及原子性的要求,lua脚本中涉及到的value如果在磁盘上的话将会采用同步IO的方式从磁盘读取。

    数据淘汰机制

    在 Redis 中,允许用户设置最大使用内存大小 server.maxmemory,在内存限定的情况下是很有用的。Redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。Redis 提供 6 种数据淘汰策略:


    volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最*最少使用的数据淘汰volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰allkeys-lru:从数据集(server.db[i].dict)中挑选最*最少使用的数据淘汰allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰no-enviction(驱逐):禁止驱逐数据

    Redis混合存储实例的淘汰策略与纯内存版完全一致,唯一不同的是触发条件。在混合存储实例中,除了内存规格大小server.maxmemory外,还有一个数据磁盘大小的限制server.maxdisksize。触发数据淘汰的条件响应的变为以下两者之一:


      使用内存 > server.maxmemory 且 磁盘数据 > server.maxdisksize。使用内存 > server.maxmemory, 且当前内存中无Value(全部为Key)。

    持久化

    Redis有两种持久化的方式:快照(RDB文件)和追加式文件(AOF文件):


    RDB持久化方式会在一个特定的间隔保存那个时间点的一个数据快照。

    Redis混合存储实例在RDB+AOF基础之上,采用了RocksDB的Checkpoint保存当前实例冷数据的部分。 在生成数据快照时,RDB中仅存储Key + 热数据部分,而冷数据部分则保存在RocksDB的Checkpoint中。RocksDB checkpoint生成过程如下:


    禁止删除SST文件;为SST文件创立硬链接;备份manifest等文件;允许删除SST文件;

    性能数据

    在线上机器上,我们使用memtier_benchmark测试了Redis纯内存高性能实例和Redis混合存储实例的性能对比如下(Value大小为1024字节):

      当访问内存中数据时,Redis混合存储实例的性能与Redis纯内存高性能实例几乎一致;当内存仅能容纳10%的value数据时,正态访问(70%的访问落在33%的数据范围内)时,Redis混合存储实例的性能为Redis纯内存高性能实例的70%左右。

    产品详情

    https://promotion.aliyun.com/ntms/act/hybridstore.html

相关推荐

最新更新

猜你喜欢