1. reids Persistence持久化
在默认情况下,Redis将数据集的快照通过一个名为dump.rdb的二进制文件保存在磁盘上,在redis.conf里设置dbfilename。可以手动条用save和bgsave来保存到dump.rdb里去,这两个命令的不同之处在与save是同步,直到保存完毕之后才有返回值,而bgsave是异步的,调用bgsave后就有返回值,保存的动作在后台运行。
import redis import time m = redis.Redis(host = '127.0.0.1' ,port = 6379 ,db = 0 ) for i in range ( 30000 ): m. set ( str (i), str (i)) b = time.time() print m.save() print time.time() - b |
打印
True
0.11057806015
将m.save()换成m.bgsave()打印的内容是
True
0.0021960735321
另外也可以通过redis.conf设置参数来自动保存
save 60 10000
意识是在60s内至少有10000条数据变化是调用保存命令,默认的情况下有
save 900 1
save 300 10
save 60 10000
也就是说设置多个save的策略
redis持久化的方式
快照(Snapshotting):
1. redis调用fork,将会得到一个子进程和一个父进程
2. 父进程还是处理请求,子进程将内容写入临时文件中(这里涉及到copy-on-write,不是很了解),子进程的地址空间内的数 据是fork时刻整个数据库的一个快照。
3. 当子进程将快照写入临时文件完毕后,用临时文件替换原来的快照文件,退出子进程。
缺点很明显,每次快照持久化都是将内存数据完整写入到磁盘一次,如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。还有自动快照的话,是隔一段时间持久化一次,势必影响了数据的可靠性。
增量文件(aof):
修改redis.conf里的
appendfsync everysec|always,推荐everysec,性能折中
appendonly yes
appendfilename appendonly.aof
使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中appendonly.aof。当redis重启时会通过重新执行aof文件中保存的写命令来在内存中重建整个数据库的内容。其实aof也可能导致的数据丢失,当设置appendfsync everysec时,是每秒将命令写入到aof中,所以当这一秒内出现一些异常情况,一样会导致数据丢失。
aof的缺点:同样的set命令执行多次,会导致aof越来越大,同时在重启redis的时候,相同的set也会执行多次。这样无端的增加了系统的开销。reids提供了bgrewriteaof。
m = redis.Redis(host = '127.0.0.1' ,port = 6379 ,db = 0 ) for i in range ( 30000 ): m. set ( '1' , str (i)) |
看看aof文件的大小(我的是1116716字节)
调用m.bgrewriteaof()
在看看aof文件大小(1027806字节)
我的应用中把redis作为缓存,而且数据量不大,所以对上面的体会比较少,有点纸上谈兵的意识,会慢慢的将这篇文章补充完全的。
2. redis Pipelining管道技术
简单的说就是客户端没有读取到旧请求的响应,服务端依旧可以处理新请求。通过这种方式,可以完全无需等待服务端应答地发送多条指令给服务端,并最终一次性读取所有应答。
当客户端通过管道技术发送命令的时候,服务端将被强制在内存中使用队列应答。因此如果你需要使用管道技术处理非常多的命令时,最好以一个合理的数量发送。
#!/usr/bin/env python #coding=utf-8 import redis import time m = redis.Redis(host = '127.0.0.1' ,port = 6379 ,db = 0 ) b = time.time() for i in range ( 30000 ): m. set ( str (i), str (i)) print 'set one by one cost time:' ,time.time() - b #set one by one cost time: 5.61089706421 b = time.time() p = m.pipeline() for i in range ( 30000 ): p. set ( str (i), str (i)) p.execute() print 'pipeline cost time:' ,time.time() - b #pipeline cost time: 1.31098294258 |
联系客服