Redis3.x与4.x集群部署配置优化
参考文档
键分布模型
键空间被分割为 16384 槽（slot），事实上集群的最大节点数量是 16384 个。（然而建议最大节点数量设置在1000这个数量级上） 所有的主节点都负责 16384 个哈希槽中的一部分。当集群处于稳定状态时，集群中没有在执行重配置（reconfiguration）操作，每个哈希槽都只由一个节点进行处理（不过主节点可以有一个或多个从节点，可以在网络断线或节点失效时替换掉主节点）。 以下是用来把键映射到哈希槽的算法（下一段哈希标签例外就是按照这个规则）： HASH_SLOT = CRC16(key) mod 16384 其中，CRC16的定义如下： 名称：XMODEM（也可以称为 ZMODEM 或 CRC-16/ACORN） 输出长度：16 bit 多项数（poly）：1021（即是 x16 + x12 + x5 + 1 ） 初始化：0000 反射输入字节（Reflect Input byte）：False 反射输入CRC（Reflect Output CRC）：False 用于输出CRC的异或常量（Xor constant to output CRC）：0000 该算法对于输入”123456789”的输出：31C3 CRC16的16位输出中的14位会被使用（这也是为什么上面的式子中有一个对 16384 取余的操作）。 在我们的测试中，CRC16能相当好地把不同的键均匀地分配到 16384 个槽中。 注意： 在本文档的附录A中有CRC16算法的实现。 Redis499问题根本原因是redis发生了阻塞，是linux系统环境（CPU/内存/IO）、Redis配置、客户端使用多方综合导致，由于大数据部门使用量巨大，需要持续优化验证。
性能优化
Redis优化相关
1、单个redis实例 内存控制在10GB以内，fork耗时每GB在20ms左右，10GB在200ms左右（latest_fork_usec:287905），需要配置maxmemory，最大内存的70%左右 2、降低fork操作频率，适度放宽rdb/aof自动触发时机（默认只开启rdb持久化且每分钟有1万key变更就触发rdb持久化） 3、repl-timeout默认60s，如果rdb（目前rdb文件压缩后有3G多，不压缩有10GB左右，默认开启压缩，目前量至少需要2-3分钟才能同步完成）60S内数据没有同步到从节点，主节点会认为从节点故障并中断复制连接 4、客户端尽量避免使用高算法复杂度的命令，可以通过info commandstats查看 可能还有其他需要关注的点，后续了解后再补充
Linux配置优化相关（只适用redis服务器）
1 | 1、关闭THP |
补充资料
查看状态
redis-cli -c -p 7004 info persistence redis-cli -c -p 7004 info replication redis-cli -c -p 7004 info commandstats redis-cli -c -p 7004 info stats redis-cli -c -p 7004 –stat
集群客户端
使用最多的时java客户端, Jedis 最近添加了对集群的支持, 详细请查看项目README中Jedis Cluster部分. StackExchange.Redis 提供对 C# 的支持(并且包括大部分 .NET 下面的语言，比如： VB, F#等等) thunk-redis 提供对 Node.js 和 io.js的支持。 Redis unstable 分支中的 redis-cli 程序实现了非常基本的集群支持， 可以使用命令 redis-cli -c 来启动。 redis-cli 对集群的支持是非常基本的， 所以它总是依靠 Redis 集群节点来将它转向（redirect）至正确的节点。一个真正的（serious）集群客户端应该做得比这更好： 它应该用缓存记录起哈希槽与节点地址之间的映射（map）， 从而直接将命令发送到正确的节点上面。这种映射只会在集群的配置出现某些修改时变化， 比如说， 在一次故障转移（failover）之后， 或者系统管理员通过添加节点或移除节点来修改了集群的布局（layout）之后， 诸如此类。 CONFIG SET SAVE “900 1 300 10”. Redis 持久化 Redis 提供了不同级别的持久化方式: RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储. AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大. 如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式. 你也可以同时开启两种持久化方式, 在这种情况下, 当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整. 最重要的事情是了解RDB和AOF持久化方式的不同,让我们以RDB持久化方式开始: RDB的优点 RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份,比如你可以在每个小时报保存一下过去24小时内的数据,同时每天保存过去30天的数据,这样即使出了问题你也可以根据需求恢复到不同版本的数据集. RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心或者亚马逊的S3（可能加密），非常适用于灾难恢复. RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能. 与AOF相比,在恢复大的数据集的时候，RDB方式会更快一些. RDB的缺点 如果你希望在redis意外停止工作（例如电源中断）的情况下丢失的数据最少的话，那么RDB不适合你.虽然你可以配置不同的save时间点(例如每隔5分钟并且对数据集有100个写的操作),是Redis要完整的保存整个数据集是一个比较繁重的工作,你通常会每隔5分钟或者更久做一次完整的保存,万一在Redis意外宕机,你可能会丢失几分钟的数据. RDB 需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求.如果数据集巨大并且CPU性能不是很好的情况下,这种情况会持续1秒,AOF也需要fork,但是你可以调节重写日志文件的频率来提高数据集的耐久度. AOF 优点 使用AOF 会让你的Redis更加耐久: 你可以使用不同的fsync策略：无fsync,每秒fsync,每次写的时候fsync.使用默认的每秒fsync策略,Redis的性能依然很好(fsync是由后台线程进行处理的,主线程会尽力处理客户端请求),一旦出现故障，你最多丢失1秒的数据. AOF文件是一个只进行追加的日志文件,所以不需要写入seek,即使由于某些原因(磁盘空间已满，写的过程中宕机等等)未执行完整的写入命令,你也也可使用redis-check-aof工具修复这些问题. Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。 AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） AOF 文件也非常简单： 举个例子， 如果你不小心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要停止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就可以将数据集恢复到 FLUSHALL 执行之前的状态。 AOF 缺点 对于相同的数据集来说，AOF 文件的体积通常要大于 RDB 文件的体积。 根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。 在一般情况下， 每秒 fsync 的性能依然非常高， 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快， 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时，RDB 可以提供更有保证的最大延迟时间（latency）。
部署节点
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo “vm.overcommit_memory=1” >>/etc/sysctl.conf echo “vm.swappiness=10” >>/etc/sysctl.conf yum -y install tcl-devel wget http://download.redis.io/releases/redis-3.2.9.tar.gz tar zxvf redis-3.2.9.tar.gz cd redis-3.2.9 make make test make install sh ./utils/install_server.sh /data/redis/redis_7001.log /data/redis/7001 Selected config: Port : 7001 Config file : /etc/redis/7001.conf Log file : /data/redis/redis_7001.log Data dir : /data/redis/7001 Executable : /usr/local/bin/redis-server Cli Executable : /usr/local/bin/redis-cli
集群管理
wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.4.tar.gz tar -xzvf ruby-2.3.4.tar.gz cd ruby-2.3.4 ./configure –disable-install-rdoc make && make install /usr/local/bin/ruby /usr/local/bin/gem gem sources –add https://ruby.taobao.org/ –remove https://rubygems.org/ gem install redis [root@redisep69 ruby-2.3.4]# gem install redis Fetching: redis-3.3.3.gem (100%) Successfully installed redis-3.3.3 Parsing documentation for redis-3.3.3 Installing ri documentation for redis-3.3.3 Done installing documentation for redis after 1 seconds 1 gem installed
集群节点配置
[root@redisep69 etc]# cat /etc/redis/7001.conf20170821 bind 192.168.188.69 protected-mode no port 7001 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile /var/run/redis_7001.pid loglevel notice logfile /data/redis/redis_7001.log databases 16 save 900 100 save 300 1000 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /data/redis/7001 slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-timeout 300 repl-disable-tcp-nodelay no slave-priority 100 maxclients 40000 maxmemory 20gb appendonly no appendfilename “appendonly.aof” appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 cluster-enabled yes cluster-config-file nodes-7001.conf cluster-node-timeout 10000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events “” hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes
加入集群
1 | [root@redisep69 bin]# redis-trib.rb create --replicas 1 192.168.188.69:7001 192.168.188.70:7002 192.168.188.71:7003 192.168.188.72:7004 192.168.188.73:7005 192.168.188.74:7006 |
压力测试
1 | [root@redisep69 etc]# redis-benchmark -d 100 -n 2000000 -t get,set -q -h 192.168.188.69 -p 7001 |
三节点集群注意事项
1 | REDIS3节点集群默认会有一组主从在同一虚拟机上，需要手工调整，架构主-从为7001-7006 7002-7004 7003-7005，以下是调整主从例子。 |
添加zabbix监控方法
1 | zabbix添加redis模版方法 |