可复用代码(版本2.6.3)

malloc封装()：tcmalloc|jemalloc|libc 使用最佳的malloc封装，libc的malloc不提供获取分配内存大小的接口。

zmalloc.h,zmalloc.c

异步网络库：封装各种事件组件，提供统一的接口。

ae.c ae_epoll.c ae_evport.c ae.h ae_kqueue.c ae_select.c

TCP|UNIX网络封装: 很简单的封装。

anet.h,anet.c,syncio.c(阻塞式读写)

数据结构

adlist.h,adlist.c (通用双向链表),ziplist.h,ziplist.c,zipmap.h,zipmap.c,intset.h,intset.c(基于连续内存的小数据存储结构),sds.h,sds.c(Binary Safe字符串)

lzf压缩算法

lzf -- an extremely fast/free compression/decompression-method:http://liblzf.plan9.de/

lzf_c.c lzf_d.c lzf.h lzfP.h

文件读写: 封装基于文件和内存的数据读写。

rio.h，rio.c

工具

crc64.c,endianconv.h,endianconv.c(将大端数据转成小端，性能考虑),memtest.c(内存测试工具),pqsort.h,pqsort.c(部分快排),rand.h,rand.c,sha1.c,sha1.h(开源的sha),util.c,util.h(字符串匹配，字符串和整形数转换)

设计

灵活协议

Redis采用可读可组合的文本协议。Redis采用统一的命令格式，基于统一的规范命令Redis天生具备解析和执行多条命令的能力，因此Redis非常容易支持：批量命令、事务、原子操作(脚本原子操作)等。

权衡

Redis的设计需要做各种权衡，每一种权衡都意味着不同的实现方案、资源、性能的折中。Redis不可能适合所有的使用场景，作为KV的内存数据库，Redis做了很多针对性设计：高性能优先、高内存使用效率、多样的数据结构(内存易实现)、单线程读写(cpu非瓶颈)、数据快照(RDB文件)、可过期的数据，同时提供其他可配置的功能：AOF(日志)、可配置的小数据格式、主从Replication、严格内存限制或swap、LRU缓存、磁盘存储等。

小技巧

Redis Administration

FAQ

memory-optimization

其他资料

Redis资料汇总专题

NoSQL之Redis

Nosql之Redis

一、关系数据库和非关系数据库

1、关系型数据库

• 关系型数据库是一个结构化的数据库，创建在关系模型上（二维关系表模型）基础上
• 一般面向于记录
• 主流的关系型数据库包括orecle、MysqL、sql Server、Microsoft、DB2等
• sql语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作

2、非关系型数据库

• Nosql（Nosql＝Not Only sql），意识是“不仅仅是sql”，是非关系型数据库的总称
• 除了主流的关系型数据库外的数据库，都认为是非关系型
• 主流的Nosql数据库有Redis、MongDB、Hbase、Memcached等

3、区别

3.1 数据存储方式不同

关系型和非关系数据库的主要差异就是数据存储的方式。

关系型数据天然就是表格形式，因此存储在数据表的行列中。

数据表可以彼此关联协作存储，也很容易提取数据。

与其相反，非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。

非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。

你的数据及其特性是选择数据存储和提取方式的首要影响因素。

3.2 扩展方式不同

• sql和Nosql数据库最大的差别可能是在扩展方式上，要支持日益增长的需求当然要扩展。
• 需要支持更多并发量，sql数据库是纵向扩展，也就是说提高处理能力，使用更快速的计算机，这样处理相同的数据集就更快了。
• 因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都是需要通过提高计算机性能来克服。虽然sql数据库有很大扩展空间，但最终肯定会达到纵行扩展的上限。
• 而Nosql数据库是横向扩展的。
• 因为非关系数据存储天然就是分布式的，Nosql数据库的扩展可以通过给资源池添加更多普通的数据库服务器（节点）来分担负载。

4、非关系型数据的产生背景

• 关系型数据库和非关系数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来型的思路。

• 关系数据库关注在关系上，非关系型数据库关主存储上。

• 在读写分离的MysqL数据库环境中，可以把经常访问的数据存储在非关系数据库中，提高访问速度。

• 需求驱动发展：

  • 对数据库高并发读写的需求。
  • 对海量数据高效存储与访问的需求。
  • 对数据库高扩展性和高可用性的需求。

5、概念小结

• 关系型数据库：
  • 实例->数据库->表（table）->记录行（row）、数据字段（column）
• 非关系型数据库：
  • 实例->数据库->集合（collection）->键值对（key-value）
• 非关系型数据库不需要手动建数据库和集合（表）

二、Redis简介

1、Redis概述

Redis是一个开源的、使用C语言编写的Nosql数据库

Redis基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可活缺的一环

Redis服务器程序是单进程模型，也就是说，在一台服务器上可以同时启动多个Redis进程，但Redis的实际处理速度则是完全依靠与主进程的执行效率

若在服务器上只运行一个Redis进程，但有多个客户端同时访问时，服务器的处理能力会有一定程度的下降

若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时而会给服务器的cpu造成很大压力。

总结：在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程，若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个Redis进程，而若cpu资源比较禁止，采用单进程使用。

2、Redis应用场景

1、热点数据缓存

热点数据（经常会被查询，但是不经常被修改或者删除的数据），由于redis访问速度快、支持的数据类型比较丰富，首选是使用redis缓存。

2、分布式锁

3、Redis的优点

具有极高的数据读写速度：数据读取的速度最高可达110000次/s，数据写入速度最高可达81000次/s。

支持丰富的数据类型：支持key-value、String、Lists、Hashes、Sets及Ordered Sets等数据类型操作。

支持数据的持久化：可以讲内存中更多数据保存在磁盘中，重启的时候可以再次加载进行使用

原子性：Redis所有操作都是原子性

支持数据备份：即master-salve模式的数据备份

Redis作为基于内存运行的数据库，缓存是其最常应用的场景之一
除此之外，Redis常见应用场景还包括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。

4、Redis的缺点

• 3.1 缓存和数据库双写一致性问题

在分布式环境下，缓存和数据库很容易出现数据一致性问题，如果项目对缓存的要求强一致性，那么不建议使用缓存。

在使用缓存中，使用策略降低缓存与数据库一致性的概率，是无法保障两者的强一致性，一般策略包括缓存更新机制，更新数据库后及时跟新缓存、缓存失败时增加重试机制等。

• 3.2 缓存雪崩

缓存雪崩时指大量的应用请求无法在Redis缓存中进行处理，紧接着，应用将大量请求发送到数据库层，导致数据库层的压力激增。

具体解决方案思路：

• **事故前：**redis高可用方案，主从+哨兵，集群方案，避免全盘崩溃。
• 事故中：减少数据库压力，本地Ehcache缓存+限流及降级，避免超过数据库承受压力，实在不行，服务熔断。
• **事故后：**做redis持久化，可以实现热点数据不丢失，造成请求缓存缺失。

原因有二：

原因一：缓存中有大量数据同时过期，导致大量请求无法得到处理。

在数据保存在缓存中，并且设置了过期时间，如果出现同一时间大量数据过滤器，又有请求范围这些数据，就会发送缓冲缺失，然后就会去请求数据库，重数据库中读取，如果应用的并发请求量很大，那么数据库的压力也就很大。

解决方法：

• 避免给大量的数据设置相同的过期时间，设置随机的过期时间。
• **通过服务器降级：**针对不同的数据采用不同的处理方式，当请求访问的时非核心数据时，暂时停止从缓冲查询数据，而是直接返回预定义值或空值等；当请求访问的是核心数据时，扔允许查询缓冲，如果缓冲缺失，可以继续通过数据库读取。

原因二：Redis缓冲实例发生故障宕机

解决方法：

• 在业务系统中实现服务熔断：所谓服务熔断，是指发生缓冲雪崩时，为了防止发生连锁的数据库雪崩，导致整个系统的崩溃，我们暂停业务应用对缓冲系统的接口访问。直白点就是，缓冲接口不在把请求发给Redis缓冲实例，而是直接返回，等到Reids实例恢复后重启服务。

• **请求限流机制：**不同于服务熔断，不会暂停整个缓冲系统的访问，请求限流，会在业务系统的请求入口前端控制每秒进入系统的请求数，避免过多的请求访问数据库，减少大量并发请求压力传递到数据库。

• 事前预防：可以通过搭建Redis缓存主从集群（哨兵或集群模式），可以做到主从Redis缓存的切换，实现Reids服务不终断。

• 3.3 缓存穿透

缓存穿透时指，用户发出大量访问缓存和数据库中没有的数据，导致请求直接查询数据库，这种行为会直接导致数据库挂掉。

两个原因：

1. 业务层误操作：缓存中的数据和数据库中的数据被误删除了，所以缓存和数据库中都没有数据；
2. 恶意攻击：专门访问数据库中没有的数据。

解决方法：

• 在请求接口层可以进行校验（用户签名和授权，参数校验），拒绝不合法的请求。

• 布隆过滤器：在控制层对请求先进行校验，不符合条件的请求则被丢弃，从而避免对持久层数据库造成的查询压力。

• 缓存空对象：当查询的数据不存在于redis中时，请求到了持久层数据库中去查询数据，但查询不出数据，这时会返回空对象，同时把该空对象缓存到redis里，然后设置一个过期时间，往后只要再次请求查询该条数据，该条数据都会从redis中获取(获取redis返回的空对象)，从而保护了后端的数据源。

• 3.4 缓存击穿

redis缓存击穿概念是redis里的一个key非常热点，导致大并发集中对这个key不断的进行访问，当在这个key过期的瞬间，持续的大并发就会跳过缓存，直接作用在持久层数据库上，请求在访问持久层数据库查询数据的同时，持久层数据库也需要回写缓存，这时候就会导致持久层数据库瞬间压力过大导致服务器宕机，这种现象就叫做缓存击穿。

解决方法：

不同场景下缓存击穿解决方案：

• 数据基本不变：热点数据value基本不更新时，可以设置成永不过期
• 数据更新不频繁：缓存刷新流程耗时较少时，可采用redis、zookeeper等分布式中间件的分布式互斥锁或者本地互斥锁保证少量的请求能请求到数据库并重新更新缓存，其他的流程等锁释放后才可以访问新缓存
• 数据更新频繁：采用定时线程，在缓存过期前主动重新构建缓存或延长过期时间，保证所有的请求能一直访问缓存

5、Redis和ElasticSearch的区别

三、Redis安装部署

1、解压软件包

Redis官网：https://redis.io/

• 将下载好的软件包传至 /opt/ 目录下

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

yum -y install gcc gcc-c++ make

cd /opt
tar zxvf redis-5.0.7.tar.gz -C /opt/

2、源码编译安装

cd redis-5.0.7/
make -j 4
make PREFIX=/usr/local/redis install

#由于 Redis 源码包中直接提供了 Makefile 文件，所以在解压完软件包后，不用先执行./configure 进行配置
#可直接执行 make 与 make install 命令进行安装

3、设置Redis相关配置文件

cd /opt/redis-5.0.7/utils/

#执行软件包提供的 install_server.sh 脚本文件来设置 Redis 服务所需要的相关配置文件
./install_server.sh
......
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server
#一直回车，直到出现以下选项，手动修改为“/usr/local/redis/bin/redis-server”
#注意，需要一次性正确输入，且输入错误了是无法更改的

ln -s /usr/local/redis/bin/* /usr/local/bin/
#把 redis 的可执行程序文件放入路径环境变量的目录中便于系统识别

netstat -natp | grep "redis"
#当 install_server.sh 脚本运行完毕，Redis 服务就已经启动，默认侦听端口为 6379

vim /etc/redis/6379.conf
#修改配置参数

bind 127.0.0.1 192.168.10.10       #70行，添加监听的主机地址
port 6379                           #93行，Redis 默认的监听端口
daemonize yes                       #137行，启用守护进程
pidfile /var/run/redis_6379.pid     #159行，指定 PID 文件
loglevel notice                     #167行，日志级别
logfile /var/log/redis_6379.log     #172行，指定日志文件

四、Redis常用工具

1、Redis命令工具

2、Redis-cli命令工具

redis-cli -h host -p port -a password

若不添加任何选项表示，则使用 127.0.0.1:6379 连接本机上的 Redis 数据库。

3、Redis-benchmark 测试工具

redis-benchmark 是官方自带的 Redis 性能测试工具，可以有效的测试 Redis 服务的性能。

基本的测试语法：

redis-benchmark [选项] [选项值]

redis-benchmark -h 192.168.10.10 -p 6379 -c 100 -n 100000
#向 IP 地址为 192.168.126.15，端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求以测试性能

redis-benchmark -h 192.168.10.10 -p 6379 -q -d 100
#测试存取大小为 100 字节的数据包的性能

redis-benchmark -t set,lpush -n 100000 -q
#测试本机上 Redis 服务在进行 set 与 lpush 操作时的性能

NoSQL之Redis - CentOS 6.5安装测试

1.下载redis

可以在线安装或者下载redis

①在线安装前需要检测是否存在rpm包不存在的话查看yum在线是否存在rpm包不存在的话就只能手动下载或者用别的方式下载

[root@localhost~]#rpm-qa|grepredis
[root@localhost~]#yumlist|grepredis

说明不存在。

②去官网下载或者在线下载

wgethttp://redis.googlecode.com/files/redis-2.2.13.tar.gz

官网下载好的redis已经存在博客中了点击下载 redis。

2.安装

由于是tar.gz格式的所以需要解压安装

下载好之后查找下载文件所在路径

[root@localhost~]#whereisredis
redis:/etc/redis
[root@localhost~]#

解压编译redis的软件包需要有gcc环境

总之缺少什么安装什么。

tar-zxvfreids-2.8.13.tar.gz
cdredis-2.8.13
make
sudomakeinstall
#配置开始---
编译完成后在Src目录下有四个可执行文件redis-server、redis-benchmark、redis-cli和redis.conf。然后拷贝到一个目录下。
mkdir/usr/redis
cpredis-server/usr/redis
cpredis-benchmark/usr/redis
cpredis-cli/usr/redis
cpredis.conf/usr/redis
cd/usr/redis
#配置结束--

或者可以这样配置

mkdir/etc/redis
cpredis.conf/etc/redis/redis.conf
mkdir/var/lib/redis

可从此处下载修改好的 redis.conf

启动redis
redis-server/etc/redis/redis.conf
#即可在后台启动redis服务确认运行了之后可以用redis-benchmark命令测试看看还可以通过redis-cli命令实际操作一下比如
#install的时候redis的命令会被拷贝到/usr/local/bin下面

3.测试

客户端测试一下是否启动成功

[root@localhostsrc]#ps-aux|grepredis
Warning:badSyntax,perhapsabogus'-'?See/usr/share/doc/procps-3.2.8/FAQ
root232660.00.71373567768?Sl00:230:04redis-server*:6379
root239820.00.5194045100pts/0S+01:090:00redis-cli
root243980.00.0103244876pts/2S+01:440:00grepredis
[root@localhostsrc]#redis-cli
127.0.0.1:6379>setwwang
OK
127.0.0.1:6379>getw
"wang"
127.0.0.1:6379>

4.关闭服务

redis-clishutdown
如果端口变化可以指定端口:
redis-cli-p6379shutdown

127.0.0.1:6379>i+j
CouldnotconnecttoRedisat127.0.0.1:6379:Connectionrefused
notconnected>setw3
CouldnotconnecttoRedisat127.0.0.1:6379:Connectionrefused
notconnected>

5.启动服务

[root@localhostsrc]#redis-server
[24502]28Oct01:54:35.784#Warning:noconfigfilespecified,usingthedefaultconfig.Inordertospecifyaconfigfileuseredis-server/path/to/redis.conf
[24502]28Oct01:54:35.784*Increasedmaximumnumberofopenfilesto10032(itwasoriginallysetto1024).
_._
_.-``__''-._
_.-```.`_.''-._Redis2.8.13(00000000/0)64bit
.-``.-```.```\/_.,_''-._
(',.-`|`,)Runninginstandalonemode
|`-._`-...-`__...-.``-._|'`_.-'|Port:6379
|`-._`._/_.-'|PID:24502
`-._`-._`-./_.-'_.-'
|`-._`-._`-.__.-'_.-'_.-'|
|`-._`-.__.-'_.-'|http://redis.io
`-._`-._`-.__.-'_.-'_.-'
|`-._`-._`-.__.-'_.-'_.-'|
|`-._`-.__.-'_.-'|
`-._`-._`-.__.-'_.-'_.-'
`-._`-.__.-'_.-'
`-.__.-'
`-.__.-'
[24502]28Oct01:54:35.786#Serverstarted,Redisversion2.8.13
[24502]28Oct01:54:35.786#WARNINGovercommit_memoryissetto0!Backgroundsavemayfailunderlowmemorycondition.Tofixthisissueadd'vm.overcommit_memory=1'to/etc/sysctl.confandthenrebootorrunthecommand'sysctlvm.overcommit_memory=1'forthistotakeeffect.
[24502]28Oct01:54:35.786*DBloadedfromdisk:0.000seconds
[24502]28Oct01:54:35.786*TheserverisNowreadytoacceptconnectionsonport6379

启动之后最好重新打开个窗口运行redsi-cli进入控制台

否则可能出现连接错误。和windows下cmd运行tomcat类似。

[root@localhostredis]#redis-cli
CouldnotconnecttoRedisat127.0.0.1:6379:Connectionrefused
notconnected>redis-cli
CouldnotconnecttoRedisat127.0.0.1:6379:Connectionrefused
notconnected>
[root@localhostredis]#redis-cli
127.0.0.1:6379>setname=wangxin
(error)ERRSyntaxerror
127.0.0.1:6379>setnamewangxin
OK
127.0.0.1:6379>setage26
OK
127.0.0.1:6379>getnameage
(error)ERRwrongnumberofargumentsfor'get'command
127.0.0.1:6379>getname
"wangxin"
127.0.0.1:6379>getage
"26"
127.0.0.1:6379>

NoSQL之Redis 高可用性集群方案,应急维护技巧

连上从库，做save操作。将会在从库的data目录保存一份从库最新的dump.rdb文件。将这份dump.rdb文件拷贝到主库的data目录下。再重

前提：现在有主从结构，主库没有配置持久化，从库配置aof。(主库用来备份和写服务，从库用来提供读服务)

场景：哪天主库突然宕了，怎么办？

方法：连上从库，做save操作。将会在从库的data目录保存一份从库最新的dump.rdb文件。将这份dump.rdb文件拷贝到主库的data目录下。再重启主库。

就因为这个我想到了用集群的方案，但是redis官方没有mysql那样的master-

master的模式~  这样的情况下，只能咱们自己想办法了~

实现的原理~

当 Master 与 Slave 均运作正常时, Master负责读，Slave负责同步；

当 Master 挂掉，Slave 正常时, Slave接管服务，同时关闭主从复制功能；

然后依次循环。

这样，两台redis服务器中的任何一台挂掉，都会由另一台继续提供服务，不会对网站形成可察觉的影响，也不会丢失数据。

你也可以实现当 Master 恢复正常，则从Slave同步数据，同步数据之后关闭主从复制功能，恢复Master身份，于此同时Slave等待Master同步数据完成之后，恢复Slave身份。

高可用方面

需要把读写进行分离的，，写的话，就指向到一个vip~ 那两个主 用keepalived加脚本进行判断。

读的话，尽量用haproxy进行分流，这样的话，哪怕一个从down的话，haproxy会自动剔除的~

redis安装~

keepalived的安装~

安装完之后，具体说下高可用性的部分，下面是 主的keepalived.conf 的配置文件~

用killall -0 redis-server 来判断进程的存活~

也可以用checkredis.sh 这个脚本~

【大家可以写简单点~】 这个方法是redis自带的一个判断服务存活的程序

关于NOSQL之Redis学习札记和nosql redis的介绍现已完结，谢谢您的耐心阅读，如果想了解更多关于Nosql Redis学习、NoSQL之Redis、NoSQL之Redis - CentOS 6.5安装测试、NoSQL之Redis 高可用性集群方案,应急维护技巧的相关知识，请在本站寻找。