codis完成redis分片和在线扩展51CTO博客 - 乐橙lc8

codis完成redis分片和在线扩展51CTO博客

2019年03月01日11时18分18秒 | 作者: 飞昂 | 标签: 分片,搬迁,在线 | 浏览: 990

Codis是一个开源的散布式redis解决方案,由以下四个组件组成:

    codis-proxy:后端redis的署理,本事完结了redis协议。

    codis-config:是codis的办理装备东西,用于增删redis server、操作数据搬迁。

    zookeeper:用来寄存数据路由表和codis-proxy节点的元信息,codis-config建议的指令都会经过 zookeeper同步到各个存活的codis-proxy。

    codis-server:codis项目保护的一个 redis 分支, 根据 2.8.13 开发, 参加了 slot 的支撑和原子的数据搬迁指令,假如要运用codis的在线扩展搬迁功用的话有必要运用codis自带的codis-server,codis不支撑对原生redis做在线的扩展和数据搬迁。


节点规划:

codis-proxy
192.168.0.100:19000
codis-config
192.168.0.100
codis-server1
192.168.0.100:6381
codis-server2192.168.0.100:6382
codis-server3192.168.0.100:6380
codis-server4192.168.0.100:6383


1、装置装备

    a、首要装置golang  

 解压下载好的go软件包
$ tar xf/opt/go1.4.2.linux-amd64.tar.gz  -C/usr/local/
 装备环境变量
在.bash_profile中参加go的相关环境变量,并使新的环境变量收效
PATH=$PATH:$HOME/bin
exportGOROOT=/usr/local/go
exportGOOS=linux
exportGOARCH=amd64
exportGOBIN=$GOROOT/bin
exportGOPATH=/opt/mygo
PATH=$PATH:$GOBIN
export PATH
编写一个 测验程序验证go是否装置成功
$ cat hello.go
package main
import"fmt"
func main() {
    fmt.Printf("hello, world\n")
}
 运转测验程序,输出hello,word阐明go现已装置成功
$ go  run hello.go
hello, world

    b、装置codis

 装置东西软件
$ yum install gccmake git  -y 
 下载codis,会下载到环境变量GOPATH指定的目录
$ go get github.com/wandoulabs/codis#ssdb-server config
packagegithub.com/wandoulabs/codis
        imports github.com/wandoulabs/codis
        imports github.com/wandoulabs/codis: nobuildable Go source files in /opt/mygo/src/github.com/wandoulabs/codis
 下载完结后进入/opt/mygo/src/github.com/wandoulabs/codis
$ cd /opt/mygo/src/github.com/wandoulabs/codis
 履行装置指令
$ ./bootstrap.sh

 这一步时刻稍久,会下载一些文件目录到本地,耐性等候即可

    c、装置zookeeper

 解压zookeeper
$ tar xfzookeeper-3.4.6.tar.gz  -C /opt/
 进入zk的装置目录,修正装备文件
$ cd /opt/zookeeper-3.4.6
$ cp conf/zoo_sample.cfgconf/zoo.cfg
$ vim conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
dataLogDir=/opt/zookeeper-3.4.6/logs
clientPort=2181
 创立所需求的目录
mkdir  /data/zookeeper   -p
mkdir  /opt/zookeeper-3.4.6/logs

 发动zk
$ /opt/zookeeper-3.4.6/bin/zkServer.sh  start   
JMX enabled bydefault
Using config:/opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper... STARTED
 
 验证是否发动成功,若2181端口被监听,则标明成功
$ netstat-alnut|grep 2181
tcp       0      0 :::2181                     :::*                        LISTEN

    d、装备codis

 codis中装备zk的信息
$ cd /opt/mygo/src/github.com/wandoulabs/codis/sample/
 修正config.ini
$  vim config.ini
zk=localhost:2181
product=codis_proxy
proxy_id=proxy_1
net_timeout=5
dashboard_addr=localhost:18087
coordinator=zookeeper


2、发动codis

    a、 发动dashboard

 进入相关目录
$ cd /opt/mygo/src/github.com/wandoulabs/codis/sample/
 发动dashboard
./start_dashboard.sh
 验证是否成功
$  netstat -alnut|grep 18087
tcp        0     0 :::18087                    :::*                        LISTE

    浏览器中拜访http://192.168.0.100:18087/admin/,呈现如下页面:

    b、初始化slots

进入相关目录
$ cd  /opt/mygo/src/github.com/wandoulabs/codis/sample/
 履行初始化
$  ../bin/codis-config  slot init
{
 "msg": "OK",
 "ret": 0
}

    c、发动codis-server

 codis自带有一个发动脚本,会发动两个codis-server,监听端口为6381和6382
[root@mgs02 sample]#./start_redis.sh 
sleep 3s
[6294] 09 Apr 14:28:02.796* Increased maximum number of open files to 10032 (it was originally set to1024).
                _._                                                 
           _.-``__ -._                                            
      _.-``   `.  `_.  -._           Redis 2.8.13 (1e823fd3/1) 64 bit
  .-`` .-```. ```\/    _.,_ -._                                  
 (         ,       .-` | `,    )     Running in stand alone mode
 |`-._`-...-` __...-.``-._|` _.-|     Port: 6381
 |   `-._   `._    /    _.-    |     PID: 6294
  `-._   `-._  `-./  _.-   _.-                                  
 |`-._`-._   `-.__.-    _.-_.-|                                 
 |   `-._`-._        _.-_.-    |          http://redis.io       
  `-._   `-._`-.__.-_.-    _.-                                  
 |`-._`-._   `-.__.-    _.-_.-|                                 
 |   `-._`-._        _.-_.-    |                                 
  `-._   `-._`-.__.-_.-    _.-                                   
      `-._   `-.__.-    _.-                                      
          `-._        _.-                                          
              `-.__.-                                              
 
[6294] 09 Apr14:28:02.814 # Server started, Redis version 2.8.13
[6294] 09 Apr14:28:02.814 # WARNING overcommit_memory is set to 0! Background save may failunder low memory condition. To fix this issue add vm.overcommit_memory = 1 to/etc/sysctl.conf and then reboot or run the command sysctlvm.overcommit_memory=1 for this to take effect.
[6294] 09 Apr14:28:02.814 * The server is now ready to accept connections on port 6381
[6295] 09 Apr14:28:02.795 * Increased maximum number of open files to 10032 (it wasoriginally set to 1024).
                _._                                                 
           _.-``__ -._                                            
      _.-``   `.  `_.  -._           Redis 2.8.13 (1e823fd3/1) 64 bit
  .-`` .-```. ```\/    _.,_ -._                                   
 (         ,       .-` | `,    )     Running in stand alone mode
 |`-._`-...-` __...-.``-._|` _.-|     Port: 6382
 |   `-._   `._    /    _.-    |     PID: 6295
  `-._   `-._  `-./  _.-   _.-                                   
 |`-._`-._   `-.__.-    _.-_.-|                                 
 |   `-._`-._        _.-_.-    |          http://redis.io       
  `-._   `-._`-.__.-_.-    _.-                                  
 |`-._`-._   `-.__.-    _.-_.-|                                 
 |   `-._`-._        _.-_.-    |                                 
  `-._   `-._`-.__.-_.-    _.-                                  
      `-._   `-.__.-    _.-                                      
          `-._       _.-                                          
              `-.__.-                                              
 
[6295] 09 Apr14:28:02.811 # Server started, Redis version 2.8.13
[6295] 09 Apr14:28:02.811 # WARNING overcommit_memory is set to 0! Background save may failunder low memory condition. To fix this issue add vm.overcommit_memory = 1 to/etc/sysctl.conf and then reboot or run the command sysctlvm.overcommit_memory=1 for this to take effect.
[6295] 09 Apr 14:28:02.812 * The server is nowready to accept connections on port 6382

    d、 增加分片

 增加分片,每个分片只要一个master节点
$  ../bin/codis-config server add 1192.168.0.99:6381 master
 
  "msg": "OK",
  "ret": 0
}
$  ../bin/codis-config server add 2192.168.0.99:6382 master
{
  "msg": "OK",
  "ret": 0
}

    web页面中能够看到新增加的分片组:

    

    e、敞开分片

 敞开分片,分片的规则为SlotId= crc32(key) % 1024
$ ../bin/codis-config slot range-set 0 511 1 online
{
  "msg": "OK",
  "ret": 0
}
$ ../bin/codis-config slot range-set 512 1023 2 online   
{
  "msg": "OK",
  "ret": 0
}

    f、发动codis-proxy

 发动codis-proxy
$ ../bin/codis-proxy -c config.ini -L ./log/proxy.log  addr=0.0.0.0:19000http-addr=0.0.0.0:11000 &

web界面显现:

这时codis-proxy是offline的状况,要将其设为online

 这儿的proxy_1为codis-proxy署理的id
$  ../bin/codis-config -c config.ini proxyonline proxy_1
{
  "msg": "OK",
  "ret": 0
}

web页面检查状况,发现现已为online了


3、测验分片

在刺进数据之前,各分片是没有key的,web页面上能够看到

衔接署理,并刺进数据

 衔接署理
$  ./redis-cli -p 19000
127.0.0.1:19000>

 署理中刺进数据
127.0.0.1:19000>set kora  1
OK
127.0.0.1:19000>set foway 2
OK
127.0.0.1:19000>set kade 3
OK
127.0.0.1:19000>set hongyi 4
OK

web页面中再次检查各分片间数据,各分片上已有数据,阐明分片成功


4、在线增加分片

    a、增加两个新的分片

 再发动两个redis实例
$  nohup ../bin/codis-server ./redis_conf/6380.conf &> ./log/redis_6380.log& 
[2] 6362
$  nohup ../bin/codis-server ./redis_conf/6383.conf &> ./log/redis_6383.log & 
[3] 6365
  将两个新的实例增加到署理中
$ ../bin/codis-config server add 3 192.168.0.99:6380 master
{
  "msg": "OK",
  "ret": 0
}
$ ../bin/codis-config server add 4 192.168.0.99:6383 master
{
  "msg": "OK",
  "ret": 0
}

web页面检查新增加的节点

    b、将group1 上slot_id在256-511间的keys搬迁到group3 上去

$ ../bin/codis-config slot migrate 256 511 3
{
  "msg": "OK",
  "ret": 0
}

指令履行完结后,数据会在后台进行搬迁,web页面中能够看到搬迁的状况

检查桶中的key散布

搬迁过程中如下,当赤色掩盖到511时标明搬迁完结,蓝色标明group1,赤色为group3

搬迁完结后状况

    c、将group2 上slot_id在768~2013间的keys搬迁到group4 上去

$ ../bin/codis-config slot migrate 768 1023 4
{
  "msg": "OK",
  "ret": 0
}

web页面上检查搬迁状况

搬迁完结后状况

web页面检查分片状况,发现新增加的分片上有了数据

署理中刺进数据,看各分片承受数据是否正常

$ ./redis-cli -p19000
127.0.0.1:19000>set avro 19
OK
127.0.0.1:19000>set boss 19
OK
127.0.0.1:19000>set sex 29
OK
127.0.0.1:19000>set zook 29
OK
127.0.0.1:19000>set hadoop 29
OK
127.0.0.1:19000>set kafka 30
OK
127.0.0.1:19000>set word 32
OK
127.0.0.1:19000>set xcode 32
OK

检查web页面各分片承受的keys状况

5、移除分片

    a、设置proxy为offline

$ ../bin/codis-config-c config.ini proxy offline proxy_1
{
  "msg": "OK",
  "ret": 0
}

    b、从头初始化slot

$ ../bin/codis-config slot init -f
{
  "msg": "OK",
  "ret": 0
}

    c、移除分片

$  ../bin/codis-config server remove-group 1
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 2
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 3
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 4
{
 "msg": "OK",
 "ret": 0
}

    d、web页面检查

  


注意事项:

1、slot在线搬迁不支撑原生的redis,只能运用codis内嵌的codis-server(codis-server 是 Codis 项目保护的一个 Redis 分支, 根据 2.8.13 开发, 参加了 slot 的支撑和原子的数据搬迁指令).

2、slot搬迁是原子性的,且对上层应用是安全通明的,搬迁的过程中不会堵塞上层事务的效劳。

3、搬迁的过程中每次只能有一个slot处于搬迁状况,所以在搬迁操作时,应单片单片的进行搬迁,在没有承认当时的搬迁是否完结前,不要敞开下一个搬迁。

4、codis-proxy对原生的redis是有用的,现已测验过(版别redis 2.8.19),可是slot是不支撑原生redis的。

5、codis-proxy、slot对SSDB都是无效的,运用codis-proxy署理SSDB是无法完结分片的,数据会落在装备中的第一个分片上。




版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表乐橙lc8立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章