首页 技术 正文
技术 2022年11月9日
0 收藏 665 点赞 3,969 浏览 1853 个字

一、服务器角色

1. Leader

1)事务请求的唯一调度者和处理者。保证事务处理的顺序性

  事务请求:导致数据一致性的请求(数据发生改变)。如删除一个节点、创建一个节点、设置节点数据,设置节点权限就是一个事物请求,全局的事物id(zxid)只能由leader来分配

2)集群内部个服务器之间的调度者

2. Follower

1)处理客户端的非事务请求。事务请求必须转发给Leader服务器。

  非事物请求:读取数据
2)参与事务请求Proposal(议案)的投票
3)参与Leader选举

3. Observer

在实际运行中,它只是负责读,Leader不会将事务的投票发送给Observer。
在zk的配置server.1=master:2888:3888后面加:observer以后就是一个Observer
server.1=master:2888:3888:observer

Zookeeper系列六:服务器角色、序列化与通信协议、数据存储、zookeeper总结

二、序列化与通信协议

1. zookeeper序列化

常见序列化协议:

ProtoBuf
Thrift
Hessian
Kryo
Avro
JDK Serializable
Jsoniter/Jackson

Jute是zookeeper序列化、反序列化协议。

2. zookeeper通信协议

基于TCP/IP协议,所以是一个长连接。zookeeper在这个基础上完成客户端和服务器,服务器和服务器之间的通信。

zookeeper请求包:请求头+请求体

0-3

4-11

12-n

len

4-7

8-11

12-15

16-(n-1)

n

xid

type

len

path

watch

 

zookeeper响应包:响应头+响应体

0-3

4-19

20 – n

len

4-7

8-15

16-19

20-23

len位

48位

8位

xid

zxid

err

len

data

……

pzxid

0-3位:version+dbid+magic(魔数)

三、数据存储

1. 内存数据

Zk有个内存数据库:ZkDataBase、DataTree、DataNode

2. 日志数据FileTxnLog

运行时,不停地有数据写入。
当日志的剩余空间不足4K(4096),日志就做扩充,扩充64M,后面以“0”填充。
log都是使用zxid作为文件名的后缀。

查看日志方式:

cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.LogFormatter /zookeeper/zk1/version-2/log.100000001

Zookeeper系列六:服务器角色、序列化与通信协议、数据存储、zookeeper总结

说明:

1)必须在zookeeper的安装目录下执行

2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)

3. 快照数据

快照数据:在某一时刻内存所有全量数据的一个磁盘文件。举例:快照阈值100000,触发快照数据。
快照数据都是使用Zxid作为文件名的后缀。这样的话,获取快照数据的时候就不用遍历了,直接根据Zxid去获取就行了

查看快照命令:

cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.SnapshotFormatter /zookeeper/zk1/version-2/snapshot.100000050

Zookeeper系列六:服务器角色、序列化与通信协议、数据存储、zookeeper总结

说明:

1)必须在zookeeper的安装目录下执行

2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)

快照触发机制,非“半数机制”,过半随机策略。
logcount > (snapcount/2 + randroll)
logcount: 代表当前记录日志数量
snapcount: 多少次事务日志记录后触发一次数据快照
randroll: 1~snapcount/2 之间的一个随机数

四、zookeeper总结

ZK在分布式系统中的各种应用,本质其实就是对节点的创建,删除,数据更新等事件做监听,监听到以后做对应的操作
ZK是观察者设计模式
都是为了解决高可用,解决单点故障问题,数据可靠性

zookeeper系列代码获取地址

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,487
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,903
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,736
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,486
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:8,126
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:5,289