首页 技术 正文
技术 2022年11月6日
0 收藏 632 点赞 389 浏览 1311 个字

队列

分布式队列是一种常见的数据结构。为了在ZooKepeer中实现分布式队列,第一步是要使用一个znode代表队列本身。分布式客户端通过create()方法将内容放入一个名叫"queue-"的sequence ephemeral节点。由于是使用sequence节点,创建的路径将是_path-to-queue_/queue-X,其中X是一个递增的数字。当一个客户端希望移除一个内容,它可以调用getChildren方法,并设置watch为true,并从最小的子节点开始处理。不到整个子节点处理完成,客户端不需要再次调用getChildren方法。如果没有子节点,消费者可以等待watch触发再次查询队列。

在ZooKepeer的发布中src/recipes/queue(https://github.com/apache/zookeeper/tree/master/src/recipes/queue)的目录有ZooKeeper的Queue实现

优先级队列

如果需要实现一个优先级队列,你只要在以上队列中进行两处简单改动。第一在增加到队列中时,路径名称使用"queue-YY",其中YY表示优先级,越小优先级越高。第二,在移除节点时,客户端使用实时的子节点列表。也就是当watch事件触发会使用新的子元素列表来取代原有的列表

Curator实现

public static <T> QueueBuilder<T> builder(CuratorFramework client, QueueConsumer<T> consumer, QueueSerializer<T> serializer, java.lang.String queuePath)
/**
创建queue的Builder方法
client 客户端实例
consumer 消息消费者-如果是生产者可以设为null
serializer 序列化用
queuePath 队列的地址
**/
QueueBuilder<MessageType>    builder = QueueBuilder.builder(client, consumer, serializer, path);
DistributedQueue<MessageType queue = builder.build();
queue.put(aMessage); //将消息放入队列

其中QueueBuilder可以使用函数式的方法调用更多配置的方法,如lockPath可以确保消息在成功处理之后才会被从queue中删除,达到类似事务的功能。

问题

Curator不建议使用ZooKeeper来实现Queue。原因如下

  • ZooKeeper有1MB的传输限制。所以ZNode需要较小。较难处理大数据量的队列
  • ZooKeeper在拥有大ZNode时启动时会相对较慢,会显著拖慢queue初始化和同步过程
  • ZNode过大时会较难清理。getChildren会调用失败。Netflix自己创建了特定的处理过程,增大jute.maxbuffer来处理并删除大节点
  • ZooKeeper性能在有很多节点且拥有大量子节点的情况下表现不佳
  • ZooKeeper数据时存在内存中的。所以内存大小会是一个瓶颈

返回引言

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,487
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,903
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,736
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,486
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:8,126
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:5,289