WQS - 消息服务中间件
Apache 2.0
跨平台
Google Go
软件简介
WQS 是微博开源的消息服务中间件。
功能特性
-
多租户支持;
-
多 IDC 支持;
-
多协议支持 memcached、http 1/2、motan
-
轻客户端。(去 zk 依赖、无 partition 感知)
-
支持 pub/sub、long polling、pipeline;
-
支持 TTL;
-
支持 filter。
多 IDC 部署
WQS 目前支持多 IDC 部署,创建队列时选取响应的配置表明该队列是否需要多 IDC 功能支持,当 WQS 集群跨 IDC 部署时:
-
Producer 通过 WQS 实例写消息会时写到与自身实例部署在同一 IDC 内的 Kafka 集群上。
-
Consumer 通过 WQS 实例读消息时,该实例会根据 Queue 的配置来执行响应的行为。
-
当 Queue 未配置多 IDC 同步时,该实例只会从该实例部署的 IDC 的 Kafka 集群中读取消息
-
当 Queue 配置多 IDC 同步时,该实例会从用户所配置的 IDC 内的 Kafka 集群上读取消息,且不同 IDC 的 WQS 实例读取同一 Kafka 集群时,会采用相同的 consumer-group-ID。
-
相关配置
为兼容老版本配置,则本地 IDC 的 Kafka 配置为:
kafka.zookeeper.connect=localhost:2181
kafka.zookeeper.root=
#本地IDC的名称,只能是英文字母和数字
kafka.idc=idc
其他 IDC 的配置为:
kafka.remote.<your idc name>.zookeeper.connect=xxx.xxx.xxx.xxx:2181/
例如远端 IDC 的名称为abc
则:
kafka.remote.abc.zookeeper.connect=xxx.xxx.xxx.xxx:2181/
创建队列
如果你要创建一个队列,要支持多 IDC 数据同步,队列名为abc
,IDC分别为idc1
、idc2
,则创建命令为
curl -X PUT "http://127.0.0.1:8080/queues/abc" -d '{"idcs":["idc1","idc2"]}'