基于NSQ搭建高可用分布式消息队列

nsqd、nsqlookupd、nsqadmin是NSQ的三个关键组件，三个组件独立部署运行。

nsqd是NSQ最核心的组件，负责接收消息，存储队列和将消息发送给客户端。nsqd 可以多机器部署，当使用客户端向一个topic发送消息时，可以配置多个nsqd地址，消息会随机的分配到各个nsqd上，nsqd优先把消息存储到内存channel中（也可以通过配置让消息全部落盘存储），当内存channel满了之后，则把消息写到磁盘文件中。nsqd可以独立运行。

一个nsqd中可以创建多个队列（topic）。支持组播，一个队列可以有多个通道（channel）来同时消费，每个通道都将接收到这个队列中所有消息的副本，保证每个通道中消费到的消息一致，各通道可以有自己的消费进度，互相不会影响。

nsqlookupd负责管理拓扑信息，提供最终一致服务发现能力。客户端可以通过查询 nsqlookupd 来发现指定队列（topic）的nsqd地址。

nsqadmin提供了一个非常好用的可视化管理后台，可以可视化的管理队列和查询消息处理情况。 

通常在生成环境中，这三个组件会一起部署。

虽然机器故障是小概率事件，但是也无法彻底避免，我们要提供高可用的服务，就必要考虑机器故障。NSQ采用的是一个完全分布式的拓扑结构，非常适合构建起一个高可用的消息集群。

要实现高可用，有多个等级，比如部分兼容机器故障、兼容单机房故障、兼容地域主干网络故障等等。绝大部分的业务场景下，做到兼容部分机器故障是基本要求，这里我们主要总结下如何兼容部署机器故障，如果要做到更高的可用性部署拓扑也类似，就是多机房、多地域部署。

nsqd的数量决定整个集群的吞吐能力，NSQ具备非常好的消息处理性能，具体按实际业务量级决定部署nsqd节点规模，但考虑到可用性， 最少不要少于3个nsqd节点，同样也不要少于3个nsdlookupd节点。

示例部署拓扑：

启动3个nsdlookupd，所有nsqd都连接到这三个nsdlookupd。生成消息是直接通过负载均衡写入到nsqd，如果那个nsqd挂掉，生产者就无法继续往这个nsqd写消息了。消费消息通过nsdlookupd做服务发现，配置3个+nsdlookupd，其中某个挂掉不会影响消息消费，nsqd仍然可以通过其他nsdlookupd被发现。nsqadmin是个web-ui管理后台，无任何本地状态，单机部署多机部署都可以。

01

◆ 机器挂掉能重启恢复，重启恢复后重启服务即可，nsqd的内存队列大小设置为0，数据全部落盘，重启不会丢失数据。

◆ 机器不能重启恢复的情况下，从备份数据中回放该nsqd的备份消息。需要注意回放时对消息去重，因为写备份时采用全部备份写成功才算成功的方案，可能会导致消息重复。