如何在服务器 Ubuntu 22.04 上构建 RabbitMQ 集群 + MQTT Broker 实时消息推送场景实战

如何在 Ubuntu 22.04 服务器上构建一个高效且高可用的 RabbitMQ 集群，并实现 MQTT Broker 来处理实时消息推送。A5数据将通过详细的步骤，涵盖硬件配置、软件配置、技术细节和优化方法，同时给出代码示例和性能评测。

1. 技术栈概述

1.1 RabbitMQ

• RabbitMQ 是一个开源的消息队列中间件，采用 AMQP 协议。它广泛应用于分布式应用中，用于消息队列管理。
• 本文中，我们将使用 RabbitMQ 集群来处理大规模的消息流，以确保高可用性和负载均衡。

1.2 MQTT

• MQTT（Message Queuing Telemetry Transport）是一种轻量级的消息传输协议，广泛用于物联网（IoT）应用中。它特别适用于设备之间的低带宽、低延迟消息推送。
• 本文将使用 RabbitMQ 作为 MQTT Broker，以实现低延迟、高可靠性的实时消息推送。

2. 系统要求与硬件配置

2.1 操作系统

• Ubuntu 22.04 LTS：作为生产环境的操作系统，确保其稳定性和长期支持。

2.2 香港服务器www.a5idc.com硬件配置

• CPU：至少 4 核，推荐使用性能较高的处理器，如 Intel Xeon 或 AMD EPYC 系列。
• 内存：最低 8GB RAM，推荐 16GB RAM 以处理更大的负载。
• 存储：至少 100GB SSD 存储，推荐使用 NVMe SSD 存储，确保消息存储与队列的高效处理。
• 网络带宽：建议使用 1Gbps 以上的网络带宽，特别是当你需要处理大量并发消息时。

2.3 集群架构

• Node 数量：至少 3 台服务器，以确保 RabbitMQ 集群具有高可用性和负载均衡。
• 配置方案：每个节点都将运行 RabbitMQ 服务，并设置为集群模式，确保故障转移和数据冗余。

3. 安装 RabbitMQ 和 MQTT Broker

3.1 安装 RabbitMQ

3.1.1 更新系统

首先，确保系统是最新的：

sudo apt update
sudo apt upgrade -y

3.1.2 安装 RabbitMQ

RabbitMQ 的安装步骤如下：

sudo apt install -y erlang
sudo apt install -y rabbitmq-server

安装完成后，启动并启用 RabbitMQ 服务：

sudo systemctl start rabbitmq-server
sudo systemctl enable rabbitmq-server

3.1.3 启用 RabbitMQ 管理插件

RabbitMQ 提供了一个非常强大的管理插件，可以通过 Web 界面来管理 RabbitMQ 集群：

sudo rabbitmq-plugins enable rabbitmq_management

然后可以通过浏览器访问：

http://<服务器_IP>:15672

默认用户名和密码为 guest / guest。

3.1.4 配置 RabbitMQ 集群

假设有 3 台服务器，分别为 node1, node2, node3，配置如下：

在 node2 和 node3 上，将它们连接到 node1：

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster rabbit@node1
sudo rabbitmqctl start_app

4. 配置 MQTT 插件

4.1 安装 MQTT 插件

为了使 RabbitMQ 支持 MQTT 协议，我们需要启用 RabbitMQ MQTT 插件：

sudo rabbitmq-plugins enable rabbitmq_mqtt

此时，RabbitMQ 将能够作为 MQTT Broker，接收和发送 MQTT 消息。

4.2 配置 MQTT 插件

MQTT 插件默认监听在 1883 端口，您可以通过修改配置文件来调整监听端口：

sudo nano /etc/rabbitmq/rabbitmq.conf

添加以下内容来修改端口配置：

mqtt.listener.tcp.default = 1883

保存并退出文件后，重启 RabbitMQ 服务：

sudo systemctl restart rabbitmq-server

4.3 配置认证与安全

为了确保安全性，可以设置用户名和密码来认证连接的客户端。创建一个新的用户：

sudo rabbitmqctl add_user mqtt_user mqtt_password
sudo rabbitmqctl set_permissions -p / mqtt_user ".*" ".*" ".*"

5. 集群监控与调优

5.1 监控 RabbitMQ 集群

通过 RabbitMQ 的管理插件 Web 界面，我们可以实时监控集群的健康状况。查看队列、交换机的状态和连接数等。

5.2 集群调优

• 内存限制：可以通过 rabbitmq.conf 配置文件来限制内存使用，避免节点过载。
• 持久化消息：启用消息持久化以确保消息不会丢失，可以通过以下命令启用：

sudo rabbitmqctl set_policy TTL ".*" '{"message-ttl":60000}' –apply-to queues

6. 代码示例与测试

6.1 使用 Python 客户端发送 MQTT 消息

首先，安装 paho-mqtt Python 库：

pip install paho-mqtt

然后，使用以下 Python 代码连接到 RabbitMQ MQTT Broker 并发送消息：

import paho.mqtt.client as mqtt

broker = "localhost"
port = 1883
topic = "test/topic"
message = "Hello, RabbitMQ MQTT Broker!"

client = mqtt.Client()
client.connect(broker, port, 60)
client.publish(topic, message)
client.disconnect()

6.2 使用 Python 客户端接收 MQTT 消息

以下是订阅并接收消息的 Python 代码：

import paho.mqtt.client as mqtt

broker = "localhost"
port = 1883
topic = "test/topic"

def on_connect(client, userdata, flags, rc):
print("Connected with result code " + str(rc))
client.subscribe(topic)

def on_message(client, userdata, msg):
print(f"Received message: {msg.payload.decode()}")

client = mqtt.Client()
client.on_connect = on_connect
client.on_message = on_message
client.connect(broker, port, 60)
client.loop_forever()

7. 性能评测与优化

为了评估 RabbitMQ 集群 + MQTT Broker 在实时消息推送场景下的性能，我们进行了以下测试：

8. 总结与展望

A5数据本文详细介绍了如何在 Ubuntu 22.04 上构建一个高可用的 RabbitMQ 集群，并配置其作为 MQTT Broker 来处理实时消息推送。我们涵盖了系统要求、安装配置、代码示例以及性能评测。通过这些步骤，您可以在生产环境中实现高效、可靠的消息推送服务。

随着应用场景的不断扩展，您还可以进一步优化 RabbitMQ 集群的扩展性和高可用性，以应对更高的并发和消息量。