四、简单模式——Hello Word
RabbitMQ 中最简单的Hello World
模式。也就是一个生产者、一个消费者、一个队列;生产者P发送消息到队列Q,一个消费者C接收消息。

接下来我们来用 Java 代码实现一下 Hello World
简单模式,首先创建一个空项目,然后添加一个 maven 模块
4.1、导入rabbitmq依赖,使用springboot快速搭建项目
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>com.mysql</groupId>
<artifactId>mysql-connector-j</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-configuration-processor</artifactId>
<optional>true</optional>
</dependency>
<!-- amqp-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
</dependencies>
4.2、编写消息生产者
步骤:
- 创建连接工厂 ConnectionFactory
- 通过连接工厂创建连接 Connection
- 通过连接获取通道 Channel
- 通过通道声明队列 Queue
- 发送消息到队列 Queue 中
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class Producer {
// 队列名称
public static String QUEUE_NAME = "hello";
public static void main(String[] args) throws IOException, TimeoutException {
// 创建连接工厂
ConnectionFactory factory = new ConnectionFactory();
// 设置连接信息
factory.setHost("localhost");
factory.setUsername("guest");
factory.setPassword("guest");
// 创建连接
Connection connection = factory.newConnection();
// 创建channel
Channel channel = connection.createChannel();
/**
* 创建一个队列
* 1.队列名称
* 2.队列里面的消息是否持久化(默认为false,代表消息存储在内存中)
* 3.该队列是否只供一个消费者进行消费,是否进行共享(true表示可以多个消费者消费)
* 4.表示最后一个消费者断开连接以后,该队列是否自动删除(true表示自动删除)
* 5.其他参数
*/
channel.queueDeclare(QUEUE_NAME, true, false, false, null);
/**
* 发送一个消息
* 1.发送到那个交换机(空代表默认交换机)
* 2.路由key
* 3.其他的参数信息
* 4.发送消息的消息体
*/
String message = "hello";
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送完毕");
}
}
4.3、编写消息消费者
步骤:
- 创建连接工厂 ConnectionFactory
- 通过连接工厂创建连接 Connection
- 通过连接获取通道 Channel
- 通过通道接收消息
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class Consumer {
// 队列名称
public static String QUEUE_NAME = "hello";
public static void main(String[] args) throws IOException, TimeoutException {
// 创建一个连接工厂
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("localhost");
factory.setUsername("guest");
factory.setPassword("guest");
// 创建一个连接
Connection connection = factory.newConnection();
// 创建一个通道
Channel channel = connection.createChannel();
// 创建一个消费者
// 接收消息
/**
* 消费者消费消息
* 1.消费的队列名称
* 2.消费成功之后是否要自动应答(true代表自动应答,false代表手动应答)
* 3.消费者消费消息的回调(函数式接口)
* 4.消费者取消消费的回调(函数式接口)
*/
channel.basicConsume(QUEUE_NAME, true, (consumerTag, message) -> {
System.out.println(new String(message.getBody()));
}, consumerTag -> {
System.out.println("消息消费被中断");
});
}
}
4.4、测试
运行程序,观察消息在rabbitmq-server服务中的过程
首先启动生产者,可以看到创建了一个队列hello
,并发送了一条消息,还未被消费

然后再启动消费者,可以看到控制台打印收到的消息,同时可以看到消息已经被消费
14:33:14.980 [main] DEBUG com.rabbitmq.client.impl.ConsumerWorkService - Creating executor service with 12 thread(s) for consumer work service
hello

此外,这里的hello
队列是一个持久化队列,所以如果rabbitmq
服务重启,该队列不会消失
4.5、代码优化—抽取工具类
上述消息生产者和消费者获取创建ConnectionFactory,获取Connection和Channel的过程是一样的,我们可以封装成一个工具类RabbitMqUtils
。
public class RabbitMqUtils {
// 获得RabbitMQ连接的channel
public static Channel getChannel() throws Exception {
// 创建一个连接工厂
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("localhost");
factory.setUsername("guest");
factory.setPassword("guest");
// 创建一个connection
Connection connection = factory.newConnection();
// 创建一个channel
Channel channel = connection.createChannel();
return channel;
}
}
然后我们就可以优化一下消费者和生产者的代码:
消费者:
public class Consumer {
// 队列名称
public static String QUEUE_NAME = "hello";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
// 创建一个消费者
// 接收消息
channel.basicConsume(
QUEUE_NAME,
true,
(consumerTag, message) -> {
System.out.println(new String(message.getBody()));
},
consumerTag -> {
System.out.println("消息消费被中断");
});
}
}
生产者:
public class Producer {
// 队列名称
public static String QUEUE_NAME = "hello";
public static void main(String[] args) throws Exception {
// // 创建连接工厂
// ConnectionFactory factory = new ConnectionFactory();
// // 设置连接信息
// factory.setHost("localhost");
// factory.setUsername("guest");
// factory.setPassword("guest");
// // 创建连接
// Connection connection = factory.newConnection();
// // 创建channel
// Channel channel = connection.createChannel();
Channel channel = RabbitMqUtils.getChannel();
/**
* 创建一个队列
* 1.队列名称
* 2.队列里面的消息是否持久化(默认为false,代表消息存储在内存中)
* 3.该队列是否只供一个消费者进行消费,是否进行共享(true表示可以多个消费者消费)
* 4.表示最后一个消费者断开连接以后,该队列是否自动删除(true表示自动删除)
* 5.其他参数
*/
channel.queueDeclare(QUEUE_NAME, true, false, false, null);
/**
* 发送一个消息
* 1.发送到那个交换机(空代表默认交换机)
* 2.路由key
* 3.其他的参数信息
* 4.发送消息的消息体
*/
String message = "hello";
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送完毕");
}
}
五、工作模式——Work Queues
Work Queues 是工作队列模式,也就是一个生产者、多个消费者、一个队列。

它的主要思想是避免排队等待,避免一个消息处理时间过久而无法处理下一个的问题。因此相比简单模式可以有多个消费者,原理就是我们把任务封装为消息并将其发送到队列中,这多个消费者可以一起处理队列中的任务。
RabbitMQ 中的工作模式默认采用轮训的方式,也就是如果有两个消费者的话,消息逐一分给每个消费者进行消费。接下来我们来用 Java 代码实现一下 Work Queues
工作模式,来测试其轮训消费的功能。
5.1、编写消息生产者
public class Producer {
public static String QUEUE_NAME = "work";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
/**
* 创建一个队列
* 1.队列名称
* 2.队列里面的消息是否持久化(默认为false,代表消息存储在内存中)
* 3.该队列是否只供一个消费者进行消费,是否进行共享(true表示可以多个消费者消费)
* 4.表示最后一个消费者断开连接以后,该队列是否自动删除(true表示自动删除)
* 5.其他参数
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 发送消息
Scanner scanner = new Scanner(System.in);
while (scanner.hasNext()) {
String message = scanner.next();
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送完毕" + message);
}
}
}
5.2、编写消息消费者
消费者1:
public class Consumer1 {
public static String QUEUE_NAME = "work";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 消费消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
}
}
消费者2:
public class Consumer2 {
public static String QUEUE_NAME = "work";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 消费消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
}
}
5.3、测试
首先分别启动两个消费者,然后启动生产者,这里发送5条消息:



六、RabbitMQ交换机
前面的两节中,我们通过演示了 Hello World、Work Queues 两种 RabbitMQ 的工作模式。接下来我们来看看剩下的三种模式:Publish/Subscribe、Routing、Topics,这三种模式可以统一归为 Exchange 模式,它们只是创建时交换机的类型不一样,分别是 fanout、direct、topic。
这节我们就来深入了解一下交换机 Exchange 以及它的几种工作模式。
6.1、Exchanges简介
RabbitMQ 消息传递模型的核心思想是:生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递传递到了哪些队列中。
相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定。

Exchanges 的类型总共有四种:直接(direct)、主题(topic)、标题(headers)、扇出(fanout)
📦 无名exchange
在本文的前面部分我们对 exchange 一无所知,但仍然能够将消息发送到队列。这是因为我们使用的是默认交换机,我们通过空字符串(“”)进行标识。

临时队列
上文所有例子中我们都使用的是具有特定名称的队列,队列的名称我们来说至关重要,用于指定消费者去消费哪个队列的消息。每当我们连接到 RabbitMQ 时都需要一个全新的空队列,但很多时候我们可能不想指定队列名字,只想实验测试一下,此时我们可以创建一个具有随机名称的队列,一旦我们断开了消费者的连接,该队列将被自动删除。这就是临时队列。
// 创建一个临时队列
String queueName = channel.queueDeclare().getQueue();
创建出来之后长成这样:

🐼 绑定
我们提到,生产者发消息都是发给交换机,由交换机对消息进行路由到队列,那么交换机这么知道将消息发给哪个队列呢?这就是 routing-key 要做的事,它是 exchange 和 queue 之间的桥梁,告诉我们 exchange 和那个队列进行了绑定关系。比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定。

queueBind
方法中的第三个参数就是设定routing-key
的值,用于设定交换机和队列的绑定关系。

6.2、Fanout模式——RabbitMQ发布订阅模式

有一个生产者,一个fanout模式的交换机绑定了两个临时队列,然后分别对应了两个消费者。
生产者:
public class Producer {
public static void main(String[] args) throws Exception {
//创建连接
Channel channel = RabbitMqUtils.getChannel();
// 声明交换机
channel.exchangeDeclare("logs", BuiltinExchangeType.FANOUT);
// 发送消息
for (int i = 0; i < 10; i++) {
String message = "hello world" + i;
channel.basicPublish("logs", "", null, message.getBytes());
System.out.println("消息发送完毕" + message);
}
}
}
消费者1:
public class Consumer01 {
public static void main(String[] args) throws Exception {
//创建连接
Channel channel = RabbitMqUtils.getChannel();
//声明交换机
channel.exchangeDeclare("logs", BuiltinExchangeType.FANOUT);
//声明队列
String queueName = channel.queueDeclare().getQueue();
/**
* 绑定队列到交换机
* queueName是队列
* logs是交换机
* routingKey是路由键
*/
channel.queueBind(queueName,"logs","info");
/**
* 消费者消费消息
* 1.消费的队列名称
* 2.消费成功之后是否要自动应答(true代表自动应答,false代表手动应答)
* 3.消费者消费消息的回调(函数式接口)
* 4.消费者取消消费的回调(函数式接口)
*/
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("获得消息:" + new String(message.getBody()));
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
}
}
消费者2同 消费者1
然后运行测试,分别启动consumer01、consumer02,然后启动producer发送10条消息




6.3、Direct模式——RabbitMQ路由模式
上述 Fanout 这种交换类型并不能给我们带来很大的灵活性,它只能进行无意识的广播,在这里我们将使用 direct 类型来替换,direct 类型的工作方式是:消息只去到它绑定的 routingKey 队列中去。

举个简单的例子,在上面这张图中,我们可以看到交换机X为direct模式,绑定了两个队列,队列Q1绑定键为 orange,队列Q2绑定键有两个:一个绑定键为 black,另一个绑定键为 green。
在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列Q1。绑定键为 blackgreen 和的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃。
Fanout 模式本质就是 Direct 模式的一种特殊情况
,如下图所示:如果 direct 类型的交换机绑定的多个队列的 routing-key 都相同,也就类似 fanout 模式,就跟广播差不多。

接下来我们通过一个实战来演示一下 Direct 模式的效果,示意图如下所示:

消费者1:
public class Consumer01 {
private static final String QUEUE_NAME = "console";
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws Exception {
//创建连接
Channel channel = RabbitMqUtils.getChannel();
//声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//声明队列
channel.queueDeclare(QUEUE_NAME,false,false,false,null);
// 绑定队列与交换机
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "info");
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "warning");
//消费消息
channel.basicConsume(QUEUE_NAME, true, (consumerTag, message) -> {
System.out.println("Consumer01接收到的消息:" + new String(message.getBody()));
}, consumerTag -> {
System.out.println("Consumer01取消消费消息");
});
}
}
消费者2:
public class Consumer02 {
private static final String QUEUE_NAME = "disk";
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws Exception {
//创建连接
Channel channel = RabbitMqUtils.getChannel();
//声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//声明队列
channel.queueDeclare(QUEUE_NAME,false,false,false,null);
// 绑定队列与交换机
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "error");
//消费消息
channel.basicConsume(QUEUE_NAME, true, (consumerTag, message) -> {
System.out.println("Consumer01接收到的消息:" + new String(message.getBody()));
}, consumerTag -> {
System.out.println("Consumer01取消消费消息");
});
}
}
生产者:
public class Producer {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws Exception {
//创建连接
Channel channel = RabbitMqUtils.getChannel();
//声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//发送消息
Map<String, String> messageMap = new HashMap<>();
messageMap.put("info", "普通 info 信息");
messageMap.put("warning", "警告 warning 信息");
messageMap.put("error", "错误 error 信息");
messageMap.put("debug", "调试 debug 信息");
for (Map.Entry<String, String> entry : messageMap.entrySet()) {
channel.basicPublish(EXCHANGE_NAME, entry.getKey(), null, entry.getValue().getBytes());
}
}
}
然后分别启动consumer01、consumer02、producer进行测试:



6.4、Topics模式——RabbitMQ主题模式
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性。比方说我们想接收的日志类型有 error 和 warning 两种,但某个队列只想 error 的消息,那这个时候 direct 交换机就办不到了。这就引入了 topic
类型。
发送到类型是 topic 交换机的消息的 routing_key 不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit” 这种类型的。当然这个单词列表最多不能超过 255 个字节。
在这个规则列表中,其中有两个替换符是大家需要注意的:
发送到类型是 topic 交换机的消息的 routing_key 不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit” 这种类型的。当然这个单词列表最多不能超过 255 个字节。
在这个规则列表中,其中有两个替换符是大家需要注意的:
- 星号
*
可以代替一个单词 - 井号
#
可以替代零个或多个单词
此外,当队列绑定关系是下列情况时需要引起注意:
- 当一个队列绑定键是
#
,那么这个队列将接收所有数据,就有点像 fanout - 如果队列绑定键当中没有
#
和*
出现,那么该队列绑定类型就是 direct
案例演示:如下图所示,我们首先分析该模式消息的路由结果,然后我们通过代码来验证一下结果是否正确

- Q1–>绑定的是:中间带 orange 带 3 个单词的字符串(.orange.)
- Q2–>绑定的是:最后一个单词是 rabbit 的 3 个单词(..rabbit),第一个单词是 lazy 的多个单词(lazy.#)
上图是一个队列绑定关系图,我们来看看他们之间数据接收情况是怎么样的:
quick.orange.rabbit 被队列 Q1Q2 接收到
lazy.orange.elephant 被队列 Q1Q2 接收到
quick.orange.fox 被队列 Q1 接收到
lazy.brown.fox 被队列 Q2 接收到
lazy.pink.rabbit 虽然满足两个绑定但只被队列 Q2 接收一次
quick.brown.fox 不匹配任何绑定不会被任何队列接收到会被丢弃
quick.orange.male.rabbit 是四个单词不匹配任何绑定会被丢弃
lazy.orange.male.rabbit 是四个单词但匹配 Q2
然后我们通过代码实现一下:
生产者Producer:
public class Producer {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
// 发送消息
Map<String, String> messageMap = new HashMap<>();
messageMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
messageMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
messageMap.put("quick.orange.fox", "被队列 Q1 接收到");
messageMap.put("lazy.brown.fox", "被队列 Q2 接收到");
messageMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
messageMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
messageMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
messageMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
for (Map.Entry<String, String> mes : messageMap.entrySet()) {
String message = mes.getValue();
String routingKey = mes.getKey();
channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes());
System.out.println("消息发送完毕" + message);
}
}
}
消费者Consumer01:
public class Consumer01 {
private static final String EXCHANGE_NAME = "topic_logs";
private static final String QUEUE_NAME = "Q1";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
// 创建Q1队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 绑定队列到交换机
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "*.orange.*");
// 消费消息
channel.basicConsume(QUEUE_NAME, true, (consumerTag, message) -> {
System.out.println("Consumer01收到消息:" + new String(message.getBody()));
}, consumerTag -> {
System.out.println("Consumer01取消消费消息");
});
}
}
消费者Consumer02:
public class Consumer02 {
private static final String EXCHANGE_NAME = "topic_logs";
private static final String QUEUE_NAME = "Q2";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 声明交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
// 创建Q1队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 绑定队列到交换机
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "*.*.rabbit");
channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "lazy.#");
// 消费消息
channel.basicConsume(QUEUE_NAME, true, (consumerTag, message) -> {
System.out.println("Consumer01收到消息:" + new String(message.getBody()));
}, consumerTag -> {
System.out.println("Consumer01取消消费消息");
});
}
}




七、RabbitMQ的一些机制
7.1、消息应答
默认情况下,RabbitMQ 一旦向消费者发送了一条消息后,便立即将该消息标记为删除。由于消费者处理一个消息可能需要一段时间,假如在处理消息中途消费者挂掉了,我们会丢失其正在处理的消息以及后续发送给该消费这的消息。
为了保证消息在发送过程中不丢失,RabbitMQ 引入消息应答机制,消息应答意思就是:消费者在接收消息并且处理完该消息之后,才告知 RabbitMQ 可以把该消息删除了。
RabbitMQ 中消息应答方式有两种:自动应答(默认)、手动应答
RabbitMQ 中消息应答通过以下方法来实现:
// 肯定确认
void basicAck(long deliveryTag, boolean multiple)
// 否定确认
void basicNack(long deliveryTag, boolean multiple, boolean requeue)
void basicReject(long deliveryTag, boolean requeue)
其中:deliveryTag
表示消息的标志,multiple
表示是否为批量应答(ture 代表批量应答channel上未应答的消息,比如当前channel上有传送tag为5678的消息,如果应答时tag=8,则5~8的这些还未应答的消息都会被确认收到消息应答;如果为 false 则此时只会应答tag=8的消息,567的消息不会被应答)

自动应答
自动应答即消息发送后立即被认为已经传送成功,也就是RabbitMQ默认采用的消息应答方式。这种模式需要在高吞吐量和数据传输安全性方面做权衡,因为该模式下如果消息在被接收之前,消费者的 connection 或者 channel 关闭,消息就丢失了。此外,由于消费者没有对传递的消息数量进行限制,发送方可以传递过载的消息,可能会造成消费者这边由于接收太多消息来不及处理,导致这些消息的积压,使得内存耗尽,最终使得这些消费者线程被操作系统杀死。
所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。
手动应答
采用手动应答后的消息自动重新入队可以避免自动应答中消息丢失的情况。如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或 TCP 连接丢失),导致消息未发送 ACK 确认,RabbitMQ 将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确保不会丢失任何消息。

我们来通过代码实现一下,只需要对上述 Work Queues 示例代码作出简单修改
生产者:
public class Producer {
public static String QUEUE_NAME = "ack";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
/**
* 创建一个队列
* 1.队列名称
* 2.队列里面的消息是否持久化(默认为false,代表消息存储在内存中)
* 3.该队列是否只供一个消费者进行消费,是否进行共享(true表示可以多个消费者消费)
* 4.表示最后一个消费者断开连接以后,该队列是否自动删除(true表示自动删除)
* 5.其他参数
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 发送消息
Scanner scanner = new Scanner(System.in);
while (scanner.hasNext()) {
String message = scanner.next();
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送完毕" + message);
}
}
}
消费者1
public class Consumer1 {
public static String QUEUE_NAME = "ack";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
/**
* 消费者消费消息
* 1.消费的队列名称
* 2.消费成功之后是否要自动应答(true代表自动应答,false代表手动应答)
* 3.消费者消费消息的回调(函数式接口)
* 4.消费者取消消费的回调(函数式接口)
*/
DeliverCallback deliverCallback = (consumerTag, message) -> {
// 模拟接受消息的延迟 1s
try {
Thread.sleep(1000 * 1);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
// 手动应答:第一个参数表示消息标记tag、第二个参数false表示不进行批量应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, false, deliverCallback, cancelCallback);
}
}
消费者2
public class Consumer2 {
public static String QUEUE_NAME = "ack";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 消费消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
// 模拟接受消息的延迟 10s
try {
Thread.sleep(1000 * 10);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
// 手动应答:第一个参数表示消息标记tag、第二个参数false表示不进行批量应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, false, deliverCallback, cancelCallback);
}
}
测试:首先启动生产者producer,然后启动两个消费者consumer01和consumer02。然后通过producer发送4条消息:

由于consumer01消费时间只有1s,因此可以立马看到consumer01根据轮询的规则收到了1、3条消息

按照默认的轮询机制,2、4条消息由consumer02来消费,10s后consumer2能正常收到。但此时如果我们停止Consumer02线程,过一会再看consumer01,可以看到它消费了2、4条消息

这就是手动应答的消息重新入队机制,我们避免了consumer02停机而造成原本分配给它消息的丢失问题。
7.2、持久化
前面我们通过手动应答处理了消息丢失的情况,但是如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它会清空队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事:我们需要将队列和消息都标记为持久化。
队列持久化
之前我们创建的队列都是非持久化的,RabbitMQ 如果重启,该队列就会被删除掉,如果要队列实现持久化就需要在声明队列的时候把 durable
参数设置为 true

需要注意的是如果之前声明的队列不是持久化的,需要把原先队列先删除,或者重新创建一个持久化的队列,不然就会错误:

以下为控制台中持久化与非持久化队列的 UI 显示区:

要想让消息实现持久化需要在消息生产者修改代码,添加MessageProperties.PERSISTENT_TEXT_PLAIN
属性。
将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘,但是这里依然存在当消息刚准备存储在磁盘的时候 但是还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强,但是对于我们的简单任务队列而言,这已经绰绰有余了。如果需要更强有力的持久化策略,参考后边课件发布确认章节。
7.3、不公平分发
前面我们了解到 RabbitMQ 默认分发消息采用的轮训分发模式,但是在某种场景下这种策略并不是很好,比方说有两个消费者在处理任务,其中 consumer01 处理任务的速度非常快,而 consumer02 处理速度却很慢,此时如果我们还是采用轮训分发的化就会使处理速度快的 consumer01 很大一部分时间处于空闲状态,而 consumer02 一直在干活,这种分配方式在这种情况下其实就不太好,但是 RabbitMQ 并不知道这种情况它依然很公平的进行分发。
为了避免这种情况,我们可以设置参数 channel.basicQos(1)
,意思就是每个消费者只能处理完当前消息才能接受新的消息。

设置之后示意图如下所示:

可以理解如果当前消息我没有处理完的话或者还没有应答的话,新的消息就先别分配给我,我目前只能处理一个消息,然后 RabbitMQ 就会把该任务分配给没有那么忙的那个空闲消费者,当然如果所有的消费者都没有完成手上任务,队列还在不停的添加新任务,队列有可能就会遇到队列被撑满的情况,这个时候就只能添加新的消费者 或者改变其他存储任务的策略。

7.4、预取值
本身消息的发送就是异步发送的,所以在任何时候,channel 上肯定不止只有一个消息另外来自消费者的手动确认本质上也是异步的。因此这里就存在一个未确认的消息缓冲区,因此希望开发人员能限制此缓冲区的大小,以避免缓冲区里面无限制的未确认消息问题。
这个时候就可以通过使用 basic.qos 方法设置“预取计数”
值来完成。该值定义通道上允许的未确认消息的最大数量。一旦数量达到配置的数量,RabbitMQ 将停止在通道上传递更多消息,除非至少有一个未处理的消息被确认。假设在通道上有未确认的消息 5、6、7,8,并且通道的预取计数设置为 4,此时 RabbitMQ 将不会在该通道上再传递任何消息,除非至少有一个未应答的消息被 ack。比方说 tag=6 的消息刚刚被确认 ACK,RabbitMQ 将会感知这个情况到并再发送一条消息。
消息应答和 QoS 预取值对用户吞吐量有重大影响。通常增加预取将提高向消费者传递消息的速度,虽然自动应答传输消息速率是最佳的,但是在这种情况下已传递但尚未处理的消息的数量也会增加,从而增加了消费者的RAM消耗。我们应该小心使用具有无限预处理的自动确认模式或采用手动确认模式,消费者消费了大量的消息如果没有确认的话,会导致消费者连接节点的内存消耗变大,所以找到合适的预取值是一个反复试验的过程,不同的负载该值取值也不同 100 到 300 范围内的值通常可提供最佳的吞吐量,并且不会给消费者带来太大的风险。预取值为 1 是最保守的。当然这将使吞吐量变得很低,特别是消费者连接延迟很严重的情况下,特别是在消费者连接等待时间较长的环境中。对于大多数应用来说,稍微高一点的值将是最佳的。

代码示例:编写两个消费者consumer01和consumer02,预取值分别为5和2。然后编写一个消费者发送7条消息
consumer01:预取值5,模拟接受消息延迟1s
public class Consumer01 {
private static String QUEUE_NAME = "prefetch";
public static void main(String[] args) throws Exception {
// 创建连接
Channel channel = RabbitMqUtils.getChannel();
// 设置预取值5
channel.basicQos(5);
/**
* 消费者消费消息
* 1.消费的队列名称
* 2.消费成功之后是否要自动应答(true代表自动应答,false代表手动应答)
* 3.消费者消费消息的回调(函数式接口)
* 4.消费者取消消费的回调(函数式接口)
*/
DeliverCallback deliverCallback = (consumerTag, message) -> {
// 模拟接受消息的延迟 10s
try {
Thread.sleep(1000 * 1);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
// 手动应答:第一个参数表示消息标记tag、第二个参数false表示不进行批量应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, false, deliverCallback, cancelCallback);
}
}
consumer02:预取值2,模拟接受消息延迟10sconsumer02:预取值2,模拟接受消息延迟10s
public class Consumer02 {
private static String QUEUE_NAME = "prefetch";
public static void main(String[] args) throws Exception {
// 创建连接
Channel channel = RabbitMqUtils.getChannel();
// 设置预取值5
channel.basicQos(2);
// 消费消息(第2个参数修改为false表示手动应答)
DeliverCallback deliverCallback = (consumerTag, message) -> {
// 模拟接受消息的延迟 10s
try {
Thread.sleep(1000 * 10);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("消息成功消费!内容为:" + new String(message.getBody()));
// 手动应答:第一个参数表示消息标记tag、第二个参数false表示不进行批量应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
CancelCallback cancelCallback = (consumerTag) -> {
System.out.println("消息消费被中断");
};
channel.basicConsume(QUEUE_NAME, false, deliverCallback, cancelCallback);
}
}
生产者:发送10条消息
public class Producer {
public static String QUEUE_NAME = "prefetch";
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 发送消息
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
for (int i = 0; i < 10; i++) {
String message = i + "";
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送完毕" + message);
}
}
}
启动消费者发送10条消息,前7条消息按照预取值的设定应该分给5条给consumer01,2条给consumer02

由于consumer01处理速度较快,consumer02处理较慢,所以consumer01处理完5条消息时consumer02还未处理第一条消息,因此后面的7、8、9条消息都会分配给consumer01进行消费。


7.5、发布确认
生产者将信道设置成 confirm 模式,一旦信道进入 confirm 模式,所有在该信道上面发布的消息都将会被指派一个唯一的 ID(从 1 开始),一旦消息被投递到所有匹配的队列之后,broker 就会发送一个确认给生产者(包含消息的唯一ID),这就使得生产者知道消息已经正确到达目的队列了,如果消息和队列是可持久化的,那么确认消息会在将消息写入磁盘之后发出,broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号,此外 broker 也可以设置basic.ack 的multiple 域,表示到这个序列号之前的所有消息都已经得到了处理。
confirm 模式最大的好处在于他是异步的,一旦发布一条消息,生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息,当消息最终得到确认之后,生产者应用便可以通过回调方法来处理该确认消息,如果 RabbitMQ 因为自身内部错误导致消息丢失,就会发送一条 nack 消息,生产者应用程序同样可以在回调方法中处理该 nack 消息。
发布确认默认是没有开启的,如果要开启需要调用方法 confirmSelect,每当你要想使用发布确认,都需要在 channel 上调用该方法

// 开启发布确认
channel.confirmSelect();
发布确认机制有三种策略:单个确认发布、批量确认发布、异步确认发布。其中前两者是同步确认的方式,也就是发布一个/一批消息之后只有被确认发布,后续的消息才能继续发布,后者是异步确认的方式,我们只管发布消息即可,消息是否被确认可以通过回调函数来接收到。
单个确认发布
这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布,后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。
这种确认方式有一个最大的缺点就是:发布速度特别的慢,因为如果没有确认发布的消息就会阻塞所有后续消息的发布,这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。
public class SingleProducer {
public static String QUEUE_NAME = "confirm";
public static int MESSAGE_COUNT = 10;
public static void main(String[] args) throws Exception {
// 创建连接
Channel channel = RabbitMqUtils.getChannel();
// 开启发布确认
channel.confirmSelect();
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = "消息" + i;
channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
// 等待确认
boolean flag = channel.waitForConfirms();
if (flag){
System.out.println(message+ "发送成功");
}
}
}
}
批量确认发布
上面那种方式非常慢,与单个等待确认消息相比,先发布一批消息然后一起确认可以极大地提高吞吐量,当然这种方式的缺点就是:当发生故障导致发布出现问题时,不知道是哪个消息出现问题了,我们必须将整个批处理保存在内存中,以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的,也一样阻塞消息的发布。
public class BatchProducer {
public static String QUEUE_NAME = "confirm";
public static int MESSAGE_COUNT = 10;
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 开启发布确认
channel.confirmSelect();
// 确定批量大小
int batchSize = 5;
// 未确认消息个数
int noConfirmMesNum = 0;
// 开始时间
long begin = System.currentTimeMillis();
// 发送消息
channel.queueDeclare(QUEUE_NAME, true, false, false, null);
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
noConfirmMesNum++;
// 每5个一批发布确认
if (noConfirmMesNum == batchSize) {
boolean flag = channel.waitForConfirms();
if (flag) {
System.out.println("消息" + i + "与之前的" + batchSize + "条发送成功");
}
noConfirmMesNum = 0;
}
}
// 为了确保还有剩余没有确认消息 再次确认
if (noConfirmMesNum > 0) {
channel.waitForConfirms();
}
// 结束时间
long end = System.currentTimeMillis();
System.out.println("发布" + MESSAGE_COUNT + "条批量确认消息耗时:" + (end - begin) + "ms");
}
}
异步确认发布
异步确认虽然编程逻辑比上两个要复杂,但是性价比最高,无论是可靠性还是效率都没得说,他是利用回调函数来达到消息可靠性传递的,这个中间件也是通过函数回调来保证是否投递成功,下面就让我们来详细讲解异步确认是怎么实现的。

代码中,我们把未确认的消息放到一个基于内存的能被发布线程访问的队列,比如说用 ConcurrentLinkedQueue 这个队列在 confirm callbacks 与发布线程之间进行消息的传递。
public class AsyncProducer {
public static String QUEUE_NAME = "confirm";
public static int MESSAGE_COUNT = 10;
public static void main(String[] args) throws Exception {
// 创建channel
Channel channel = RabbitMqUtils.getChannel();
// 开启发布确认
channel.confirmSelect();
// 开始时间
long begin = System.currentTimeMillis();
// 准备一个线程安全有序的哈希表,用于存放消息的序号以及内容
ConcurrentSkipListMap<Long, String> concurrentSkipListMap = new ConcurrentSkipListMap<>();
// 消息确认成功回调函数(第一个参数表示消息标志,第二个参数表示是否为批量确认)
ConfirmCallback ackCallback = (long deliveryTag, boolean multiple) -> {
// 删除掉已经确认的消息,剩下就是未确认的消息
if (multiple) { // 如果是批量 则批量删除
ConcurrentNavigableMap<Long, String> confirmed = concurrentSkipListMap.headMap(deliveryTag);
confirmed.clear();
} else {
concurrentSkipListMap.remove(deliveryTag); // 如果不是批量发送 则删除当前消息
}
System.out.println("消息:" + deliveryTag + "已确认发布");
};
// 消息确认失败回调函数(第一个参数表示消息标志,第二个参数表示是否为批量确认)
ConfirmCallback nackCallback = (long deliveryTag, boolean multiple) -> {
String message = concurrentSkipListMap.get(deliveryTag);
System.out.println("未确认的消息为:" + message);
};
// 首先准备异步消息监听器,监听哪些消息成功了,哪些消息失败了
channel.addConfirmListener(ackCallback, nackCallback); // 异步通知
// 发送消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = "消息" + i;
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
// 在此记录下所有要发送的消息
concurrentSkipListMap.put(channel.getNextPublishSeqNo(), message);
}
// 结束时间
long end = System.currentTimeMillis();
System.out.println("发布" + MESSAGE_COUNT + "条异步确认消息耗时:" + (end - begin) + "ms");
}
}
对比
- 单独发布消息:同步等待确认,简单,但吞吐量非常有限。
- 批量发布消息:批量同步等待确认,简单,合理的吞吐量,一旦出现问题但很难推断出是那条消息出现了问题。
- 异步处理:最佳性能和资源使用,在出现错误的情况下可以很好地控制,但是实现起来稍微难些
7.6发送优先级消息
RabbitMQ 这样的消息队列系统中启用消息优先级功能。
x-max-priority
是一个 RabbitMQ 的队列参数(x-
表示扩展参数)。- 它定义了该队列支持的最大优先级级别
生产者
public class Producer {
private static final String QUEUE_NAME = "max_queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMqUtils.getChannel();
/**
* 创建一个队列
* 1.队列名称
* 2.队列里面的消息是否持久化(默认为false,代表消息存储在内存中)
* 3.该队列是否只供一个消费者进行消费,是否进行共享(true表示可以多个消费者消费)
* 4.表示最后一个消费者断开连接以后,该队列是否自动删除(true表示自动删除)
* 5.其他参数
*/
HashMap<String, Object> map = new HashMap<>();
map.put("x-max-priority", 10);//官方允许零到255。 但是,请注意,RabbitMQ实际上将此限制为65535。
//惰性队列:数据存储在硬盘中
// map.put("x-queue-mode", "lazy");
channel.queueDeclare(QUEUE_NAME, true, false, false, map);
for (int i = 0; i < 10; i++) {
String message = "hello" + i;
if (i == 5) {
//设置优先级为5
AMQP.BasicProperties properties =
new AMQP.BasicProperties().builder().priority(5).build();
channel.basicPublish("", QUEUE_NAME,
properties, message.getBytes());
} else {
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
}
System.out.println("消息发送完成" + message);
}
}
}
消费者
public class Consumer {
private static final String QUEUE_NAME = "max_queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMqUtils.getChannel();
channel.basicConsume(
QUEUE_NAME,
false,
(consumerTag, message) -> {
System.out.println("consumer01接收到的消息是:" + new String(message.getBody()));
// 手动应答:第一个参数表示消息标记tag、第二个参数false表示不进行批量应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
},
consumerTag -> System.out.println("消息未处理成功")
);
}
}
最终,hello5优先被消费

0 条评论