没有合适的资源？快使用搜索试试~ 我知道了~

文库首页服务器应用其它Metaq详细手册.docx

Metaq详细手册.docx

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

kafka

java

分布式

metaq

0 下载量 7 浏览量 2023-11-08 19:52:53 上传评论收藏 218KB DOCX 举报

温馨提示

试读

35页

Memorphosis是一个消息中间件，它是linkedin开源MQ——kafka的Java版本，针对淘宝内部应用做了定制和优化。Metamorphosis的设计原则 • 消息都是持久的，保存在磁盘 • 吞吐量第一 • 消费状态保存在客户端 • 分布式，生产者、服务器和消费者都可分布

资源推荐

资源详情

资源评论

Memorphosis 是一个消息中间件，它是 linkedin 开源 MQ——kafka 的 Java 版本，

针对淘宝内部应用做了定制和优化。Metamorphosis 的设计原则

� 消息都是持久的，保存在磁盘

� 吞吐量第一

� 消费状态保存在客户端

� 分布式，生产者、服务器和消费者都可分布

Metamorphosis 的部署结构

[] Metamorphosis 的特点

除了完整实现 kafka 的功能之外，我们还为 meta 加入了额外的功能，使得 meta

成为一个更为强大的通用消息中间件，包括

� 彻底用 java 重写的实现，高效的协议和通讯框架

� 发送端的负载均衡

� Master/Slave 异步和同步复制的高可用方案

� 专门用于广播消息的客户端实现

� 与 diamond 结合使用的顺序发送消息功能

� 支持事务，包括本地事务和分布式事务，实现 JTA 规范。

[] Getting started

我们在日常已经部署了 metamorhposis 环境，因此你可以直接在本地测试，如果

你想部署一个自己的服务器，可以参照#服务器部署节。

前面提到，meta 是一个消息中间件。消息中间件中有两个角色：消息生产者和

消息消费者。Meta 里同样有这两个概念，消息生产者负责创建消息并发送到 meta

服务器，meta 服务器会将消息持久化到磁盘，消息消费者从 meta 服务器拉取消

息并提交给应用消费。

[] 消息会话工厂类

在使用消息生产者和消费者之前，我们需要创建它们，这就需要用到消息会话工

厂类——MessageSessionFactory，由这个工厂帮你创建生产者或者消费者。除

了这些，MessageSessionFactory 还默默无闻地在后面帮你做很多事情，包括

1. 服务的查找和发现，通过 diamond 和 zookeeper 帮你查找日常的 meta 服

务器地址列表

2. 连接的创建和销毁，自动创建和销毁到 meta 服务器的连接，并做连接复

用，也就是到同一台 meta 的服务器在一个工厂内只维持一个连接。

3. 消息消费者的消息存储和恢复，后续我们会谈到这一点。

4. 协调和管理各种资源，包括创建的生产者和消费者的。

因此，我们首先需要创建一个会话工厂类，MessageSessionFactory 仅是一个接

口，它的实现类是 MetaMessageSessionFactory

MessageSessionFactory sessionFactory = new

MetaMessageSessionFactory(new MetaClientConfig());

请注意,MessageSessionFactory 应当全局共用一个

[] 消息生产者

翠花，上代码

package com.taobao.metamorphosis.example;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import com.taobao.metamorphosis.Message;

import com.taobao.metamorphosis.client.MessageSessionFactory;

import com.taobao.metamorphosis.client.MetaClientConfig;

import com.taobao.metamorphosis.client.MetaMessageSessionFactory;

import com.taobao.metamorphosis.client.producer.MessageProducer;

import com.taobao.metamorphosis.client.producer.SendResult;

public class Producer {

public static void main(String[] args) throws Exception {

// New session factory,强烈建议使用单例

MessageSessionFactory sessionFactory = new

MetaMessageSessionFactory(new MetaClientConfig());

// create producer,强烈建议使用单例

MessageProducer producer = sessionFactory.createProducer();

// publish topic

final String topic = "meta-test";

producer.publish(topic);

BufferedReader reader = new BufferedReader(new

InputStreamReader(System.in));

String line = null;

while ((line = reader.readLine()) != null) {

// send message

SendResult sendResult = producer.sendMessage(new

Message(topic, line.getBytes()));

// check result

if (!sendResult.isSuccess()) {

System.err.println("Send message failed,error

message:" + sendResult.getErrorMessage());

}

else {

System.out.println("Send message successfully,sent to "

+ sendResult.getPartition());

}

消息生产者的接口是 MessageProducer，你可以通过它来发送消息。创建生产者

很简单，通过 MessageSessionFactory 的 createProducer 方法即可以创建一个

生产者。在 Meta 里，每个消息对象都是 Message 类的实例，Message 表示一个

消息对象，它包含这么几个属性：

属性

值

消息的唯一 id，系统自动产生，用户无法设置，在发送成功后由服

务器返回，发送失败则为 0。

topic

消息的主题，订阅者订阅该主题即可接收发送到该主题下的消息，

必须

data

消息的有效载荷，也就是消息内容，meta 永远不会修改消息内容，

你发送出去是什么样子，接收到就是什么样子。消息内容限制在 1M

以内，我的建议是最好不要发送超过上百 K 的消息，必须

attribute

消息属性，一个字符串，可选。发送者可设置消息属性来让消费者

过滤。

细心的朋友可能注意到，我们在 sendMessage 之前还调用了 MessageProducer

的 publish(topic)方法

producer.publish(topic);

这一步在发送消息前是必须的，你必须发布你将要发送消息的 topic，这是为了

让会话工厂帮你去查找接收这些 topic 的 meta 服务器地址并初始化连接。这个

步骤针对每个 topic 只需要做一次，多次调用无影响。

总结下这个例子，从标准输入读入你输入的数据，并将数据封装成一个 Message

对象，发送到 topic 为 meta-test 下。

请注意，MessageProducer 是线程安全的，完全可重复使用，因此最好在应用中

作为单例来使用，一次创建，到处使用，配置为 spring 里的 singleton bean。

MessageProducer 创建的代价昂贵，每次都需要通过 zk 查找服务器并创建 tcp

长连接。

[] 消息消费者

发送消息后，消费者可以接收消息了，下面的代码创建消费者并订阅 meta-test

这个主题，等待消息送达并打印消息内容

package com.taobao.metamorphosis.example;

import java.util.concurrent.Executor;

import com.taobao.metamorphosis.Message;

import com.taobao.metamorphosis.client.MessageSessionFactory;

import com.taobao.metamorphosis.client.MetaClientConfig;

import com.taobao.metamorphosis.client.MetaMessageSessionFactory;

import com.taobao.metamorphosis.client.consumer.ConsumerConfig;

import com.taobao.metamorphosis.client.consumer.MessageConsumer;

import com.taobao.metamorphosis.client.consumer.MessageListener;

public class AsyncConsumer {

public static void main(String[] args) throws Exception {

// New session factory,强烈建议使用单例

MessageSessionFactory sessionFactory = new

MetaMessageSessionFactory(new MetaClientConfig());

剩余34页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

小小哭包

粉丝: 1899
资源: 3860

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Metaq详细手册.docx

RocketMQ相关资料（含rocketmq3.4.2用户指南）

metaq-server-1.4.6.2.tar.gz

metaq-server-1.4.6.2.zip 和原版一样就是换了个名字

metaq-server-1.4.6.2客户端+服务端

MetaQ 分布式消息服务中间件.pdf

RocketMQ学习文档

Metamorphosis, 一种高可用高性能的分布式.zip

Metaq原理与应用

metamorphosis(metaq)

metaQ向spark传数据

Metaq在JDk 7下的异常及解决方案

metaq消息中间件服务端、客户端资源汇集

详解RocketMQ的架构设计、关键特性、与应用场景

metaQ的安装包

支付宝之所以牛逼的原因：来看内部架构剖析

阿里rocketMQ

RocketMQ运维指令

STM32CubeMX安装包(版本:6.9.0) 附带 Java安装包(版本:371) - -2023年7月14日

基于spring boot的小区物业管理系统源码+论文+答辩ppt

最新Java JDK 8安装版（Windows 64位）

自主研发的软著申请代码文档整理输出工具

Java实现ocr图片识别（PaddleOCR）飞桨

毕业设计-基于JAVA的springboot超市进销存系统(源代码+论文）

Java 面经手册·小傅哥.pdf

java-11 windows-x64 安装包

Java面试八股文2023最新版

2024最强Java面试八股文

JDK1.8 windows 64位

人大金仓驱动包kingbasejdbc.jar V8.6.0、8.8.0驱动jar包

最新资源