thrift和avro研究资料1

Thrift&Avro 比较

一、 综述

Avro 和 Thrift 都是跨语言，基于二进制的高性能的通讯中间件. 它们都提供了数据序列

化的功能和 RPC 服务. 总体功能上类似，但是哲学不一样. Thrift 出自 Facebook 用于后台各

个服务间的通讯,Thrift 的设计强调统一的编程接口的多语言通讯框架. Avro 出自 Hadoop 之

父 Doug Cutting, 在 Thrift 已经相当流行的情况下 Avro 的推出，其目标不仅是提供一套类似

Thrift 的通讯中间件更是要建立一个新的，标准性的云计算的数据交换和存储的 Protocol。

这个和 Thrift 的理念不同，Thrift 认为没有一个完美的方案可以解决所有问题，因此尽量保

二、 各自特点

Avro：

特点：

 丰富的数据结构类型；

 快速可压缩的二进制数据形式，对数据二进制序列化后可以节约数据存储空间和网络

传输带宽；

 存储持久数据的文件容器；

 远程过程调用 RPC；

 简单的动态语言结合功能。

 Avro 可以做到将数据进行序列化，适用于远程或本地大批量数据交互。

 支持多种编程语言

 在多种不同的语言之间通信，thrift 可以作为二进制的高性能的通讯中间件，支持数据

(对象)序列化和多种类型的 RPC 服务。

 Thrift 适用于程序对程序静态的数据交换，需要先确定好他的数据结构，他是完全静态

化的，当数据结构发生变化时，必须重新编辑 IDL 文件，代码生成，再编译载入的流

程，跟其他 IDL 工具相比较可以视为是 Thrift 的弱项。

 Thrift 适用于搭建大型数据交换及存储的通用工具，对于大型系统中的内部数据传输相

对于 JSON 和 xml 无论在性能、传输大小上有明显的优势。

三、 语言绑定

目前阶段 Thrift 比 Avro 支持的语言更丰富：

基本类型

boolean bool true Or false

N/A byte 8-bit signed integer

N/A i16 16-bit signed integer

int i32 32-bit signed integer

long i64 64-bit signed integer

float N/A 32-bit floating point

double double 64-bit floating point

bytes binary Byte sequence

string string Character sequence

map<string,T> map<T1,T2>

Avro map 的 key 必 须 是

string

union union

fixed N/A

固定大小的 byte array

RPC 服务

protocol service

RPC 服务类型

error exception

Avro.idl:

protocol SimpleService{

record Message{

string topic;

bytes content;

long createdTime;

string id;

string ipAddress;

map<string> props;

}

3: i64 createdTime

4: string id

5: string ipAddress

6: map<string,string> props

}

service SimpleService {

i32 publish(1:string context,2:list<Message> messages);

}

2、 Avro 和 Thrift 都支持 IDL 代码生成功能

Avro：

java -jar avro-tools-1.7.4.jar idl Avro.idl Avro.avpr

java -jar avro-tools-1.7.4.jar compile protocol Avro.avpr Avro.avpr D:\

…

Thrift client :

TTransport transport = new TFramedTransport(new TSocket(HOST,PORT));

TProtocol protocol = new TCompactProtocol(transport);

transport.open();

SimpleService.Client client = new SimpleService.Client(protocol);

…

Avro server:

public static class ServiceImpl implements SimpleService {

...

}

TServerTransport serverTransport=new TServerSocket(PORT);

TServer server=new TSimpleServer(processor,serverTransport,new TFramedTransport.Factory(),

new TCompactProtocol.Factory());

server.serve();