ApachePig用法总结资源-CSDN文库

需积分: 6 74 浏览量 2014-09-01 14:33:41 上传评论收藏 994KB PDF 举报

资源详情

资源评论

Apache Pig 的一些基础概念及用法总结（1）

转载必须注明出处：

http://www.codelast.com/

本文可以让刚接触 pig 的人对一些基础概念有个初步的了解。

本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的 Apache Pig 中文教程（由

Google 搜索可知），文中的大量实例都是作者 Darran Zhang（website: codelast.com）在工

作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不

断地添加本文的内容，希望能帮助一部分人。

Apache pig 是用来处理大规模数据的高级查询语言，配合 Hadoop 使用，可以在处理海量数据

时达到事半功倍的效果，比使用 Java，C++等语言编写大规模数据处理程序的难度要小 N 倍，

实现同样的效果的代码量也小 N 倍。Twitter 就大量使用 pig 来处理海量数据——有兴趣的，可

以看 Twitter 工程师写的这个 PPT。

但是，刚接触 pig 时，可能会觉得里面的某些概念以及程序实现方法与想像中的很不一样，甚

至有些莫名，所以，你需要仔细地研究一下基础概念，这样在写 pig 程序的时候，才不会觉得

非常别扭。

本文基于以下环境：

pig 0.8.1

先给出两个链接：pig 参考手册 1，pig 参考手册 2。本文的部分内容来自这两个手册，但涉及

到翻译的部分，也是我自己翻译的，因此可能理解与英文有偏差，如果你觉得有疑义，可参考

英文内容。

【配置 Pig 语法高亮】

在正式开始学习 Pig 之前，你首先要明白，配置好编辑器的 Pig 语法高亮是很有用的，它可以

极大地提高你的工作效率。

如果你在 Windows 下编写 Pig 代码，好像还真没有什么轻量级的编辑器插件（例如

Notepad++的插件之类的）可以实现对.pig 文件的语法高亮显示，我建议你使用 Notepad++，

在“User Define Language”中自定义 Pig 语法高亮方案（我这样做之后感觉效果很好）；如果

你觉得麻烦，那么你可以直接用 Notepad++以 SQL 的语法高亮来查看 Pig 代码，这样的话可

以高亮 Pig 中的一部分关键字。

在 Linux 下，选择就很多了，大分部人使用的是 vi，vim，但我是个 Emacs 控，所以我就先说

说如何配置 Emacs 的 Pig 语法高亮。此插件是一个很好的选择：

https://github.com/cloudera/piglatin-mode

那么，怎么使用这个插件呢？

下载 piglatin.el 文件，将它放置在任何地方——当然，为了方便，最好是放在你登录用户的根

目录下（也就是与.emacs 配置文件在同一目录下），然后将其重命名为 “.piglatin.el”注意前面

是有一个点的，也就是说将这个文件设置成隐藏文件，否则可能会误删了。然后，

在 .emacs 文件中的最后，添加上如下一行：

(load-file "/home/abc/.piglatin.el")

这里假设了你的 .piglatin.el 文件放置的位置是在 /home/abc/ 目录下，也就是说 emacs 会加

载这个文件，实现语法高亮显示。

现在，你再打开一个.pig 文件试试看？非常令人赏心悦目的高亮效果就出来了。效果如下图所

示：

其实 Emacs 也有 Windows 版的，如果你习惯在 Windows 下工作，完全可以在 Windows 下按

上面的方法配置一下 Pig 语法高亮（但是 Windows 版的 Emacs 还需要一些额外的配置工作，

例如修改注册表等，所以会比在 Linux 下使用要麻烦一些，具体请看这篇文章）。

文章来源：http://www.codelast.com/

下面开始学习 Pig。

（1）关系（relation）、包（bag）、元组（tuple）、字段（field）、数据（data）的关系

• 一个关系（relation）是一个包（bag），更具体地说，是一个外部的包（outer bag）。

• 一个包（bag）是一个元组（tuple）的集合。在 pig 中表示数据时，用大括号{}括起来的东西

表示一个包——无论是在教程中的实例演示，还是在 pig 交互模式下的输出，都遵循这样的约

定，请牢记这一点，因为不理解的话就会对数据结构的掌握产生偏差。

• 一个元组（tuple）是若干字段（field）的一个有序集（ordered set）。在 pig 中表示数据时，

用小括号()括起来的东西表示一个元组。

• 一个字段是一块数据（data）。

“元组”这个词很抽象，你可以把它想像成关系型数据库表中的一行，它含有一个或多个字段，

其中，每一个字段可以是任何数据类型，并且可以有或者没有数据。

“关系”可以比喻成关系型数据库的一张表，而上面说了，“元组”可以比喻成数据表中的一行，那

么这里有人要问了，在关系型数据库中，同一张表中的每一行都有固定的字段数，pig 中的“关

系”与“元组”之间，是否也是这样的情况呢？不是的。“关系”并不要求每一个“元组”都含有相同数

量的字段，并且也不会要求各“元组”中在相同位置处的字段具有相同的数据类型（太随意了，

是吧？）

文章来源：http://www.codelast.com/

（2）一个计算多维度组合下的平均值的实际例子

为了帮助大家理解 pig 的一个基本的数据处理流程，我造了一些简单的数据来举个例子——

假设有数据文件：a.txt（各数值之间是以 tab 分隔的）：

[root@localhost pig]$ cat a.txt

a 1 2 3 4.2 9.8

a 3 0 5 3.5 2.1

b 7 9 9

- -

a 7 9 9 2.6 6.2

a 1 2 5 7.7 5.9

a 1 2 3 1.4 0.2

问题如下：怎样求出在第 2、3、4 列的所有组合的情况下，最后两列的平均值分别是多少？

例如，第 2、3、4 列有一个组合为（1，2，3），即第一行和最后一行数据。对这个维度组合

来说，最后两列的平均值分别为：

（4.2+1.4）/2＝2.8

（9.8+0.2）/2＝5.0

而对于第 2、3、4 列的其他所有维度组合，都分别只有一行数据，因此最后两列的平均值其实

就是它们自身。

特别地，组合（7，9，9）有两行记录：第三、四行，但是第三行数据的最后两列没有值，因

此它不应该被用于平均值的计算，也就是说，在计算平均值时，第三行是无效数据。所以

（7，9，9）组合的最后两列的平均值为 2.6 和 6.2。

我们现在用 pig 来算一下，并且输出最终的结果。

先进入本地调试模式（pig -x local），再依次输入如下 pig 代码：

A = LOAD 'a.txt' AS (col1:chararray, col2:int, col3:int, col4:int,

col5:double, col6:double);

B = GROUP A BY (col2, col3, col4);

C = FOREACH B GENERATE group, AVG(A.col5), AVG(A.col6);

DUMP

pig 输出结果如下：

((1,2,3),2.8,5.0)

((1,2,5),7.7,5.9)

((3,0,5),3.5,2.1)

((7,9,9),2.6,6.2)

这个结果对吗？手工算一下就知道是对的。

文章来源：http://www.codelast.com/

下面，我们依次来看看每一句 pig 代码分别得到了什么样的数据。

①加载 a.txt 文件，并指定每一列的数据类型分别为 chararray（字符串），int，int，int，

double，double。同时，我们还给予了每一列别名，分别为 col1，col2，……，col6。这个别

名在后面的数据处理中会用到——如果你不指定别名，那么在后面的处理中，就只能使用索引

（$0，$1，……）来标识相应的列了，这样可读性会变差，因此，在列固定的情况下，还是指

定别名的好。

将数据加载之后，保存到变量 A 中，A 的数据结构如下：

A: {col1: chararray,col2: int,col3: in

t,col4: int,col5: double,col6:

double}

可见，A 是用大括号括起来的东西。根据本文前面的说法，A 是一个包（bag）。

这个时候，A 与你想像中的样子应该是一致的，也就是与前面打印出来的 a.txt 文件的内容是

一样的，还是一行一行的类似于“二维表”的数据。

文章来源：http://www.codelast.com/

②按照 A 的第 2、3、4 列，对 A 进行分组。pig 会找出所有第 2、3、4 列的组合，并按照升序

进行排列，然后将它们与对应的包 A 整合起来，得到如下的数据结构：

B: {group: (col2: int,col3: int,col4: int),A: {col1: chararray,col2:

int,col3: int,col4: int,col5: double,col6: double}}

可见，A 的第 2、3、4 列的组合被 pig 赋予了一个别名：group，这很形象。同时我们也观察

到，B 的每一行其实就是由一个 group 和若干个 A 组成的——注意，是若干个 A。这里之所以

只显示了一个 A，是因为这里表示的是数据结构，而不表示具体数据有多少组。

实际的数据为：

((1,2,3),{(a,1,2,3,4.2,9.8),(a,1,2,3,1.4,0.2)})

((1,2,5),{(a,1,2,5,7.7,5.9)})

((3,0,5),{(a,3,0,5,3.5,2.1)})

((7,9,9),{(b,7,9,9,,),(a,7,9,9,2.6,6.2)})

可见，与前面所说的一样，组合（1，2，3）对应了两行数据，组合（7，9，9）也对应了两行

数据。

这个时候，B 的结构就不那么明朗了，可能与你想像中有一点不一样了。

文章来源：http://www.codelast.com/

③计算每一种组合下的最后两列的平均值。

根据上面得到的 B 的数据，你可以把 B 想像成一行一行的数据（只不过这些行不是对称的），

FOREACH 的作用是对 B 的每一行数据进行遍历，然后进行计算。

GENERATE 可以理解为要生成什么样的数据，这里的 group 就是上一步操作中 B 的第一项

数据（即 pig 为 A 的第 2、3、4 列的组合赋予的别名），所以它告诉了我们：在数据集 C 的

每一行里，第一项就是 B 中的 group——类似于（1，2，5）这样的东西）。

而 AVG(A.col5) 这样的计算，则是调用了 pig 的一个求平均值的函数 AVG，用于对 A 的名

为 col5 的列求平均值。前文说了，在加载数据到 A 的时候，我们已经给每一列起了个别名，

col5 就是倒数第二列。

到这里，可能有人要迷糊了：难道 AVG(A.col5) 不是表示对 A 的 col5 这一列求平均值吗？

也就是说，在遍历 B（FOREACH B）的每一行时候，计算结果都是相同的啊！

事实上并不是这样。我们遍历的是 B，我们需要注意到，B 的数据结构中，每一行数据里，一

个 group 对应的是若干个 A，因此，这里的 A.col5，指的是 B 的每一行中的 A，而不是包含全

部数据的那个 A。拿 B 的第一行来举例：

((1,2,3),{(a,1,2,3,4.2,9.8),(a,1,2,3,1.4,0.2)})

遍历到 B 的这一行时，要计算 AVG(A.col5)，pig 会找到 (a,1,2,3,4.2,9.8) 中的 4.2，以及

(a,1,2,3,1.4,0.2)中的 1.4，加起来除以 2，就得到了平均值。

同理，我们也知道了 AVG(A.col6)是怎么算出来的。但还有一点要注意的：对(7,9,9)这个组，

它对应的数据(b,7,9,9,,)里最后两列是无值的，这是因为我们的数据文件对应位置上不是有效数

字，而是两个“-”，pig 在加载数据的时候自动将它置为空了，并且计算平均值的时候，也不会

把这一组数据考虑在内（相当于忽略这组数据的存在）。

到了这里，我们不难理解，为什么 C 的数据结构是这样的了：

C: {group: (col2: int,col

3: int,col4: int),double,double}

文章来源：http://www.codelast.com/

④DUMP C 就是将 C 中的数据输出到控制台。如果要输出到文件，需要使用：

STORE C INTO 'output';

这样 pig 就会在当前目录下新建一个“output”目录（该目录必须事先不存在），并把结果文件放

到该目录下。

请想像一下，如果要实现相同的功能，用 Java 或 C++写一个 Map-Reduce 应用程序需要多少

时间？可能仅仅是写一个 build.xml 或者 Makefile，所需的时间就是写这段 pig 代码的几十倍

了！

正因为 pig 有如此优势，它才得到了广泛应用。

文章来源：http://www.codelast.com/

（3）怎样统计数据行数

在 SQL 语句中，要统计表中数据的行数，很简单：

SELECT COUNT(*) FROM table_name WH

ERE condition

剩余62页未读，继续阅读

评论收藏

内容反馈

Apache Pig用法总结

评论0

最新资源

Apache Pig用法总结

评论0

最新资源

相关推荐

[原创]Apache_Pig的一些基础概念及用法总结

PigExtend:Apache Pig+MapReduce给LuceneSolrElasticSearch构建索引

intellij-pig:Pig 插件为 IntelliJ 添加了 Apache Pig 语言支持

pig-demo-project:该项目的目的是展示一种设置基于 Apache Pig 的项目的可能方法

avro-pig-converter:将 avro 对象转换为猪元组

pig-hyperloglog:一个用于计算和使用 HyperLogLog 算法的猪 udf

PigLint:Apaches Pig的语法检查器

Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

parquet-mr-contrib:Parquet 格式的 Contrib 模块

Log-File-Processing-Data-Pipeline:使用Lambda架构构建的日志文件处理数据管道| 水槽| Apache Spark | 火花流| Apache Kafka | HDFS | Hbase | 蜂巢| 黑斑羚| Oozie

BigDataDemos:Hadoop等演示程序

learning-hadoop-and-spark:链接学习中学习Hadoop和学习Spark课程的同伴

大数据猩球（英文版）

细细品味Storm_Storm简介及安装

大数据基础知识入门.pdf

Java第十五届蓝桥杯大赛软件JavaB组真题

SwitchHosts

安卓期末大作业（AndroidStudio开发），垃圾分类助手app，分为前台后台，代码有注释，均能正常运行

Notepad++安装包

2024北森能力测评题库.7z

微信小程序源码-合集1.rar

Java面试八股文2023最新版

Linux Centos7 升级最新版OpenSSH-9.6p1 有脚本（支持离线）

JDK1.8 windows 64位

ruoyi-vue-pro 芋道源码项目的表结构

ruoyi-vue-pro开发指南PDF下载

myeclipse 10.7.1 windows 安装包

ja-netfilter-all

2024最强Java面试八股文

Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载带书签目录高清完整版.rar )