目录
目录 .....................................................................................................................................................................
摘要 .................................................................................................................................................................... I
ABSTRACT..................................................................................................................................................... II
引言 ................................................................................................................................................................... 1
1 绪论 ............................................................................................................................................................. 2
1.1 大数据简介 ........................................................................................................................................... 2
1.2 H
ADOOP
简介 ........................................................................................................................................ 3
1.2.1 Hadoop的优点
............................................................................................................................ 3
1.2.2 Hadoop的架构
............................................................................................................................ 4
1.2.3 Hadoop的组成
............................................................................................................................ 5
2 虚拟机下 CENTOS7.0 的装载和配置 ...................................................................................................... 7
3 HADOOP 平台的搭建和基本配置 ......................................................................................................... 11
3.1 安装 JDK............................................................................................................................................. 11
3.2 SSH 免密码登陆................................................................................................................................. 12
3.2 安装配置 H
ADOOP
.............................................................................................................................. 13
4 HADOOP 平台下数据存储的分析和研究 ............................................................................................. 16
4.1 用命令进行文件存储和读取 ............................................................................................................. 16
创建目录
................................................................................................................................... 16
显示目录以及网页图形化界面
............................................................................................... 16
本地文件存入目录以及网页图形化界面
............................................................................... 17
显示 HDFS 下文件内容以及网页图形化界面
.......................................................................... 18
显示 HDFS 下文件大小
............................................................................................................. 19
显示 HDFS 下文件的信息
......................................................................................................... 19
在 HDFS 下复制文件
................................................................................................................. 19
保存至本地文件
....................................................................................................................... 20
从本地移动文件
....................................................................................................................... 20
4.2 用 API 进行文件存储和读取............................................................................................................. 21
4.1.1
4.1.2
4.1.3
4.1.4
4.1.5
4.1.6
4.1.7
4.1.8
4.1.9
5 HDFS 中的大量小文件存储问题 ............................................................................................................ 22
5.1 小文件存储问题简介 ......................................................................................................................... 22
5.2 小文件存储问题的解决方法 ............................................................................................................. 22
5.2.1
5.2.2
5.2.3
5.2.4
Archive工具
............................................................................................................................ 22
CombineFileInputFormat类
.................................................................................................. 23
SequenceFile格式
.................................................................................................................. 23
其他方法
................................................................................................................................... 23
参考文献 ......................................................................................................................................................... 24
