使用Java Api操作HDFS过程详解
30 浏览量
2020-08-25
14:09:53
上传
评论
收藏 38KB PDF 举报
使用使用Java Api操作操作HDFS过程详解过程详解
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一
定的参考学习价值,需要的朋友可以参考下
如题 我就是一个标题党 就是使用JavaApi操作HDFS，使用的是MAVEN，操作的环境是Linux
首先要配置好Maven环境，我使用的是已经有的仓库，如果你下载的jar包 速度慢，可以改变Maven 下载jar包的镜像站改为 阿
里云。
贴一下 pom.xml
使用到的jar包
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.10</version>
</dependency>
<!-- hadoop Client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
</dependencies>
然后就是操作HDFS的代码
package com.zuoyan.hadoop.hdfs;
import java.io.File;
import java.io.FileInputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
* use java api operate hdfs
*
* @author beifeng
*
*/
public class HdfsApp {
// get FileSystem
public static FileSystem getFileSystem() throws Exception {
Configuration conf = new Configuration();
FileSystem fileSystem = FileSystem.get(conf);
return fileSystem;
}
public static void read(String fileName) throws Exception {
FileSystem fileSystem = getFileSystem();
// read Path
Path readPath = new Path(fileName);
FSDataInputStream inStream = fileSystem.open(readPath);
try {
IOUtils.copyBytes(inStream, System.out, 4096, false);
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
} finally {
// if Exception close Stream
IOUtils.closeStream(inStream);
评论0
最新资源