eclipse的实验操作，Hadoop实验操作

目录

2.3 实验三：HDFS API 编程基础.................................................................................................1

2.3.1 评分要求.......................................................................................................................1

2.3.2 评分点一（C）：.........................................................................................................1

2.3.3 评分点二（B/A）：四选二.........................................................................................1

2.3.4 评分点四:随机提问...................................................................................................11

3. 针对建立的类有点多，对于每个问题对应的类，这里列一个对应表如下（可供参考）：34

2.3 实验三：HDFS API 编程基础

2.3.1 评分要求

户指定是追加到原有文件末尾还是覆盖原有的文件

代码如下（我已经改好了，复制进 eclipse 运行即可）（注意创建 java 文件时，

java 文件名要和 public 类名一致）

import java.io.FileInputStream;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

try (FileSystem fs = FileSystem.get(conf)) {

return fs.exists(new Path(path));

} catch (IOException e) {

e.printStackTrace();

return false;

}

}

/**

* 复制文件到指定路径 若路径已存在，则进行覆盖

/* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二

个参数表示是否覆盖 */

fs.copyFromLocalFile(false, true, localPath, remotePath);

} catch (IOException e) {

e.printStackTrace();

}

public static void appendToFile(Configuration conf, String

localFilePath,

String remoteFilePath) {

Path remotePath = new Path(remoteFilePath);

try (FileSystem fs = FileSystem.get(conf);

FileInputStream in = new

FileInputStream(localFilePath);) {

FSDataOutputStream out = fs.append(remotePath);

byte[] data = new byte[1024];

int read = -1;

}

}

/**

* 主函数

*/

public static void main(String[] args) {

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://localhost:9000");

String localFilePath = "/usr/local/hadoop/lihui.txt"; // 本地路

径

/* 判断文件是否存在 */

boolean fileExists = false;

if (CopyFromLocalFile.test(conf, remoteFilePath)) {

fileExists = true;

System.out.println(remoteFilePath + " 已存在.");

} else {

remoteFilePath);

System.out.println(localFilePath + " 已上传至 " +

remoteFilePath);

} else if (choice.equals("overwrite")) { // 选择覆盖

CopyFromLocalFile.copyFromLocalFile(conf,

remoteFilePath);

System.out.println(localFilePath + " 已覆盖 " +

} else if (choice.equals("append")) { // 选择追加

e.printStackTrace();

}

}

}

import org.apache.hadoop.fs.FileSystem;

import java.io.*;

public class CopyToLocal {

/**

* 下载文件到本地 判断本地路径是否已存在，若已存在，则自动进行重命

*/

public static void copyToLocal(Configuration conf, String

remoteFilePath,

*/

if (f.exists()) {

System.out.println(localFilePath + " 已存在.");

Integer i = Integer.valueOf(0);

while (true) {

f = new File(localFilePath + "_" + i.toString());

if (!f.exists()) {

i.toString();

}

}

System.out.println("将重新命名为: " + localFilePath);

}

// 下载文件到本地

Path localPath = new Path(localFilePath);

fs.copyToLocalFile(remotePath, localPath);

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

public static void main(String[] args) {

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://localhost:9000");

String localFilePath = "/home/lihui/Downloads/lihui.txt"; // 本

地路径

String remoteFilePath = "/data/lihui.txt"; // HDFS 路径

try {

CopyToLocal.copyToLocal(conf, remoteFilePath,

localFilePath);