没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
11页
1、实验环境: 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE:Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况: 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 (1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”(
资源详情
资源评论
资源推荐
“大数据技术原理与应用”课程实验报告
题目:实验七:Spark
初级编程实践
姓名:朱小凡
日期:2022/5/30
1、实验环境:
设备名称 LAPTOP-9KJS8HO6
处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz
机带 RAM16.0 GB (15.8 GB 可用)
主机操作系统 Windows 10 家庭中文版
虚拟机操作系统 ubuntukylin-16.04
Hadoop 版本 3.1.3
JDK 版本 1.8
Java IDE:Eclipse
系统类型 64 位操作系统, 基于 x64 的处理器
笔和触控 没有可用于此显示器的笔或触控输入
2、实验内容与完成情况:
1. 安装 hadoop 和 spark。
将下载好的安装包解压至固定路径并安装
图 1 安装 spark
使用命令./bin/spark-shell 启动 spark
图 2 启动 spark
2. Spark 读取文件系统的数据
(1) 在 spark-shell 中读取 Linux 系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数;
图 3 spark 统计行数
(2) 在 spark-shell 中读取 HDFS 系统文件“/user/hadoop/test.txt”(如果该文件不存在,请先创
建),然后,统计出文件的行数;
图 4 hdfs 上传文件 1.txt
图 5 spark 统计 hdfs 文件 1.txt 行数
(3) 编写独立应用程序(推荐使用 Scala 语言),读取 HDFS 系统文件“/user/hadoop/test.txt”(如
果该文件不存在,请先创建),然后,统计出文件的行数;通过 sbt 工具将整个应用程序编译打
包成 JAR 包,并将生成的 JAR 包通过 spark-submit 提交到 Spark 中运行命令。
SimpleApp.scala 文件内代码内容如下所示:
图 6 SimpleApp.scala 文件内容
simple.sbt 文件内代码如下:
图 7 simple.sbt 文件内容
使用、usr/local/sbt/sbt package 命令将以上代码文件夹打 jar 包,打包完成后可看到打包成
功的输出,如下图:
剩余10页未读,继续阅读
是小猪猪哦
- 粉丝: 114
- 资源: 9
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0