没有合适的资源?快使用搜索试试~ 我知道了~
spark-base:读取文件文本并将其从HDFS写入拼花文件
共32个文件
class:7个
dat:5个
java:4个
需积分: 23 1 下载量 111 浏览量
2021-03-20
08:32:39
上传
评论
收藏 49.13MB ZIP 举报
温馨提示
火花基 读取文件文本并将其从HDFS写入拼花文件 使用路径/ usr / trannguyenhan将sample_text文件夹中的5个文件.dat推送到HDFS(您可以修改路径,但也必须在代码中修改路径) hdfs dfs -mkdir /usr hdfs dfs -mkdir /usr/trannguyenhan hdfs dfs -copyFromLocal <file> <path> 稍后,转到文件夹项目并打开终端并运行: mvn clean package 是构建文件jar,文件jar诞生在目标文件夹中。使用spark-submit运行jar文件: spark-submit --class main.Main --master local[2] target/<file>-V1.jar 一个文件夹的pageviewlog在HDFS中诞生。使用cho
资源推荐
资源详情
资源评论
收起资源包目录
spark-base-master.zip (32个子文件)
spark-base-master
bin
model
ModelLog.class 6KB
fileservices
ReadFileText.class 3KB
WriteFileParquet.class 987B
pom.xml 2KB
target
SparkTutorials-V1.jar 10KB
maven-status
maven-compiler-plugin
compile
default-compile
inputFiles.lst 317B
createdFiles.lst 105B
classes
META-INF
maven
SparkTutorials
SparkTutorials
pom.xml 2KB
pom.properties 231B
MANIFEST.MF 5KB
model
ModelLog.class 6KB
fileservices
ReadFileText.class 4KB
WriteFileParquet.class 2KB
main
Main.class 1KB
maven-archiver
pom.properties 60B
.settings
org.eclipse.m2e.core.prefs 86B
org.eclipse.jdt.core.prefs 417B
src
model
ModelLog.java 4KB
fileservices
ReadFileText.java 3KB
WriteFileParquet.java 850B
main
Main.java 667B
.project 539B
.classpath 760B
README.md 668B
sample_text
pt-v-1533870249648.dat 29.48MB
pt-v-1533870189822.dat 29.48MB
.ouput.dat.crc 472KB
model log.txt 788B
pt-v-1533870013310.dat 29.48MB
pt-v-1533869954405.dat 29.48MB
pt-v-1533870072206.dat 29.48MB
.output.dat.crc 1.15MB
共 32 条
- 1
资源评论
Tsy.H
- 粉丝: 19
- 资源: 4607
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 3122080306 邹子轩 实验报告二.docx
- 基于STM32 NUCLEO板设计彩色LED照明灯(纯cubeMX开发)(大赛作品,文档完整,可直接运行)
- 发那科工业机器人保养大全
- Sphere.h
- REMD固有时间尺度分解信号分量可视化(Matlab完整源码和数据)
- 嵌入式系统双单片机STC89C52+STC15W104多功能学习板电路图可扩展 适用于单片机初学者和教学
- 基于STM32蓝牙控制小车系统设计(硬件+源代码+论文)大赛作品
- XILINXFPGA源码基于Spartan3火龙刀系列FPGA开发板VGA测试例程
- Java聊天室的设计与实现【尚学堂·百战程序员】
- python中matplotlib教程
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功