Hadoop大数据实战权威指南（第2版）

西安电子科技大学计算机分布式计算五次上机代码及报告

西安电子科技大学 计算机学院 分布式计算 五次上机代码及报告 UDP RMI 消息队列 mapreduce activemq

录入保存学生多门课程的成绩,进行分析

(1)通过键盘输入各学生的多门课程的成绩，建立相应的文件input.dat。 (2)对文件input.dat中的数据进行处理，要求具有如下功能： 1) 按各门课程成绩排序，并生成相应的文件输出。 2) 计算每人的平均成绩，按平均成绩排序，并生成文件。 3) 求出各门课程的平均成绩、最高分、最低分、不及格人数、60~69分人数、70~79分人数、80~89分人数、90分以上人数。 4) 根据姓名或学号查询某人的各门课成绩，重名情况也能处理。 (3)界面美观。

实验七：Spark初级编程实践

2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”...

Hadoop原理与技术Spark操作实验

1． 理解Spark编程思想； 2． 学会在Spark Shell中编写Scala程序； 3． 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark...

基于Hadoop豆瓣电影数据分析实验报告

针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...

spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar

spark-3.1.2.tgz版本 & spark-3.1.2-bin-hadoop2.7.tgz版本

Hadoop数据分析平台搭建方案.docx

Hadoop数据分析平台搭建方案.docx

Hadoop_进行分布式并行编程.doc

Hadoop_进行分布式并行编程.doc Hadoop_进行分布式并行编程.doc

基于Hadoop数据分析系统设计(需求分析).docx

基于Hadoop数据分析系统设计(需求分析).docx 随着云时代的来临，大数据也吸引越来越多的关注...本文将介绍Hadoop完全分布式集群的具体搭建过程与基于Hive的数据分析平台的设计与实现。 关键字 Hadoop，MapReduce，Hive

基于Hadoop网站流量日志数据分析系统.zip

基于Hadoop网站流量日志数据分析系统 1、典型的离线流数据分析系统 2、技术分析 - Hadoop - nginx - flume - hive - mysql - springboot + mybatisplus+vcharts nginx + lua 日志文件埋点的 基于Hadoop网站流量...

hadoop,spark,hive.....

hadoop,spark,hive.....

大数据分析实验报告.doc

实验一 Hadoop与Spark搭建与应用程序开发 ...实验二 Spark MLlib实现数据挖掘算法 一. 实验目的与要求 在以下算法中任选一种通过Spark MLlib来实现： 1）线性回归算法 2）支持向量机算法 3）K-means算法

Hadoop原理与技术MapReduce实验

一、实验目的 （1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1...

8.SparkMLlib（下）--SparkMLlib实战.pdf

2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）-...

2.Spark编译与部署（下）--Spark编译安装.pdf

2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）-...

实验八、Spark的安装与使用.doc

实验八、Spark的安装与使用.doc

Scala-升级版.docx

Scala快速入门（适合为学Spark学习Scala的同学）Word文档

基于spark的图书推荐系统

推荐系统是一种信息过滤系统，能够自动预测用户对特定产品或服务的偏好，并向其提供个性化的推荐。它通常基于用户的历史行为、个人喜好、兴趣和偏好等，通过数据挖掘和机器学习算法，在大数据的支持下生成个性化的推荐内容，从而提高用户购买率和满意度。推荐系统广泛应用于电子商务、社交媒体、新闻资讯、音乐、电影等领域。推荐系统的作用是根据用户的历史行为和偏好，为用户推荐个性化的内容，以满足用户的需求和兴趣。 在推荐系统架构中，离线计算部分主要使用 Hadoop、Spark、Hive 等大数据处理技术，将海量历史数据进行离线处理，构建出推荐模型。在线计算部分则使用 Flask、Django 或 Tornado 等 Web 应用框架，将推荐模型部署到 Web 服务器上，实现实时推荐服务。

大数据期末课设~基于spark的气象数据处理与分析

大数据期末课设~基于spark的气象数据处理与分析 完整版Word 可以拿来直接交作业

全国职业技能大赛大数据赛项十套赛题（shtd）

使用Scala编写spark工程代码，将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。 1、 抽取shtd_store库中user_info的增量数据进入Hive的ods库中表user_info。根据ods.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至对应报告中；

全国2014-2018年空气质量csv数据集文件数据

全国2014-2018年空气质量csv数据集文件数据，包含字段time（时间），city（城市），AQI，PM2.5，PM10，SO2，NO2，CO，O3，primary_pollutant（主要污染物），共计55万条数据。

大数据全套教程完整版

大数据基础到精通完整版， 涵盖技术点：python 基础 java基础，mysql,oracle,ssm框架，linux,hadoop,hbase,zookeeper,flume,scala,spark。资源宝贵，速度下载

spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz

spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188

基于hadoop和echarts的教育大数据可视化系统

在线教育平台现在是教育体系的重要组成部分，在当前大数据时代的背景下，促进教育机构建立统一平台、统一资源管理的数字化教学系统。如何评估系统平台的健康程度、学生的学习体验和在线课程的质量对于课程的教师和学校的管理人员都是非常重要的，这是进行数据分析的主要目的。可视化是一个重要的途径，它能够帮助大数据获得完整的数据图表并挖掘数据的价值，大数据分析离不开可视化这一工具的推动。 基于hadoop和echarts的教育大数据可视化系统，以B/S模式开发。通过Hadoop中Sqoop进行数据导入转换。以MapReduce构建数据分析，数据分析维度包括每日登录人数分析、平均学习时长分析、学习行为次数分析、每日活跃情况分析和分时段学习人数分析。最终使用ECharts可视化工具来对在线教育平台在学习过程中产生的数据进行可视化大屏展现,让更多人感受到可视化大数据的魅力。

毕业设计 基于Spark的Kmeans聚类算法优化源码+详细文档+全部数据资料 高分项目.zip

【资源说明】 毕业设计 基于Spark的Kmeans聚类算法优化源码+详细文档+全部数据资料 高分项目.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(如软件工程、计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！

Spark气象监测数据分析：代码整合，包括预处理，分析，数据可视化

【内容概要】 通过完整的气象监测数据处理与分析项目,了解Spark大数据分析的整体流程。代码涵盖数据工程、统计分析、机器学习预测建模等内容。可以学习如何使用Spark PySpark API处理大规模数据。 【适合人群】 具备一定Python编程基础,需要处理分析大规模数据的研发人员。 【能学到什么】 1. Spark数据处理:缺失值处理、降噪、特征工程等数据预处理技术 2. 统计分析:分组聚合、相关性分析、异常检测等统计方法 3. 机器学习:时间序列预测模型设计、集成学习提升效果 4. 微服务:模型API和Docker部署,提供后端服务 【学习建议】 项目代码完整覆盖了大数据分析全流程。在学习过程中,需要结合代码注释和文档,了解设计思路和背后的原理。同时调试并运行示例代码,加深理解。欢迎提出改进意见。

python爬虫爬取股票评论，调用百度AI进行语义分析， matlab数据处理，股票涨跌和评论的关系

python爬虫爬取股票评论， 调用百度AI进行语义分析， matlab数据处理， excel作图 股票涨跌和评论的关系

数据分析-基于Spark实现对全国历史气象数据进行分析.zip

数据分析_基于Spark实现对全国历史气象数据进行分析

大数据面试大总结300页.zip

大数据面试大总结300页.zip