带有PySpark的Spark和Python用于大数据：Spark机器学习项目资源-CSDN文库

共18个文件

ipynb：7个

csv：6个

txt：3个

JupyterNotebook

5星 · 超过95%的资源需积分: 49 22 浏览量 2021-03-02 08:41:45 上传评论 1 收藏 117KB ZIP 举报

资源推荐

资源详情

资源评论

CommunityDetection-Spark-AWS：一个用Python编写的Spark应用程序，用于使用双向标签传播算法找出牢固连接的组件。该项目在AWS EMR集群上实现了1.3GB的Twitter网络数据集

社区检测-火花-AWS 一个用Python3编写的Spark应用程序，用于通过双向标签传播算法找出。该项目通过AWS EMR集群实现了1.3GB的Twitter网络数据集。如何复制实验将labelp.py和数据集上载到AWS S3中的存储桶。（如果您已经拥有一个）在AWS EMR中创建集群。启动模式： Step execution （您也可以选择“ Cluster并使用SSH连

spark-mllib:Apache Spark是用于机器学习和大数据的最广泛使用和受支持的开源工具之一。在此存储库中，发现如何使用此强大的机器学习平台进行工作。此回购讨论了MLlib（Spark机器学习库），该库为数据科学家和分析人员提供了工具，他们希望找到业务问题的解决方案，而不是编写，测试和维护自己的机器学习库。回购展示了如何使用DataFrames来组织数据结构，并介绍了数据准备和最常用的机器学习算法类型-spark source code

spark-mllib:Apache Spark是用于机器学习和大数据的最广泛使用和受支持的开源工具之一。在此存储库中，发现如何使用此强大的机器学习平台进行工作。此回购讨论了MLlib（Spark机器学习库），该库为数据科学家和分析人员提供了工具，他们希望找到业务问题的解决方案，而不是编写，测试和维护自己的机器学习库。回购展示了如何使用DataFrames来组织数据结构，并介绍了数据准备和最

geekmonkeystudios.github.io:这是 Geek Monkey Studios 的网站。 Geek Monkey Studios 是一家与 Intel Software 和 Microsoft Biz Spark 合作的初创公司。我们专注于使用新的育种技术，我们正在开发我们的产品。我们是一群超级酷的家伙，他们的心态更多是研究和创新。我们还专注于培训，并有一个强大的外展项目，我们在其中培训和谈论 VR、手势计算。云计算、X 平台应用程序开发、机器学习、大数据等等

geekmonkeystudios.github.io 这是一个创业网站

TransmogrifAI（发音为trăns-mŏgˈrə-fī）是一个AutoML库，用于在Apache Spark上构建模块化的，可重用的，强类型的机器学习工作流，而无需进行任何手动调整-Python开发

TransmogrifAI TransmogrifAI（发音为trăns-mŏgˈrə-fī）是一个用Scala编写的AutoML库，它运行在Spark之上。它的开发重点是通过mac TransmogrifAI来提高机器学习开发人员的效率TransmogrifAI（发音为trăns-mŏgˈrə-fī）是一个用Scala编写的AutoML库，它在Apache Spark之上运行。它的开发重点是

nyc-taxi-spark-ml:纽约市出租车数据上的 Python Spark 机器学习示例

项目介绍使用python和spark分析纽约出租车数据（不完整）说明在此处下载完整数据集： : 或使用data/的子集使用python/get_weather_data.py下载天气数据（首先填写您的forecast.io API 密钥）修复python/generate-models.py硬编码路径以指向正确的数据和 python 目录使用spark-submit在本地运行 To

hivemq-mqtt-tensorflow-kafka-real-iot-machine-learning-training-inference：带有HiveMQ（MQTT），TensorFlow IO和Apache Kafka的实时大数据IoT机器学习（模型训练和推理）需要S3，HDFS或Spark

使用HiveMQ，Apache Kafka和TensorFLow从100000个IoT设备进行大规模流式机器学习如果您只是想开始并在几分钟内快速启动演示，请转到入门以设置基础结构（在GCP上）并运行演示。您还可以通过现场演示观看20分钟的录像：。还有一篇博客文章，详细介绍。动机：大规模演示物联网场景您想看到一个大规模的物联网示例吗？不仅是100或1000个设备都在生成数据，而且

Spark:Apache Spark是一个快速的内存数据处理引擎，具有优雅且富有表现力的开发API，可让数据工作者高效执行需要快速迭代访问数据集的流，机器学习或SQL工作负载。该项目将在Scala中提供Spark的示例程序语

火花 Apache Spark是一种快速的内存数据处理引擎，具有优雅且富于表现力的开发API，可让数据工作者高效执行需要快速迭代访问数据集的流，机器学习或SQL工作负载。通过在Apache Hadoop YARN上运行Spark，现在，各地的开发人员都可以创建应用程序，以利用Spark的功能，获取见解并在Hadoop中的单个共享数据集中丰富其数据科学工作负载。该项目包含Scala编程语言中的

data-science-vm:用于进行数据科学的大数据分析 VM。它为那些在数据科学的大数据分析方面工作的人提供了一个巨大的启动。本质上，该项目在虚拟机 (VM) 上自动创建大数据科学家的工具箱。几分钟后，您就可以开始使用完全配置的数据科学实验室，而不是执行功能开发环境所需的复杂安装和配置。 Data Scientist 的 VM 包括预装的 R、Git、Python、Cloudera、Hadoop、YARN、MRv2、Mahout、MongoDB、Spark、Neo4j 等。 Data Scie

数据科学虚拟机 ##需要安装以下Gems vagrant插件 install vagrant-omnibus vagrant plugin install vagrant-env 用户根/流浪乔/乔查克/查克cloudera/cloudera Hive 嵌入式数据库 PostgresSQL 主机，e63:7432 DB 名称，hive 用户名，hive 密码，8xlpmpA6NE 色调 hdf

benchm-ml：用于二进制分类的顶级机器学习算法（随机森林，Rus，Python scikit-learn，H2O，xgboost，Spark MLlib等）的可扩展性，速度和准确性的最低基准。梯度增强树，深度神经网络等）

用于分类的机器学习库的可伸缩性，速度和准确性的简单/有限/不完整基准所有基准都是错误的，但有些是有用的该项目旨在为一些机器学习算法的常用实现的可伸缩性，速度和准确性提供一个最低基准。这项研究的目标是使用数字和分类输入（具有有限的基数，即不是很稀疏）并且没有丢失的数据进行二进制分类，这可能是业务应用程序中最常见的问题（例如，信用评分，欺诈检测或客户流失预测）。如果输入矩阵的大小为n x p

很棒的推荐引擎：这个小项目的目的是将事情与我从formacionhadoop.com的大数据专家课程中学到的知识放在一起，目的是展示如何与Apache Spark Streaming，Kafka，Mongo一起玩，火花机器学习算法

PySpark中的分布式scikit-learn元估计器 sk-dist是一个用于机器学习的Python模块

PySpark中的分布式scikit-learn元估计器 sk-dist是一个用于机器学习的Python模块，构建于scikit-learn之上

Qt 5实现串口调试助手（源工程文件、0积分下载）

5星 · 资源好评率100%

基于Qt 5实现串口调试助手，程序仅供参考，修改了之前十六进制接收0xA0--0xFF有误的问题，新增了窗口自适应（ui文件设置栅格），文件详情可看博客链接https://blog.csdn.net/m0_51294753/article/details/121405661。

【SystemVerilog】路科验证V2学习笔记（全600页）.pdf

5星 · 资源好评率100%

SystemVerilog的听课学习笔记，包括讲义截取、知识点记录、注意事项等细节的标注。目录如下：第一章 SV环境构建常识 1 1.1 数据类型 1 四、二值逻辑 4 定宽数组 9 foreach 13 动态数组 16 队列 19 关联数组 21 枚举类型 23 字符串 25 1.2 过程块和方法 27 initial和always 30 func

AutoSAR标准协议4.2.2

5星 · 资源好评率100%

AutoSAR标准协议规范4.2.2，里面包含了AutoSAR组织所规定的AutoSAR架构的标准规范协议原文档。对AutoSAR的学习有一定的借鉴意义

光伏-储能并网系统仿真.rar

5星 · 资源好评率100%

该文件是清华大学储能课的期末大作业。用SIMULINK搭建了一个完整的光伏-储能并网系统。我的博客中介绍了系统实现的具体方法，欢迎查看！

GD32替换STM32注意事项.pdf

收起资源包目录

Spark-and-Python-for-Big-Data-with-PySpark-master.zip （18个子文件）

Spark-and-Python-for-Big-Data-with-PySpark-master

SparkStreaming

TweetRead.py 1KB

Spark_Streaming.ipynb 36KB

TwitterProject 141B

Clustering

Hack_data.csv 14KB

Readme.txt 1B

Clustering Techniques using PySpark.ipynb 9KB

Natural Language Processing

NLP_Project.ipynb 14KB

Tree Methods

Readme.txt 213B

Dog_food.csv 7KB

Tree Methods to Classify Spoiled Dog Food.ipynb 8KB

Linear Regression

cruise_info.csv 9KB

LinearRegression_Spark.ipynb 12KB

Logistic Regression

Logistic Regression Customer Churn.ipynb 15KB

Readme.txt 211B

customer_churn.csv 113KB

LogisticRegression_titanic.ipynb 8KB

new_customer.csv 815B

Titanic.csv 59KB

评论收藏

内容反馈

hnmwykka

2022-05-30

PySpark大数据处理及机器学习Spark2.3课程下载地址：https://download.csdn.net/download/aidedmniy/85498044

张岱珅

粉丝: 44
资源: 4690

带有PySpark的Spark和Python用于大数据：Spark机器学习项目

spark项目代码以及数据

PySpark_Test:测试项目以练习pyspark

spark项目入门

PyCharm搭建Spark开发环境实现第一个pyspark程序

Python机器学习项目实例：使用Pyspark进行客户流失分析和模型预测

udemy_pyspark_basics：PySpark课程的Udemy Spark和Python用于大数据-讲师Jose Portilla

Spark 2.x + Python 大数据机器学习实战课程

Spark 2.x + Python 大数据机器学习实战

大数据-基于Spark的机器学习-智能客户系统项目实战

Python+Spark 2.0+Hadoop机器学习与大数据

用Spark进行大数据处理之机器学习篇

Spark-PySpark-大数据

基于Python Spark的大数据分析课程.rar

学习：用于深度学习，机器学习，强化学习，Spark，统计，算法，Scala，Python的演练笔记本

CommunityDetection-Spark-AWS：一个用Python编写的Spark应用程序，用于使用双向标签传播算法找出牢固连接的组件。 该项目在AWS EMR集群上实现了1.3GB的Twitter网络数据集

TransmogrifAI（发音为trăns-mŏgˈrə-fī）是一个AutoML库，用于在Apache Spark上构建模块化的，可重用的，强类型的机器学习工作流，而无需进行任何手动调整-Python开发

nyc-taxi-spark-ml:纽约市出租车数据上的 Python Spark 机器学习示例

hivemq-mqtt-tensorflow-kafka-real-iot-machine-learning-training-inference：带有HiveMQ（MQTT），TensorFlow IO和Apache Kafka的实时大数据IoT机器学习（模型训练和推理）需要S3，HDFS或Spark

Spark:Apache Spark是一个快速的内存数据处理引擎，具有优雅且富有表现力的开发API，可让数据工作者高效执行需要快速迭代访问数据集的流，机器学习或SQL工作负载。该项目将在Scala中提供Spark的示例程序语

benchm-ml：用于二进制分类的顶级机器学习算法（随机森林，Rus，Python scikit-learn，H2O，xgboost，Spark MLlib等）的可扩展性，速度和准确性的最低基准。梯度增强树，深度神经网络等）

很棒的推荐引擎：这个小项目的目的是将事情与我从formacionhadoop.com的大数据专家课程中学到的知识放在一起，目的是展示如何与Apache Spark Streaming，Kafka，Mongo一起玩，火花机器学习算法

PySpark中的分布式scikit-learn元估计器 sk-dist是一个用于机器学习的Python模块

Qt 5实现串口调试助手 （源工程文件、0积分下载）

【SystemVerilog】路科验证V2学习笔记（全600页）.pdf

AutoSAR标准协议4.2.2

光伏-储能并网系统仿真.rar

GD32替换STM32注意事项.pdf

最新资源

CommunityDetection-Spark-AWS：一个用Python编写的Spark应用程序，用于使用双向标签传播算法找出牢固连接的组件。该项目在AWS EMR集群上实现了1.3GB的Twitter网络数据集

Qt 5实现串口调试助手（源工程文件、0积分下载）