没有合适的资源？快使用搜索试试~ 我知道了~

文库首页开发技术其它spark-dstream-http:用于 HTTP 的 Apache Spark DStream

spark-dstream-http:用于 HTTP 的 Apache Spark DStream

共10个文件

scala：4个

properties：2个

sbt：2个

Scala

需积分: 9 0 下载量 169 浏览量 2021-06-20 22:08:44 上传评论收藏 10KB ZIP 举报

温馨提示

从任何 HTTP 位置轮询的 Apache Spark DStream

资源推荐

资源详情

资源评论

spark-mllib:Apache Spark是用于机器学习和大数据的最广泛使用和受支持的开源工具之一。在此存储库中，发现如何使用此强大的机器学习平台进行工作。此回购讨论了MLlib（Spark机器学习库），该库为数据科学家和分析人员提供了工具，他们希望找到业务问题的解决方案，而不是编写，测试和维护自己的机器学习库。回购展示了如何使用DataFrames来组织数据结构，并介绍了数据准备和最常用的机器学习算法类型-spark source code

spark-mllib:Apache Spark是用于机器学习和大数据的最广泛使用和受支持的开源工具之一。在此存储库中，发现如何使用此强大的机器学习平台进行工作。此回购讨论了MLlib（Spark机器学习库），该库为数据科学家和分析人员提供了工具，他们希望找到业务问题的解决方案，而不是编写，测试和维护自己的机器学习库。回购展示了如何使用DataFrames来组织数据结构，并介绍了数据准备和最

vagrant-spark-zeppelin：Vagrant，Apache Spark和Apache Zeppelin VM，带有用于学习Spark的笔记本

vagrant-spark-zeppelin：Vagrant，Apache Spark和Apache Zeppelin VM，带有用于学习Spark的笔记本

Apache Spark源码走读之5 -- DStream处理的容错性分析

Apache Spark源码走读之5 -- DStream处理的容错性分析

Apache Spark源码走读之4 -- DStream实时流数据处理

Apache Spark源码走读之4 -- DStream实时流数据处理

Spark-2.3.1源码解读

Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存，变量，shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions...

spark-kafka-rdd:使Kafka成为Spark平台数据源的scala库

请注意，Spark-Kafka-RDD 从 Kafka 主题和分区中获取给定的偏移范围作为单个 RDD ( KafkaRDD ) 返回给 Spark 驱动程序，而不是生成 Spark 流框架所做的 Spark DStream 。特征Spark-Kafka-RDD 有几个有用的特性。 ...

spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件

5星 · 资源好评率100%

spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件

spark-sqs-sink:用于Apache Spark的自定义接收器提供程序的示例，该示例将数据帧的内容发送到AWS SQS

火花-水槽用于Apache Spark的自定义接收器提供程序的示例，该示例将数据帧的内容发送到AWS SQS

dropwizard-kafka-http:Apache Kafka HTTP 端点，用于从主题生成和使用消息

dropwizard-kafka-http 该项目创建了一个 Apache Kafka HTTP 端点，用于生成和使用消息。它建立在，使 Java REST 服务对操作员友好且易于部署。使用 Vagrant 在开发中运行项目中包含一个Vagrantfile ，用于快速启动和运行虚拟机以运行 ZooKeeper、Kafka 和 HTTP 端点。安装 Vagrant 安装 Virtual

spark-on-k8s-operator：Kubernetes运算符，用于管理Kubernetes上的Apache Spark应用程序的生命周期

这不是官方支持的Google产品。社区加入我们的频道。查看。项目状态项目状态：测试版当前API版本： v1beta2 如果您当前使用的v1beta1在舱单的API的版本，请更新他们使用v1beta2通过改变版本apiVersion: "sparkoperator.k8s.io/<version>"到apiVersion: "sparkoperator.k8s.io/v1beta2

generator-spark-app:Yeoman生成器，用于Apache Spark应用程序（使用Scala API）

发电机火花应用这是一个生成器，可帮助您使用Scala API引导应用程序。入门您需要先安装Yeoman： $ npm install -g yo 然后安装此生成器： $ npm install -g generator-spark-app 最后，启动生成器： $ cd /path/to/your/project $ yo spark-app 执照麻省理工学院

spark-streaming-kafka-assembly_2.11-1.6.3.jar

Apache Kafka作为DStream数据源，spark使用流处理处理kafka数据的时候需要将本jar包导入venv/lib/python3.7/site-packages/pyspark/jars

spark-redis：Spark的连接器，允许从Redis集群读写

Spark-Redis 一个使用在读写数据的库。... Spark-Redis还支持Spark流（DStream）和结构化流。版本兼容性和分支该库具有多个分支，每个分支对应于一个受支持的不同Spark版本。例如，“ branch-2.3”可与

spark-streaming-kafka-0-8_2.11-2.4.5.jar

Apache Kafka作为DStream数据源，Pyspark中在使用流处理的方式处理kafka数据时需要将本jar包导入venv/lib/python3.7/site-packages/pyspark/jars下

DStream输出操作

DStream输出操作:在Spark应用中，外部系统经常需要使用到Spark DStream处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中。

learning-spark-streaming.pdf

5星 · 资源好评率100%

•Learn core concepts such as Spark RDDs, Spark Streaming clusters, and the fundamentals of a DStream •Discover how to create a robust deployment •Dive into streaming algorithmics •Learn how to ...

spark-r-notebooks：用于IPython Jupyter笔记本的大数据分析和机器学习的Apache Spark（SparkR）教程

spark-r-notebooks：用于IPython Jupyter笔记本的大数据分析和机器学习的Apache Spark（SparkR）教程

docker-spark:用于在Ubuntu上运行Apache Spark的Dockerfile

阿帕奇火花支持的标签和相应的Dockerfile链接什么是星火？ Apache Spark是一个快速的通用集群计算系统。它提供Java，Scala和Python的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括用于SQL和结构化数据的处理，机器学习，用于图形处理和。什么是Docker？ Docker是一个开放平台，供开发人员和系统管理员构建，交

spark-atlas-connector:一个Spark Atlas连接器，用于跟踪Apache Atlas中的数据沿袭

Spark Atlas连接器用于跟踪Spark SQL / DataFrame转换并将元数据更改推送到Apache Atlas的连接器。此连接器支持跟踪： SQL DDL，例如“创建/删除/更改数据库”，“创建/删除/更改表”。 SQL DML，例如“ CREATE TABLE tbl AS SELECT”，“ INSERT INTO ...”，“ LOAD DATA [LOCAL] I

neo4j-spark-connector：用于Apache Spark的Neo4j连接器，它使用Spark DataSource API提供从Spark对Neo4j的双向读写访问

用于Apache Spark的Neo4j连接器该存储库包含适用于Apache Spark的Neo4j连接器。执照这个neo4j-connector-apache-spark是Apache 2许可的从源代码生成文档 cd doc # Install NodeJS dependencies npm install # Generate HTML/CSS from asciidoc ./node

spark-timeseries：用于在Apache Spark上进行时间序列分析的库

Spark时间序列（ spark-ts包）一个Scala / Java / Python库，用于与Apache Spark上的时间序列数据进行交互。向发布问题和评论，或将其直接通过发送至。注意：spark-ts库不再由我（Sandy）积极开发。不幸的是，我不再有带宽来开发功能，回答邮件列表中的所有问题或解决所有已提交的错误。就是说，我仍然很乐意审查拉取请求，并尽我所能来帮助其他人推

【SparkStreaming篇02】SparkStreaming之Dstream创建1

通过SparkStream创建Dstream，计算WordCount代码实现//1.初始化Spark配置信息val conf = new SparkConf()

pysparkling:Apache Spark RDD和DStream接口的纯Python实现

它使旨在用于Spark应用程序的代码能够完全在Python中执行，而不会产生通过JVM和Hadoop初始化和传递数据的开销。重点是为小型数据集提供轻量级且快速的实现，但要以牺牲某些数据弹性功能和某些并行处理功能为代价。...

stream.c内存测试

5星 · 资源好评率100%

内存测试工具

【SparkStreaming篇01】SparkStreaming之Dstream入门1

1.易用 2.容错 3.易整合到Spark体系

sparkstreaming:封装sparkstreaming动态调节batch time(有数据就执行计算)；支持运行过程中增删topic；封装sparkstreaming 1.6 - kafka 010 用以支持 SSL

支持在streaming过程中重设 topics，用于生产中动态地增加删减数据源添加了速率控制，KafkaRateController。用来控制读取速率，由于不是用的sparkstreaming，所有速率控制的一些参数拿不到，得自己去计算。提供...

收起资源包目录

spark-dstream-http-master.zip （10个子文件）

spark-dstream-http-master

version.sbt 38B

src

test

resources

log4j.properties 218B

scala

stupidsoup

spark

streaming

http

HttpInputDStreamSpec.scala 2KB

main

scala

org

apache

spark

streaming

http

HttpInputDStream.scala 2KB

HttpInputUtils.scala 554B

.gitignore 1KB

project

plugins.sbt 456B

SparkDstreamHttp.scala 4KB

build.properties 18B

README.md 53B

共 10 条

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

LiuTitanium

粉丝: 23
资源: 4684

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

spark-dstream-http:用于 HTTP 的 Apache Spark DStream

spark-hbase:用于将 Spark 与 Apache HBase 数据结合使用的集成实用程序

metrics-spark-receiver:用于metrics-spark-reporter的Apache Spark Streaming接收器

spark-python-knn:Apache Spark中用于计算K-NN的函数

vagrant-spark-zeppelin：Vagrant，Apache Spark和Apache Zeppelin VM，带有用于学习Spark的笔记本

Apache Spark源码走读之5 -- DStream处理的容错性分析

Apache Spark源码走读之4 -- DStream实时流数据处理

Spark-2.3.1源码解读

spark-kafka-rdd:使Kafka成为Spark平台数据源的scala库

spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件

spark-sqs-sink:用于Apache Spark的自定义接收器提供程序的示例，该示例将数据帧的内容发送到AWS SQS

dropwizard-kafka-http:Apache Kafka HTTP 端点，用于从主题生成和使用消息

spark-on-k8s-operator：Kubernetes运算符，用于管理Kubernetes上的Apache Spark应用程序的生命周期

generator-spark-app:Yeoman生成器，用于Apache Spark应用程序（使用Scala API）

spark-streaming-kafka-assembly_2.11-1.6.3.jar

spark-redis：Spark的连接器，允许从Redis集群读写

spark-streaming-kafka-0-8_2.11-2.4.5.jar

DStream输出操作

learning-spark-streaming.pdf

spark-r-notebooks：用于IPython Jupyter笔记本的大数据分析和机器学习的Apache Spark（SparkR）教程

docker-spark:用于在Ubuntu上运行Apache Spark的Dockerfile

spark-atlas-connector:一个Spark Atlas连接器，用于跟踪Apache Atlas中的数据沿袭

neo4j-spark-connector：用于Apache Spark的Neo4j连接器，它使用Spark DataSource API提供从Spark对Neo4j的双向读写访问

spark-timeseries：用于在Apache Spark上进行时间序列分析的库

【SparkStreaming篇02】SparkStreaming之Dstream创建1

pysparkling:Apache Spark RDD和DStream接口的纯Python实现

stream.c内存测试

【SparkStreaming篇01】SparkStreaming之Dstream入门1

sparkstreaming:封装sparkstreaming动态调节batch time(有数据就执行计算)； 支持运行过程中增删topic； 封装sparkstreaming 1.6 - kafka 010 用以支持 SSL

最新资源

sparkstreaming:封装sparkstreaming动态调节batch time(有数据就执行计算)；支持运行过程中增删topic；封装sparkstreaming 1.6 - kafka 010 用以支持 SSL