没有合适的资源?快使用搜索试试~ 我知道了~
Flink编程实践指南(中文版)
需积分: 49 55 下载量 122 浏览量
2018-06-27
20:22:38
上传
评论 2
收藏 264KB DOCX 举报
温馨提示
试读
14页
Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现,被誉为新一代大数据处理引擎的引领者。该文档全面介绍了Flink编程的整体流程,并且通过详细的代码实例对Flink的各项知识点进行了实践介绍,是快速学习Flink编程的不二之选。
资源推荐
资源详情
资源评论
目录
一、 开发环境搭建
二、 基本 概念
、 和
、 解剖 程序
、 惰性评估
、 指定
、 为 指定
、 指定转化函数
、 支持的数据类型
、 累加器和计数器
三、 ! 使用
、 转化
、 物理分区方法
、 任务链
、 数据源
、 数据存放
一、Flink 开发环境搭建
本文主要是基于 "# 语言开发的环境搭建。
、必备工具,红色部分为必须安装的
()$#! 版本
()%&
()'#
()(&:用于模拟网络包发送
()) 或者 & *
()+ 下载工具
、搭建步骤
()在 %& 中创建 # 工程,,- 配置信息如下:
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.10</artifactId>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.10</artifactId>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.codehaus.jackson</groupId>
<artifactId>jackson-core-asl</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>com.google.code.findbugs</groupId>
<artifactId>jsr305</artifactId>
<version>3.0.2</version>
</dependency>
<dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-java</artifactId>
<version>3.2.0</version>
</dependency>
<dependency>
<groupId>com.sun.jersey</groupId>
<artifactId>jersey-core</artifactId>
<version>1.19.3</version>
</dependency>
<dependency>
<groupId>org.uncommons.maths</groupId>
<artifactId>uncommons-maths</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>com.typesafe</groupId>
<artifactId>config</artifactId>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.4</version>
</dependency>
</dependencies>
官方提供的文档中只包含 . 几个核心的依赖包,这个显然是会让 % 报错的,上面
的配置经过实践操作是没有问题的。注意:其中某些包 # 自动下载失败,我们可以从
http://mvnrepository.com
下载需要的包放到 maven 指定位置上。
(2)编写 java 代码
package com.hugh.demo.ink;
import org.apache.ink.api.common.functions.FlatMapFunction;
import org.apache.ink.api.java.tuple.Tuple2;
import org.apache.ink.streaming.api.datastream.DataStream;
import
org.apache.ink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.ink.streaming.api.windowing.time.Time;
import org.apache.ink.util.Collector;
public class WindowWordCount {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<Tuple2<String, Integer>> dataStreaming = env
.socketTextStream("localhost", 9999)
.atMap(new Splitter())
.keyBy(0)
.timeWindow(Time.seconds(5))
.sum(1);
剩余13页未读,继续阅读
资源评论
拂晓Skyler
- 粉丝: 206
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Python 版冒泡排序算法源代码
- tensorflow-gpu-2.7.2-cp38-cp38-manylinux2010-x86-64.whl
- tensorflow-2.7.3-cp39-cp39-manylinux2010-x86-64.whl
- tensorflow-2.7.2-cp39-cp39-manylinux2010-x86-64.whl
- Python版本快速排序源代码
- Python 语言版的快速排序算法实现
- 450815388207377安卓_base.apk
- 超微主板 X9DRE-TF+ bios 支持 nvme启动
- 基于Python通过下载气象数据和插值拟合离散数据曲线实现对寒潮过程的能量分析
- 智能车仿真软件.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功