# Flink SQL 特征实时加工平台
[idea markdown 插件安装](https://blog.csdn.net/l_lushuang/article/details/89487764)
***
## 代码模块说明
- [hlink-web-manager : web 接口控制模块]
- [hlink-clients : 用于shell 执行flink sql 作业提交]
- [hlink-web-common : web 公共方法模块]
- [hlink-sql-common : clinets提交公共方法模块]
- [hlink-connections : 外部数据源连接自定义实现]
- [hlink-function : 自定义函数]
## 运行组件 相关版本
1、 flink 版本
- [flink-1.9.2-bin-scala_2.11.tgz](https://www.apache.org/dyn/closer.lua/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz)
- [download 页面](https://flink.apache.org/zh/downloads.html#apache-flink-192)
备注:flink源码编译
```shell
mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.1 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dlicense.skip=true -Drat.ignoreErrors=true
```
2、 flink 组件 :
jar组件已放置在 doc/lib文件夹.
需要部署在 {flink-home}/lib下,否则无法支持table功能
3、 mysql版本 : 8.0+
数据库测试执行脚本:/doc/db/flink_hlink.sql.bak
4、 kafka版本 : [kafka_2.11-2.2.0]( https://archive.apache.org/dist/kafka/2.2.0/kafka_2.11-2.2.0.tgz)
5、 JDK版本 :>=jdk 1.8.0
## 常用命令
1、启动zk
sh zookeeper-server-start.sh ../config/zookeeper.properties &
2、启动kafka
sh kafka-server-start.sh ../config/server.properties &
3、修改flink配置
cd flink-1.9.2/conf
vi flink-conf.yaml
主要修改 任务元个数:
taskmanager.numberOfTaskSlots: 10
指定jar上传路径,放置flink重启资源被删除:
web.upload.dir: /Users/leon/Documents/items/server/flink-1.9.1/jars/
可选择配置:
web.tmpdir: /Users/leon/Documents/items/server/flink-1.9.1/jars/
io.tmp.dirs: /Users/leon/Documents/items/server/flink-1.9.1/tmp
其他保持默认即可
4、启动flink 独立集群模式
bin/start-cluster.sh
5、查看flink管理台
localhost:8086
6、api在线
localhost:8086/doc.html
admin/123456
## API
web 接口:Read more [here markdown版](./res/doc/hlink-1.0.0.md)
web 接口: Read more [here html版](./res/doc/hlink-1.0.0.html)
SQL开发以及操作流程: [markdown](./res/doc/index.md)
API截图:
![xxx](https://user-images.githubusercontent.com/29697202/114652987-a00ecd80-9d19-11eb-9fe5-eef2014220a4.png)
## 原型设计文档
[实时特征加工平台-产品原型-v1.5.xlsx](./res/doc/实时特征加工平台-产品原型-v1.5.xlsx)
没有合适的资源?快使用搜索试试~ 我知道了~
基于flink(SQL)的特征加工平台源码+部署文档+全部资料齐全 高分项目.zip
共290个文件
java:186个
xml:26个
jar:15个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 85 浏览量
2024-05-13
19:18:47
上传
评论
收藏 152.29MB ZIP 举报
温馨提示
【资源说明】 基于flink(SQL)的特征加工平台源码+部署文档+全部资料齐全 高分项目.zip基于flink(SQL)的特征加工平台源码+部署文档+全部资料齐全 高分项目.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
资源推荐
资源详情
资源评论
收起资源包目录
基于flink(SQL)的特征加工平台源码+部署文档+全部资料齐全 高分项目.zip (290个子文件)
course.ftl 4KB
source_kafka.ftl 1KB
sink_hbase.ftl 1KB
sink_kafka.ftl 598B
standlone_submit.ftl 536B
sink_mysql.ftl 449B
sink_oracle.ftl 425B
.gitattributes 266B
.gitignore 12KB
.gitignore 333B
hlink-1.0.0.html 4.37MB
index.html 3B
flink-dist_2.11-1.9.2.jar 92.25MB
flink-shaded-hadoop-2-uber-2.4.1-10.0.jar 28.54MB
flink-table-blink_2.11-1.9.2.jar 21.16MB
flink-table_2.11-1.9.2.jar 17.88MB
flink-sql-connector-kafka_2.11-1.9.2.jar 2.75MB
ojdbc6-11.2.0.3.jar 2.59MB
mysql-connector-java-8.0.18.jar 2.22MB
log4j-1.2.17.jar 478KB
jasypt-1.9.2.jar 126KB
flink-jdbc_2.11-1.9.2.jar 86KB
flink-hbase_2.11-1.9.2.jar 54KB
flink-json-1.9.2.jar 40KB
flink-json-1.9.1-sql-jar.jar 40KB
flink-hadoop-fs-1.9.2.jar 36KB
slf4j-log4j12-1.7.15.jar 10KB
JobServiceImpl.java 33KB
TranslationUtils.java 24KB
RedisUtils.java 24KB
FlinkApiServiceImpl.java 23KB
DsServiceImpl.java 22KB
EnvUtils.java 17KB
FlinkUtils.java 15KB
Job.java 12KB
HttpAsyncLookupFunction.java 11KB
JdbcAsyncLookupFunction.java 11KB
KafkaFetcher.java 10KB
HttpAsyUtils.java 10KB
JdbcSideTabelJoinTest.java 9KB
DsController.java 9KB
JobScheduler.java 9KB
ClusterController.java 9KB
JobController.java 8KB
OkHttpUtil.java 8KB
BootYaml.java 7KB
JarServiceImpl.java 7KB
FlinkApiTest.java 7KB
JobVO.java 7KB
UdfUtil.java 6KB
HttpAsyncLookupTableSource.java 6KB
GlobalExceptionHandler.java 6KB
TJob.java 6KB
SqlSubmit.java 6KB
CustomerSocketTextStreamFunction.java 6KB
HttpUtil.java 6KB
IntervalJoinTest.java 6KB
CodeGenerator.java 5KB
HttpSideTabelJoinTest.java 5KB
SideTableBuilder.java 5KB
JobLogServiceImpl.java 5KB
TestController.java 5KB
JarScheduler.java 5KB
JdbcAsyncLookupTableSource.java 5KB
AdminApplicationTests.java 5KB
DateUtil.java 4KB
TDFileUtils.java 4KB
LoginAuthInterceptor.java 4KB
DBParser.java 4KB
WebLogAspect.java 4KB
UdfController.java 4KB
SqlCommandParser.java 4KB
UdfServiceImpl.java 4KB
ExecUtils.java 4KB
JarController.java 4KB
CaffeineConfig.java 4KB
OperLogInterceptor.java 4KB
DsSchemaColumn.java 4KB
GsonUtils.java 3KB
Ds.java 3KB
FileController.java 3KB
DictController.java 3KB
DictServiceImpl.java 3KB
DsVO.java 3KB
ResultResponseBodyAdvice.java 3KB
HbaseSinkTest.java 3KB
JsonSchemaTypesEnum.java 3KB
JsonField.java 3KB
JsonField.java 3KB
Swagger2Configuration.java 3KB
BaseVO.java 3KB
Response.java 3KB
OkHttpConfiguration.java 3KB
DsSchemaColumnVO.java 3KB
TDs.java 3KB
CodeEnum.java 3KB
CacheParm.java 3KB
UnionField.java 2KB
UnionField.java 2KB
RedisConfig.java 2KB
共 290 条
- 1
- 2
- 3
资源评论
不走小道
- 粉丝: 3226
- 资源: 5113
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功