# Young-Board-Server 轻量级一站式大数据分析平台
项目启动于2022-06-17,持续更新中。
## 完整开发使用文档
[演示地址](http://board.zhisida.com)
- 账户 :SuperAdmin
- 密码 :123456
[详情开发使用介绍](http://board.zhisida.com/docs/share/162f64f8-bc27-41c1-818c-57f6a953fab1)
## 介绍
快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台,实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其他终端埋点包。快速对接、快速应用。
- 前端地址:[Gitee](https://gitee.com/young-pastor/Young-Board-Vue) [Github](https://github.com/young-pastor/Young-Board-Vue)
- 后端地址:[Gitee](https://gitee.com/young-pastor/Young-Board-Server) [Github](https://github.com/young-pastor/Young-Board-Server)
### 技术栈
#### 存储
- 分布式存储:HDFS、HBase
- 行式关系存储:MySQL、Oracle
- 列式存储:ClickHouse
- 列族存储:HBase、Cassandra
- 文档库:ElasticSearch、MongoDB
#### 计算
- 计算引擎:Presto、Hive
- 流处理:Storm、Flink
#### 集成:
- Flume
- Filebeat
- Logstash
#### 前端技术栈
- Vue
- Element UI
#### 后端技术栈
- Spring Boot
- Spring Cloud
- MyBatis
### 工程说明
#### 项目主要内容
- 日志采集(Flume+kafka)
- 日志入库(Flink+HDFS)
#### 工作流程
完成数据采集技术构建和业务设计,在App、小程序的系统供应商配合下完成用户行为数据采集埋点,并基于埋点的数据构建线上用户行为标签和画像。
![输入图片说明](./Image/1.jpg "屏幕截图.png")
#### 架构设计思路
所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术语,指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。比如用户某个icon点击次数、观看某个视频的时长等等。
![输入图片说明](./Image/2.png "屏幕截图.png")
#### 业务设计思路
埋点业务设计,首先需要根据业务分析明确采集的目标行为,进一步搞清楚应该在哪些地方埋什么样的点。过程中建议使用“事件模型(Event 模型)”来描述用户的各种行为,事件模型包括事件(Event)和用户(User)两个核心实体。
基于4W1H模型描述用户行为可将整个行为描述清楚,要点包括:是谁、什么时间、什么地点、以什么方式、干了什么。通过这两个实体结合在一起就可以清晰地描述清楚用户行为。
![输入图片说明](./Image/3.png "屏幕截图.png")
#### 技术架构
SDK埋点采集行为数据来源终端包括iOS、安卓、Web、H5、微信小程序等。不同终端SDK采用对应平台和主流语言的SDK,埋点采集到的数据通过JSON数据以HTTP POST方式提交到服务端API。
服务端API由数据接入系统组成,采用Nginx来接收通过 API 发送的数据,并且将之写到日志文件上。使用Nginx实现高可靠性与高可扩展性。
对于Nginx打印到文件的日志,会由Flume的 Source 模块来实时读取Nginx日志,并由Channel模块进行数据处理,最终通过Sink模块将处理结果发布到 Kafka中。
![输入图片说明](./Image/4.png "屏幕截图.png")
#### 软件完整架构
![输入图片说明](./Image/5.png "屏幕截图.png")
#### 第三方埋点SDK集成步骤
- 引入SDK:在终端应用配置文件添加 SDK 依赖,不同终端引入方式会有差异,具体操作步骤将在后续SDK技术文档中体现。
- 配置上报服务端API地址:用于设置SDK上报API的服务端地址。
- 开启全埋点:SDK 可以自动采集一些用户行为,如 App 启动、退出、浏览页面、控件点击。初始化 SDK 时,通过SDK提供的初始化方法可以配置开启全埋点。
#### API接入服务设计
不同渠道的埋点数据通过 HTTP API 发送给服务端API实现数据接入。
采用Nginx作为WEB容器接收客户端SDK发送的数据,并且将之写到日志文件上。使用 Nginx 主要是考虑到其高并发、高可靠性与高可扩展性。
#### 用户行为采集场景
通过应用场景梳理,实现以场景规划埋点,用场景检验埋点。场景梳理可以抽象为三个层面:
- 通用基础场景:共性操作统一考虑
- 重要操作场景:重要操作整体归因
- 业务主流程场景:以业务线定义完整过程
![输入图片说明](./Image/6.png "屏幕截图.png")
#### 应用效果
![输入图片说明](./Image/7.png "屏幕截图.png")
![输入图片说明](./Image/8.png "屏幕截图.png")
![输入图片说明](./Image/9.png "屏幕截图.png")
![输入图片说明](./Image/10.png "屏幕截图.png")
![输入图片说明](./Image/11.png "屏幕截图.png")
![输入图片说明](./Image/12.png "屏幕截图.png")
![输入图片说明](./Image/13.png "屏幕截图.png")
![输入图片说明](./Image/14.png "屏幕截图.png")
![输入图片说明](./Image/15.png "屏幕截图.png")
![输入图片说明](./Image/16.png "屏幕截图.png")
![输入图片说明](./Image/17.png "屏幕截图.png")
![输入图片说明](./Image/18.png "屏幕截图.png")
![输入图片说明](./Image/19.png "屏幕截图.png")
![输入图片说明](./Image/20.png "屏幕截图.png")
![输入图片说明](./Image/21.png "屏幕截图.png")
![输入图片说明](./Image/22.png "屏幕截图.png")
![输入图片说明](./Image/23.png "屏幕截图.png")
![输入图片说明](./Image/24.png "屏幕截图.png")
![输入图片说明](./Image/25.png "屏幕截图.png")
![输入图片说明](./Image/26.png "屏幕截图.png")
![输入图片说明](./Image/27.png "屏幕截图.png")
![输入图片说明](./Image/28.png "屏幕截图.png")
![输入图片说明](./Image/29.png "屏幕截图.png")
#### 版权声明
Young-Board行为分析用Apache2.0开源协议
个人和企业,在直接使用、二次开发后商业使用,需要遵守:
包含 Young-Board LICENSE文件(授权使用者免费使用小象分析专利和知识产权)
如果修改了代码,需要在被修改的文件中说明
在修改和有源代码衍生的代码中,需要带有原来代码中的协议,商标
在二次开发后商业发布的产品中,使用了多个开源软件,则必须包含一个Notice文件,在Notice文件中需要带有xiaoxianganalysis LICENSE。你可以在Notice中增加自己的许可,但不可以表现为对 LICENSE构成更改。
如果您需要商业化增值服务,请加微信沟通。
#### 谁在使用
希望你们的logo出现在此,请点此[Issue进行登记](https://gitee.com/young-pastor/Young-Board-Server/issues),我们将优先进行技术支持
如果您对 智思达科技 团队感兴趣,或者有其他好想法,欢迎联系开发团队微信 zhisida-com,或发送邮件到 service@zhisida.com。
没有合适的资源?快使用搜索试试~ 我知道了~
快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现.zip
共658个文件
java:555个
xml:40个
png:28个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 3 浏览量
2024-02-09
14:49:05
上传
评论
收藏 2.98MB ZIP 举报
温馨提示
快应用开发
资源推荐
资源详情
资源评论
收起资源包目录
快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现.zip (658个子文件)
mvn-package.bat 513B
spring.factories 202B
.gitignore 292B
favicon.ico 149KB
JdbcOriginQueryUtil.java 43KB
JdbcConvertOriginQuery.java 30KB
SysUserServiceImpl.java 24KB
RedisUtil.java 24KB
SysMenuServiceImpl.java 22KB
SysFileInfoServiceImpl.java 21KB
SysOrgServiceImpl.java 20KB
SysCodeGenerateServiceImpl.java 15KB
SysConfigCache.java 14KB
SysRoleServiceImpl.java 14KB
SysAuthServiceImpl.java 14KB
GlobalExceptionHandler.java 13KB
BoardTableColumnServiceImpl.java 12KB
BoardAnalysisServiceImpl.java 11KB
BoardTableConnectServiceImpl.java 11KB
SysNoticeServiceImpl.java 10KB
EventAnalysis.java 10KB
SysAppServiceImpl.java 9KB
BoardTableServiceImpl.java 9KB
TenFileOperator.java 9KB
SysDictTypeServiceImpl.java 9KB
OnlineDocumentUtil.java 9KB
SysDictDataServiceImpl.java 9KB
BoardPropertyServiceImpl.java 8KB
BoardEventServiceImpl.java 8KB
SysUserController.java 8KB
LoginContextSpringSecurityImpl.java 7KB
SysTimersServiceImpl.java 7KB
BoardTableConnectCache.java 7KB
SysSmsInfoServiceImpl.java 7KB
SysOauthServiceImpl.java 7KB
SystemContextImpl.java 7KB
WrapperAop.java 7KB
PropertyAnalysis.java 7KB
SysPosServiceImpl.java 6KB
AliyunFileOperator.java 6KB
SysCodeGenerateConfigServiceImpl.java 6KB
SysConfigServiceImpl.java 6KB
SysCacheController.java 6KB
AliyunSmsSender.java 6KB
LogFactory.java 6KB
LoginUserFactory.java 6KB
BoardAnalysisDimensionServiceImpl.java 6KB
ApiResourceScanner.java 6KB
JdbcDataSourceProvider.java 6KB
BoardAnalysisFilterServiceImpl.java 6KB
BoardPropertyGroupServiceImpl.java 6KB
BoardPropertyController.java 5KB
SysOnlineFileInfoResult.java 5KB
BoardEventController.java 5KB
DruidProperties.java 5KB
SysCodeGenerateController.java 5KB
BoardEventGroupServiceImpl.java 5KB
LocalFileOperator.java 5KB
PastTimeFormatUtil.java 5KB
SysEmpServiceImpl.java 5KB
SysUserService.java 5KB
BoardTableColumnController.java 5KB
SysMenuController.java 5KB
JdbcDataProvider.java 5KB
SysRoleController.java 5KB
SysTimersLogServiceImpl.java 5KB
SysTimersController.java 5KB
SysFileInfoController.java 5KB
SysDictTypeController.java 5KB
LogManager.java 5KB
BoardAnalysisController.java 5KB
BoardAnalysisPropertyServiceImpl.java 5KB
BoardPropertyGroupController.java 5KB
BoardAnalysisDimensionController.java 5KB
PoiUtil.java 4KB
BoardAnalysisPropertyController.java 4KB
BoardAnalysisEventServiceImpl.java 4KB
SysEmpExtOrgPosPosServiceImpl.java 4KB
GenConstant.java 4KB
BoardAnalysisFilterController.java 4KB
BoardTableController.java 4KB
BoardEventGroupController.java 4KB
BoardAnalysisEventController.java 4KB
BoardTableConnectController.java 4KB
WebMvcConfig.java 4KB
BoardPropertyValueController.java 4KB
BoardDataSourceController.java 4KB
PermissionAop.java 4KB
LibreOfficeUtil.java 4KB
SysOrgController.java 4KB
SysDictDataController.java 4KB
HutoolTimerExeServiceImpl.java 4KB
ConstantsInitListener.java 4KB
SysNoticeController.java 4KB
BoardDataSourceServiceImpl.java 4KB
SysSmsSenderServiceImpl.java 4KB
BaseParam.java 4KB
SysAppController.java 4KB
SysLoginUser.java 4KB
SysMenuParam.java 4KB
共 658 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7
资源评论
博士僧小星
- 粉丝: 1945
- 资源: 5903
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 数据库管理工具:dbeaver-ce-23.2.1-macos-aarch64.dmg
- 数据库管理工具:dbeaver-ce-23.2.0-stable.x86-64.rpm
- 全国大学生建模大赛题目.pdf
- 数据库管理工具:dbeaver-ce-23.2.0-macos-x86-64.dmg
- 数据库管理工具:dbeaver-ce-23.2.0-macos-aarch64.dmg
- 电机学运动控制课程基础知识-绪论部分
- Delphi 12 控件之HGetIt.zip
- 数据库管理工具:dbeaver-ce-23.1.5-x86-64-setup.exe
- ADS1256的stm32参考程序
- 数据库管理工具:dbeaver-ce-23.1.5-macos-x86-64.dmg
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功