没有合适的资源?快使用搜索试试~ 我知道了~
java版商城源码下载-wwjd-datacollection:wwjd-datacollection
共64个文件
java:26个
properties:9个
sh:8个
需积分: 9 0 下载量 30 浏览量
2021-06-05
01:44:58
上传
评论
收藏 2.24MB ZIP 举报
温馨提示
java版商城源码下载 背景 万事皆有因,之所以会衍生出 3.0 版本,主要是遇到以下2个瓶颈 流量快速的发展,原有的系统 IO处理慢慢跟不上现有的公司业务发展 埋点数据量的快速递增,普通的关系型数据库对于数据写入和读取都存在极大的效率问题 为了解决以2个问题,首先使用 kafka 进行削峰填谷,当然我们也可以再添加一层缓存堵住高并发的情况,不过项目的演进需要遵循演化原则,切勿操作过急,然后使用 hbase 作为数据库,进行海量存储,解决数据存储问题。 架构设计 系统的技术架构图如下所示,用户通过使用我们的工程,触发打点事件,并向我们服务器发送埋点请求,经过网关进行负载均衡进入埋点系统,在埋点系统中进行一些处理后通过 kafka 进行削峰填谷,然后消费者进行消费将数据存入以 hadoop 为数据源的 hbase 数据库。 后端处理流程 这幅图是我开始设计的,后来考虑到 kafka 的稳定性,一些流程可以做一些删减,简化处理逻辑,如通过 redis 原子性操作做幂等处理,下面我来解释一下我们这边处理的逻辑,首先用户触发埋点接口,通过网关的负载均衡处理到具体的埋点系统,然后通过我们安全认证
资源推荐
资源详情
资源评论
收起资源包目录
wwjd-datacollection-master.zip (64个子文件)
wwjd-datacollection-master
mvn.sh 78B
bin
debug-mcp.sh 202B
stop.sh 280B
debug.sh 340B
start-mcp.sh 190B
restart.sh 100B
start.sh 118B
git-pull.sh 193B
pom.xml 803B
mvnw 9KB
settings.xml 11KB
data-collection.release 265B
datacollection-web
pom.xml 6KB
src
test
java
com
wwjd
datacollection
PulsarTest.java 4KB
resoirces
application.properties 4KB
banner.txt 1KB
logback-spring.xml 2KB
main
resources
bootstrap-test.properties 703B
bootstrap-prod.properties 703B
application-local.properties 4KB
application-test.properties 164B
bootstrap-dev.properties 701B
banner.txt 1KB
bootstrap-local.properties 715B
application-dev.properties 164B
application-prod.properties 163B
logback-spring.xml 2KB
java
com
wwjd
datacollection
init
DataCollectionConfig.java 714B
DataCollectionInit.java 3KB
job
EveryDayFirstDataJob.java 2KB
constants
DataCollectionConstants.java 4KB
DataCollectionApplication.java 4KB
kafka
KafkaMsgListener.java 2KB
controller
DataCollectionController.java 4KB
service
business
core
CoreCriteria.java 1KB
CriteriaChain.java 843B
ICriteria.java 521B
IDataCollectionService.java 791B
IHbaseService.java 1KB
impl
DataCollectionServiceImpl.java 10KB
AsyncDealDataServiceImpl.java 6KB
HbaseServiceImpl.java 5KB
IAsyncDealDataService.java 614B
util
DateUtils.java 2KB
Result.java 920B
DealDataUtil.java 10KB
.gitignore 268B
datacollection-config
pom.xml 3KB
src
main
resources
META-INF
spring.factories 209B
java
com
wwjd
datacollection
config
init
DataCollectionInitProperties.java 3KB
business
BusinessFilterProperties.java 2KB
hbase
HbaseProperties.java 2KB
HbaseBean.java 974B
EnableHbase.java 436B
HbaseConfiguration.java 2KB
README.md 12KB
mvnw.cmd 6KB
datacollection-record
img
data-collection-flow.png 78KB
data-collection.uml 14KB
data-collection-architecture.png 22KB
data-collection.png 828KB
data-collection-workflow.png 12KB
code-check.png 26KB
埋点架构.pptx 1.33MB
共 64 条
- 1
资源评论
weixin_38747126
- 粉丝: 5
- 资源: 921
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功