ETL处理程序
预处理脚本1 预处理脚本2 ...
通过正则表达式匹配相应的处理脚本
Kafka
入Kafka
所有数据入通信数据Topic
短信数据入短信Topic
Kafka入Hive
程序
消费通信数据消息
Hive
入Hive
人物关系分析
程序
进行复杂关系分析处理
短信数据入s
olr程序
消费Topic为短信的消息
solr
入solr供全文检索使用
将结果入Hbase,供海量数据实时查询
Hbase
HDFS
Client 话单分析数据展示
supervisor进
程管理
人物关系分析平台流程图
RDBMS
用户信息管理,日志记录
接入数据
数据导入
人物关系分
析程序:
跑一个spark
程序,按月
进行属性合
并
solr数据不放在H
DFS,虽然solr支
持,但是HDFS不
适合实时查询,
可以用solrCloud
,但是过于繁琐
,先保证主要功
能的实现,有时
间在弄solrCloud