Fin-Doc-Thermometer

Fin-Doc-温度计 简单的介绍 该项目建立了一个实时监控系统，以跟踪对经济和风险分析司（DERA）中可用的电子财务文件的访问。 该系统由流传输管道和批处理管道组成。 流传输管道处理实时数据，跟踪哪些公司吸引了人们的最大关注以及每秒访问的文档总数。 批处理管道根据历史数据生成统计信息，以帮助描述公众在检查文档中的活跃程度。 系统演示视频： 管道 整个系统如下图所示： Kafka：从S3接收和缓冲实时数据 Spark Streaming：使用来自Kafka的实时数据，并按秒计算总访问量，并按秒和公司计算总访问量 Redis：从Spark Streaming接收，并保持每秒的总访问量以及秒数和公司的总访问量 Spark：从S3加载历史数据，生成统计信息并将其保存到PostgreSQL PostgreSQL：保存原始数据和计算出的统计信息 Flask：显示来自Redis的实时结果和