实时Hadoop实战篇：基于Storm实时路况分析和实时路径推荐系统方案.doc

实时 Hadoop 实战篇：基于 Storm 实时路况分析和实时路径推荐系统方案 本文主要介绍了基于 Storm 实时路况分析和实时路径推荐系统的设计和实现，该系统能够实时计算出市 10 万多条路段的实时平均速度，并提供了最短行驶时间的路径推荐功能。该系统的数据来源于 6 万多辆出租车、公交车上安装的 GPS 定位仪，每天 24 小时产生大量数据，使用 Storm 实时流处理平台来处理这些数据，并将其存储在 Hadoop 分布式计算系统中。 系统功能和亮点： 1. 实时计算出市 10 万多条路段的实时平均速度，进而在地图上用红、黄、绿来代表严重拥堵、轻微拥堵、畅通，实现了交通路况实时播报功能。 2. 当系统在响应驾车从一个出发点到达另外一个目的地的最正确导航路径查询时，系统能考虑到当前各个路段的时速，给出一个最短行驶时间的路径而非当前大众的地图厂商给出的最短物理路径，从而实现实时推荐。 与当前主流的百度地图、google 地图等主流实时交通分析相比，有以下亮点： 1. 数据来源纯净，准确率高。百度地图声称其准确率可达 86%，每 3 分钟更新一次，而本系统更新频率达 1 分钟每次，经实地勘察准确率比百度高。 2. 将当前各个路段的平均时速作为考虑权重因子，给出用户一条行驶时间最短的导航路径。 项目背景： 智能交通系统利用大量的多源数据，例如车载 GPS 数据、通卡刷卡、手机蜂窝位置数据等，实现实时采集、存储、挖掘这些数据背后的信息，从而提高城市交通系统的管理与规划水平。本项目的数据来源于 6 万多辆出租车、公交车上安装的 GPS 定位仪，GPS 定位仪每 15 秒向数据中心发送一条位置信息。 Storm 集群物理机： * 6 台 16 核处理器、64GB 存的联想服务器 * 虚拟化：用 openstack 将其中 5 台物理机每台虚拟化为 4 个 4 核 CPU、16GB 存的虚拟机，从而产生了 20 个计算节点，目的是为了提高各个节点的资源利用率和集群快速部署。 * 另外一台物理机作为 Storm 的控制节点 nimbus 和 Storm ui 控制台。 集群部署： * 在一个虚拟机里安装好 storm 运行环境后，将这个虚拟机的镜像快速复制 19 份并启动，从而节省了在每个节点都安装一遍 storm 的人力投入。 * 软件：storm 0.8, zookeeper 3.4.5, MySQL 等。 Storm 集群组织结构： Storm UI 是一个用于查看和管理 Storm 集群的 Web 界面，Nimbus 是 Storm 集群的控制节点，负责管理和协调整个 Storm 集群的操作。Supervisor 是 Storm 集群的工作节点，负责执行 Storm 任务。ZooKeeper 是一个分布式协调服务，用于管理和协调 Storm 集群中的配置和状态信息。 本系统的实现为智能交通系统提供了一种实时的交通路况分析和路径推荐解决方案，能够实时处理大量的交通数据，提供了准确的交通信息和最优的路径推荐，提高了城市交通系统的管理与规划水平。