1、启动 Zookeeper 集群:
zkServer.sh start
2、启动 Hadoop 集群
start-all.sh
管理界面:http://mini:8088
HDFS 主界面:http://mini:50070
3、启动 HBase 集群
start-hbase.sh
管理界面:http://mini:16010
4、启动 kafka 集群
kafka-server-start.sh apps/kafka/config/server.properties
6、KafkaTopic 创建
kafka-topics.sh --zookeeper mini:2181 --topic employeeinformation --create --replication-
factor 1 --partitions 3
7、kafka 的 Topic 查看
kafka-topics.sh --list --zookeeper mini:2181
6、Kafka 控制台消费者测试指令:
kafka-console-consumer.sh --zookeeper mini:2181 --topic employeeinformation --
from-beginning
5、启动 Flume 组件
flume-ng agent --conf conf/ --name a1 --conf-file
/root/EmployeeInformationAnalyticSystem/flumeconf/flume_job_EmployeeInformation_kafk
a.conf
6、数据生产模块启动指令
java -Djava.ext.dirs=/root/EmployeeInformationAnalyticSystem/lib/ -cp
DataReduction-1.0-SNAPSHOT.jar pretreatment.PreOut
/root/EmployeeInformationAnalyticSystem/sourcedata/sourcedata.txt
7、数据消费模块代码启动指令
java -Djava.ext.dirs=/root/EmployeeInformationAnalyticSystem/kafka_hbase_lib/
-cp DataConsumption-1.0-SNAPSHOT.jar
kafka.HBaseConsumptionDataFromKafka
8、数据处理模块消费指令: