spark-streaming-bench
添加 Spark 的指标
您可以在找到指标配置模板。 请注意,您必须至少添加 driver.sink,因为驱动程序指标包含每个批次的信息。
微型工作台
字数
演员字数
HDFS字数
卡夫卡字数
TopK(待办事项)
HDFSTopK
卡夫卡托普
依赖库
kafka-clients-0.8.2.1.jar
kafka_2.10-0.8.2.1.jar
指标核心2.2.0.jar
spark-assembly-1.3.0-hadoop2.4.0.jar
spark-streaming-kafka_2.10-1.3.0.jar
zkclient-0.3.jar
笔记
该脚本是硬编码的,然后我将进行代码优化并添加帮助信息。
联系人:Andrew Lee ( )