详解如何使用Spark和Scala分析Apache访问日志
154 浏览量
2021-01-10
02:47:26
上传
评论
收藏 52KB PDF 举报
详解如何使用详解如何使用Spark和和Scala分析分析Apache访问日志访问日志
安装安装
首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建
Spark如下：
$ sbt/sbt assembly
构建时间比较长。构建完成后，通过运行下面命令确证安装成功：
$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用
scala> textFile.count // 对这个文件内容行数进行计数
scala> textFile.first // 打印出第一行
Apache访问日志分析器访问日志分析器
首先我们需要使用Scala编写一个对Apache访问日志的分析器，所幸已经有人编写完成，下载Apache logfile parser code。使
用SBT进行编译打包：
sbt compile
sbt test
sbt package
打包名称假设为AlsApacheLogParser.jar。
然后在Linux命令行启动Spark：
// this works
$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell
对于Spark 0.9，有些方式并不起效：
// does not work
$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell
// does not work
spark> :cp AlsApacheLogParser.jar
上传成功后，在Spark REPL创建AccessLogParser 实例：
import com.alvinalexander.accesslogparser._
val p = new AccessLogParser
现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small：
scala> val log = sc.textFile("accesslog.small")
14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=309225062
14/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)
log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15
scala> log.count
(a lot of output here)
res0: Long = 100000
分析分析Apache日志日志
我们可以分析Apache日志中404有多少个，创建方法如下：
def getStatusCode(line: Option[AccessLogRecord]) = {
line match {
case Some(l) => l.httpStatusCode
case None => "0"
}
}
其中Option[AccessLogRecord]是分析器的返回值。
然后在Spark命令行使用如下：
资源评论
weixin_38638596
- 粉丝: 3
- 资源: 984
