系统日志分析在现代大型分布式系统管理中扮演着重要的角色。在信息技术（IT）行业中，随着系统规模的扩大和复杂性的增加，传统上依赖于开发者或运维人员手动通过关键词搜索和规则匹配来检查系统日志的做法变得越来越不切实际。因为系统产生的日志量急剧增加，使得手动检查工作无法进行。
为了解决这个问题，越来越多基于自动化的日志分析异常检测方法被提了出来。异常检测指的是在大量数据中识别出不符合预期模式的行为，这些行为通常指示着系统可能存在问题。使用异常检测，可以在问题发生前识别出潜在的错误，从而进行预防和修正，避免潜在的服务中断和数据损失。
目前存在多种异常检测方法，包括有监督方法（supervised methods）和无监督方法（unsupervised methods）。有监督方法通常需要一定数量的已标记数据（如正常和异常日志）来训练模型，以便在后续的数据中识别出异常模式。而无监督方法则不需要标记的数据，而是依赖于算法自身的统计学习能力去发现数据中的异常模式。
本篇报告详细回顾和评估了六种当前最先进的基于日志的异常检测方法。这些方法包括三种有监督方法和三种无监督方法。研究团队对这些方法进行了全面的评估，并在两个公开可用的生产日志数据集上进行了测试。这些数据集一共包含了15,923,592条日志信息和365,298个异常实例。这些方法的评估结果和相关发现可以帮助开发者更好地选择适当的异常检测方法，并为未来的研究提供参考。
当前现代系统的发展趋势是大规模化，无论是通过扩大规模形成基于成千上万台通用机器的分布式系统（例如Hadoop、Spark），还是通过提升性能来构建拥有成千上万个处理器的超级计算机（例如BlueGene/L）进行高性能计算。这些系统正成为IT产业的核心部分，支持着各种各样的在线服务。
报告中提到的开发团队来自香港中文大学计算机科学与工程系，并在深圳设有研究机构。他们在研究中发现，尽管有众多异常检测方法可供选择，但开发者们通常难以判断哪种方法更适合自己的需求，因为目前缺乏对于这些方法的综合回顾和比较。此外，即便决定采用某种异常检测方法，重新实现这些方法也需要相当大的努力。
因此，本报告提供的详细回顾和评估旨在填补这一空白，不仅包括了对六种异常检测方法的深入分析，而且还发布了一个开源工具包，以方便研究者和开发者轻松地重用这些方法。通过本研究提供的评估结果和相应的发现，开发者可以获得这些方法的采纳指导，并为未来的发展提供参考。这不仅有助于提高异常检测的效率和准确性，还能够减轻开发人员的工作负担，并最终提升整个系统的可靠性和稳定性。
