分布式I/O日志收集系统的设计与实现
4星 · 超过85%的资源 需积分: 50 177 浏览量
2013-07-30
16:14:57
上传
评论 3
收藏 253KB PDF 举报 
Ｃｏｍｐｕ￣ｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
分布式 Ｉ／Ｏ 日志收集系统 的设 计 与实现
詹 玲 ，马 骏 ，陈伯 江 ，陈维梁 ，吕 睿
ＺＨＡＮ Ｌｉｎｇ ，ＭＡ Ｊｕｎ ，ＣＨＥＮ Ｂｏ－ｊｉａｎｇ ，ＣＨＥＮ Ｗｅｉ—ｌｉａｎｇ ，ＬＶ Ｒｕｉ
１．湖北 第二师范学院 计算机学 院 ，武汉 ４３０２０５
２．中科海量存储技术 （北京 ）有限公 司，北 京 １ ０００８３
３．齐鲁证券有限公 司，山东 淄博 ２５５０３４
１．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｈｕｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｅｄｕｃａｔｉｏｎ，Ｗ ｕｈａｎ ４３００７４，Ｃｈｉｎａ
２．Ｓｉｎｏ—Ｔｅｃｈ Ｍａｓｓ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｌｔｄ．（Ｂｅｒｉｎｇ），Ｂｅｉｊｉｎｇ １０００８３，Ｃｈｉｎａ
３．０ｉｌｕ Ｓｅｃｕｒｉｔｉｅｓ Ｃｏ．，Ｌｔｄ．，Ｚｉｂｏ，Ｓｈａｎｄｏｎｇ ２５５０３４，Ｃｈｉｎａ
ＺＨＡＮ Ｌｉｎｇ，ＭＡ Ｊｕｎ，ＣＨＥＮ Ｂｏ－ｊｉａｎｇ，ｅｔ ａ１．Ｄｅｓｉｇｎ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｉ／Ｏ ｔｒａｃｅ ｃｏｌｌｅｃｔｉｏｎ ｓｙｓｔｅｍ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｅｎ。
ｖｉｒｏｎｍｅｎｔ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１０，４６（３６）：８８－９０．
Ａｂｓｔｒａｃｔ： Ｗ ｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｐｐｌｉｃａｔｉｏｎ，Ｉ／Ｏ ｓｙｓｔｅｍ ｉｓ ｂｅｃｏｍｉｎｇ ｍｏｒｅ ａｎｄ ｍｏｒｅ ｃｏｍｐｌｉ－
ｃａｔｅｄ，ｅｓｐｅｃｉａｌｌｙ ｉｎ ｔｈｅ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ．Ｉｎ ｏｒｄｅｒ ｔｏ ｅｘｐｌｏｒｅ ｔｈｅ Ｉ／Ｏ ｂｅｈａｖｉｏｒ ｉｎ ｔｈｅ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ
ｅｎｖｉｒｏｎｍｅｎｔ，ｔｈｉｓ ｐａｐｅｒ ｄｅｓｉｇｎｓ ａｎｄ ｉｍｐｌｅｍｅｎｔｓ ａ ｎｏｖｅｌ ｔｒａｃｉｎｇ ｔｏｏｌ ｃａｌｌｅｄ ｄｉｓｔｒｉｂｕｔｅｄ Ｉ／Ｏ ｔｒａｃｅ ｓｙｓｔｅｍ ，ｗｈｉｃｈ ｃａｎ ｓｉｍｕｌｔａｎｅ—
ｏｕｓｌｙ ｃｏｎｔｒｏｌ ｅａｃｈ ｎｏｄｅ’Ｓ Ｉ／Ｏ ｔｒａｃｅ ｃｏｌｌｅｃｔｉｎｇ ｂｅｈａｖｉｏｒ ｉｎ ａ ｐａｒａｌｌｅｌ ｄｉｓｔｒｉｂｕｔｅｄ ｓｙｓｔｅｍ．Ｄｉｓｔｒｉｂｕｔｅｄ Ｉ／Ｏ ｔｒａｃｅ ｓｙｓｔｅｍ ｃａｎ ａｌｓｏ
ｒｅｃｅｉｖｅ ｔｈｅ Ｉ／Ｏ ｔｒａｃｅｓ ｃｏｌｌｅｃｔｅｄ ｆｒｏｍ ｅａｃｈ ｎｏｄｅ，ｔｈｅｎ ｓａｖｅ ａｎｄ ｍａｎａｇｅ ｔｈｅ Ｉ／Ｏ ｔｒａｃｅｓ．Ｔｈｉｓ ｐａｐｅｒ ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｄｅｓｉｇｎ ｃｏｎｓｉｄ—
ｅｒａｔｉｏｎｓ ａｎｄ ｔｈｅ ｉｍｐｌｅｍ ｅｎｔａｔｉｏｎ ｄｅｔａｉｌｓ．
Ｋｅｙ ｗｏｒｄｓ： ｔｒａｃｅ ｃｏｌｌｅｃｔｉｏｎ；ｄｉｓｔｒｉｂｕｔｅｄ；ｓｔｏｒａｇｅ ｓｙｓｔｅｍ
摘 要 ：随着存储 系统 的快速发展 ，以及 实际应 用 中对存储 系统 的要 求 日益 苛刻 ，为 了研 究存储 系统 Ｉ／Ｏ子 系统的运行形 态，设计
并 实现 了一种分布式 Ｉ／Ｏ 日志收集 系统 ，该 系统能够通过总控 制 台同时控制分布式 系统的 多个节点并行收集分布式 系统 的Ｉ／Ｏ日
志 ，为分析和 回放分布式 系统的 Ｉ／Ｏ 日志提供有 效的数据 ，且详 细描 述 了系统的设 计与实现 。
关键 词 ：日志收 集；分布式 ；存储 系统
ＤＯＩ：１０．３７７８￣．ｉｓｓｎ．１００２．８３３１．２０１０．３６．０２４ 文章编 号：１００２．８３３１（２０１０）３６—００８８—０３ 文献标识码 ：Ａ 中图分类号：ＴＰ３０３
１ 前言
随着 计算机 的发 展 ，存储系统 目前 已处于计算 机系统 的
核心地位 ，在实 际的应 用环境下对存储系统 的数 据处理速 度 、
可靠性卡¨安全 性都提 出了严格 的要求 。 由于任何一种存储 系
统部有 自己优秀特性 ，基 于实际应用环境对 存储 系统 的测试 ，
能够更加客观 、公平地评 测和对比 ，找到存储系统最能胜任 的
领域 。
在实际应用 中，为了测试实际环境下存储 系统 的性能 ，获
取 日志就 是非常关键的环节 。常 用的 日志收集工具都是 以单
机环境为基础 ，要进行 多机日志收集时操作复杂 ，得到 的 日志
集不能得到有效的管理和进 一步的处 理。对存储系统 的日志
收集有两类 ，一 类是 文件级 的日志 ，在相 同的硬 件平台上 ，不
同的文件系统 的读写性能 会有所 差异 ，利用文 件级 的 日志来
测试 各种文件 系统的性能 。另 外一类就是 块级 的 ，通过 直接
对磁盘发 Ｉ／Ｏ请求 （其首地址 ，数据块大小 ，读写操作类型 ），来
测试块 设备的性能 。本文介 绍了分 布式 环境 下 Ｉ／Ｏ 日志收集
系统 的设计与实现 ，它 实现分布式环境 的多节点的 日志收集 ，
通过 总控程 序有效 地控制 多个 存储 节点的 日志收集 ，并进行
集 中式 的管理 。
２ 系统结 构设 计
分布式 Ｉ／Ｏ日志收集系统 以分布式 环境 为基础 ，通过将测
试工 具分 为控 制端和 客户端 的 Ｃ／Ｓ模 式 ，有效 解决 了多 台测
试机在 测试时集 中控制 的问题 ，能够高效 、方便地实现块级和
文件 级的 日志收集 。该 系统 由两 部分组成 ，如 图 １，分别是 总
控制 台和 日志收集代理 。总控制 台主要实现分布式 环境多个
节点 的管理 ，对 多个节点进行并行 的日志收集 ，接收从 收集节
点发送来的 日志 ，并对所有采集到的日志进行管理和分析。
日志 收集代理 主要实现 获取主 机信息 向总控 台进 行注册 ，接
收总控 台的控制 命令 ，执 行相应的 日志收集与回放工 作，在收
集时向总控台发送收集到的 日志 。
另外 ，总控制 台负责对 于分布式系统的 时钟同步 功能 ，它
基金项 日：国家高技术研究发展计划 （８６３）（ｔｈｅ Ｎａｔｉｏｎａｌ Ｈｉｇｈ—Ｔｅｃｈ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｎ ｏｆ Ｃｈｉｎａ ｕｎｄｅｒ Ｇｒａｎｔ Ｎｏ．２００９ＡＡ０１Ａ４０５）。
作者简介 ：詹玲（１９７３．），女 ，博士 ，讲师 ，主要研究领域为 网络存储 系统 。
收稿 日期 ：２０１０－１０．１５ 修嘲 日期 ：２０１０．１１－１６
资源评论
suan82014-05-17精品啊，是好东西！谢谢
hubi2014-06-03精品啊，是好东西！谢谢
