Linux 系统优化

### Linux系统优化：存储性能调优详解 #### 概述 在Linux环境下，为了满足不同应用场景的需求，系统管理员经常需要对服务器的存储性能进行优化。本文档将详细讲解如何针对Linux系统中的文件系统进行调优，以提升I/O性能。我们将以SAS磁盘上的EXT3文件系统为例，探讨具体的调优策略，并给出一般性的指导原则。 #### Disk相关参数调优 ##### 1.1 Cache Mode - **启用WCE=1(Write Cache Enable)**：允许写缓存能够显著提高磁盘写入速度。但在某些情况下（例如电源突然中断），可能导致数据丢失或损坏。此设置仅适用于具有可靠电源供应的环境。 - **RCD=0(Read Cache Disable)**：禁用读缓存，因为大多数现代磁盘已经内置了高效的读缓存机制。可以通过命令`sdparm -s WCE=1,RCD=0 -S /dev/sdb`进行设置。 ##### 1.2 Linux I/O Scheduler算法 - **Deadline**：在重负载情况下表现出色，特别是对于缓存服务如Squid来说。它优先处理等待时间最长的请求。 - **Noop(FIFO)**：简单且效率高，最适合简单的SAN/RAID系统。 - **AS(anticipatory)**：适用于大文件的顺序读写，预测未来可能的I/O操作。 - **CFQ**：面向桌面用户的公平队列算法，能确保所有进程都能公平地获取I/O资源。 通过命令`echo deadline > /sys/block/sdb/queue/scheduler`可以将I/O调度器设置为deadline。 ##### 1.3 Deadline 调度参数 - **Read Expire**：控制读操作超时时间，推荐设置为500。 - **Write Expire**：控制写操作超时时间，推荐设置为1000。这两个值需要根据实际工作负载进行调整。 可以通过以下命令设置这些值： ``` echo 500 > /sys/block/sdb/queue/iosched/read_expire echo 1000 > /sys/block/sdb/queue/iosched/write_expire ``` ##### 1.4 Read-Ahead预读扇区数 - **Pre-reading**：提高顺序读取性能的重要技术，可以通过预读更多扇区来减少磁盘寻道时间。默认值通常是128个扇区，可以通过实验找到最佳值。例如，命令`blockdev --setra 256 /dev/sdb`设置预读为256个扇区。 #### 文件系统本身参数调优 ##### 2.1 Block Size - **Block Size**：4096（4KB）是常见的选择。较大的块大小可以提高I/O性能，但可能会增加空间浪费。创建文件系统时使用`mkfs.ext3 -b 4096`命令。 ##### 2.2 Inode Size - **Inode Size**：inode的大小直接影响到文件系统的元数据操作效率。可以通过`mkfs.ext3 -i <number>`指定inode的大小，其中<number>应根据预期的文件大小分布来确定。 ##### 2.3 Reserved Blocks - **Reserved Blocks**：默认保留5%的空间用于系统使用，可以降低到2%以释放更多存储空间供应用程序使用。使用`mkfs.ext3 -m 2`命令设置。 ##### 2.4 Disable Journaling - **Journaling**：对于数据完整性要求不高的场景，可以禁用日志功能以提高性能。使用`tune2fs -O ^has_journal /dev/sdb1`命令禁用。 #### 文件系统挂载(mount)参数调优 ##### 3.1 Noatime, Nodirtime - **Noatime, Nodirtime**：禁止更新文件和目录的访问时间戳，适用于频繁读取小文件的场景。可以显著提高性能。挂载时使用选项`noatime, nodirtime`。 ##### 3.2 Async - **Async**：启用异步I/O，可以提高写性能。在挂载时使用选项`async`。 ##### 3.3 Data=writeback (if journal) - **Data=writeback**：启用写回模式，可以进一步提高写性能，但可能导致数据一致性问题。挂载时使用选项`data=writeback`。 ##### 3.4 Barrier=0 (if journal) - **Barrier=0**：在使用日志的情况下，禁用barrier可以提高写性能，但可能导致数据损坏的风险增加。挂载时使用选项`barrier=0`。 #### 小结 根据上述步骤，可以通过以下命令序列对/dev/sdb进行优化： ```sh # 设置磁盘缓存模式 sdparm -s WCE=1,RCD=0 -S /dev/sdb # 设置I/O调度器为deadline echo deadline > /sys/block/sdb/queue/scheduler # 设置deadline调度参数 echo 500 > /sys/block/sdb/queue/iosched/read_expire echo 1000 > /sys/block/sdb/queue/iosched/write_expire # 设置预读扇区数 blockdev --setra 256 /dev/sdb # 创建文件系统 mkfs.ext3 -b 4096 -i 16384 -m 2 /dev/sdb1 # 禁用日志 tune2fs -O ^has_journal /dev/sdb1 # 挂载文件系统 mount /dev/sdb1 /cache1 -o defaults,noatime,nodirtime,async,data=writeback,barrier=0 ``` 请注意，上述示例中的参数设置需要根据具体的应用场景和负载情况进行调整，以实现最佳性能。此外，进行任何更改之前，请确保对现有配置进行备份，并在非生产环境中进行测试。