使用 Fio 工具进行性能测试

1. 概述

详细介绍如何使用Fio（Flexible I/O Tester）工具进行存储性能测试。Fio是一款广泛应用的工具，能够测试块设备和文件系统的读写性能。本文将结合多个实际示例，逐步说明如何配置和运行Fio测试，并解析每个测试结果。

2. 适用范围

适用于系统管理员、存储工程师和开发人员，他们需要对各种存储设备（如HDD、SSD、RAID阵列、SAN和NAS设备）进行性能评估。

3. 职责

系统管理员: 负责安装和配置Fio工具，确保测试环境的稳定性和一致性。
存储工程师: 设计测试参数和负载模型，以模拟实际使用场景。
开发人员: 使用Fio生成性能数据，帮助优化应用程序的I/O操作。

4. 要求

安装了Fio工具的系统。
对目标存储设备的完全访问权限。
理解存储设备和文件系统的基本原理。
适当的权限执行性能测试，以避免影响生产环境。

5. 流程和示例

5.1 安装 Fio

在Linux上安装Fio:
- 大多数Linux发行版可以通过包管理器安装Fio。
- 使用以下命令安装Fio:
  - Debian/Ubuntu: sudo apt-get install fio
  - CentOS/RHEL: sudo yum install fio
  - Fedora: sudo dnf install fio
验证安装:
- 使用命令 fio --version 验证Fio是否成功安装。

5.2 基本测试命令

运行简单的读写测试:
- 以下命令将在指定的文件或设备上运行基本的顺序写入和读取测试。
- 示例命令:
  1
  fio --name=basic_test --filename=/path/to/testfile --size=1G --rw=readwrite --bs=4k --ioengine=libaio --numjobs=1 --runtime=60 --group_reporting
- 参数说明:
  - --name=basic_test: 测试任务的名称。
  - --filename=/path/to/testfile: 测试的目标文件或设备。
  - --size=1G: 文件大小为1GB。
  - --rw=readwrite: 读写混合测试。
  - --bs=4k: 块大小为4KB。
  - --ioengine=libaio: 使用Linux异步I/O引擎。
  - --numjobs=1: 使用单个工作线程。
  - --runtime=60: 运行时间为60秒。
  - --group_reporting: 汇总报告输出。

5.3 复杂测试

运行随机读写测试:
- 对存储设备进行随机读写测试，以模拟实际工作负载。
- 示例命令:
  1
  fio --name=random_test --filename=/path/to/testfile --size=2G --rw=randrw --bs=4k --ioengine=libaio --numjobs=4 --runtime=120 --rwmixread=70 --group_reporting
- 额外参数:
  - --rw=randrw: 随机读写测试。
  - --rwmixread=70: 设置读操作占比为70%。
测试多线程性能:
- 使用多个工作线程同时对设备进行读写，以测试多线程性能。
- 示例命令:
  1
  fio --name=multithread_test --filename=/path/to/testfile --size=4G --rw=randwrite --bs=8k --ioengine=libaio --numjobs=8 --runtime=180 --group_reporting
- 该命令使用8个线程，每个线程执行随机写操作。

5.4 分析结果

查看测试报告:
- Fio的输出会包含每个测试的详细报告，包括吞吐量、IOPS、延迟等指标。
- 示例输出分析:
  1
  2
  3
  Run status group 0 (all jobs):
  READ: io=1048576KB, bw=17496KB/s, iops=4374, runt= 60001msec
  WRITE: io=1048576KB, bw=17496KB/s, iops=4374, runt= 60001msec
- bw表示带宽（吞吐量），iops表示每秒I/O操作次数，runt表示测试运行时间。

保存结果:

可以将结果输出保存到文件中进行进一步分析。

使用 --output=<filename> 参数保存报告，例如:

1	fio --name=basic_test --filename=/path/to/testfile --size=1G --rw=readwrite --bs=4k --ioengine=libaio --numjobs=1 --runtime=60 --group_reporting --output=fio_report.txt

6. 更多示例

6.1 基本顺序读写测试

顺序写入测试
- 目的: 测试存储设备在顺序写入数据时的性能，这对数据仓库或视频存储系统等大文件顺序写入场景非常重要。
- 命令:
  1
  fio --name=seq_write --filename=/path/to/testfile --size=10G --rw=write --bs=1M --direct=1 --ioengine=libaio --numjobs=1 --runtime=60 --group_reporting
- 结果分析:
  - bw: 测试期间的平均带宽，反映了设备的顺序写入速度。
  - iops: 每秒I/O操作次数，通常用于衡量设备的响应能力。
  - 例如，如果 bw=500MB/s 和 iops=500，这表明设备在此测试中能够维持500MB/s的顺序写入速度。
顺序读取测试
- 目的: 测试存储设备在顺序读取数据时的性能，适用于需要大量顺序读取操作的场景，如视频播放或数据分析。
- 命令:
  1
  fio --name=seq_read --filename=/path/to/testfile --size=10G --rw=read --bs=1M --direct=1 --ioengine=libaio --numjobs=1 --runtime=60 --group_reporting
- 结果分析:
  - bw: 测试期间的平均读取带宽。
  - 例如，bw=600MB/s 表示设备能够以600MB/s的速度顺序读取数据，这对于顺序数据访问模式的应用非常理想。

6.2 随机读写测试

随机写入测试
- 目的: 测试设备在随机写入数据时的性能，模拟数据库写入、日志记录等需要频繁写入小块数据的场景。
- 命令:
  1
  fio --name=rand_write --filename=/path/to/testfile --size=5G --rw=randwrite --bs=4k --direct=1 --ioengine=libaio --numjobs=4 --runtime=120 --group_reporting
- 结果分析:
  - iops: 随机写入操作的IOPS通常是关注的重点，反映了设备在处理小块随机写入时的能力。
  - lat: 延迟时间，表示每次I/O操作的平均时间，延迟越低越好。
  - 例如，iops=20000 和 lat=0.1ms 表示设备在随机写入小块数据时表现良好。
随机读取测试
- 目的: 测试存储设备在随机读取数据时的性能，适用于OLTP数据库或高并发读取的应用场景。
- 命令:
  1
  fio --name=rand_read --filename=/path/to/testfile --size=5G --rw=randread --bs=4k --direct=1 --ioengine=libaio --numjobs=4 --runtime=120 --group_reporting
- 结果分析:
  - iops 和 lat 是评估设备随机读取性能的重要指标。
  - 例如，如果 iops=50000 和 lat=0.08ms，这表明设备在高负载下也能快速响应随机读取请求。
随机读写混合测试
- 目的: 测试读写混合场景下的存储性能，常见于需要同时处理读取和写入请求的系统，如文件服务器或虚拟化环境。
- 命令:
  1
  fio --name=rand_rw_mix --filename=/path/to/testfile --size=5G --rw=randrw --bs=4k --direct=1 --ioengine=libaio --numjobs=4 --runtime=120 --rwmixread=70 --group_reporting
- 结果分析:
  - rwmixread=70 设置读写比例为70%读和30%写，这能测试出设备在读写混合负载下的表现。
  - 观察 iops 和 lat 来评估在这种混合场景下的性能。

6.3 多线程和多进程测试

多线程顺序读写测试
- 目的: 评估存储设备在多线程情况下的顺序读写性能，模拟多用户并发访问的场景。
- 命令:
  1
  fio --name=multithread_seq --filename=/path/to/testfile --size=10G --rw=write --bs=1M --direct=1 --ioengine=libaio --numjobs=8 --runtime=180 --group_reporting
- 结果分析:
  - bw 和 iops 在多线程情况下可能会有所增加，但也可能因锁争用或I/O调度影响而下降。
  - 对比单线程和多线程结果，可以评估设备在并发负载下的扩展性。
多进程随机写入测试
- 目的: 测试在多个进程同时进行随机写入时的性能，适用于模拟数据库集群或并行计算环境。
- 命令:
  1
  fio --name=multiprocess_rand_write --filename=/path/to/testfile --size=10G --rw=randwrite --bs=4k --direct=1 --ioengine=libaio --numjobs=8 --runtime=180 --group_reporting --gtod_reduce=1
- 结果分析:
  - 多进程下的 iops 和 lat 是关键指标，注意观察是否有瓶颈产生。
  - 例如，如果 iops=45000 和 lat=0.15ms，则表示设备在高并发写入场景下表现较为稳定。

6.4 文件系统缓存的影响

开启缓存的随机写入测试
- 目的: 测试文件系统缓存对写操作的影响，模拟常规写入操作。
- 命令:
  1
  fio --name=cached_rand_write --filename=/path/to/testfile --size=2G --rw=randwrite --bs=4k --ioengine=sync --numjobs=1 --runtime=60 --group_reporting
- 结果分析:
  - iops 可能会因为缓存的作用而显著提高，lat 也可能减少。
  - 例如，如果 iops=35000 和 lat=0.05ms，这表明文件系统缓存对性能有积极影响。
禁用缓存的随机写入测试
- 目的: 禁用缓存直接写入到磁盘，评估纯粹的硬件性能。
- 命令:
  1
  fio --name=direct_rand_write --filename=/path/to/testfile --size=2G --rw=randwrite --bs=4k --direct=1 --ioengine=libaio --numjobs=1 --runtime=60 --group_reporting
- 结果分析:
  - 禁用缓存后，iops 和 lat 反映了设备的实际性能。
  - 例如，iops=15000 和 lat=0.3ms 表示在无缓存情况下，设备的硬件性能。

6.5 RAID阵列性能测试

顺序读取RAID性能
- 目的: 评估RAID阵列的顺序读取性能，适用于高吞吐量需求的应用，如视频编辑或数据备份。
- 命令:
  1
  fio --name=raid_seq_read --filename=/dev/md0 --size=10G --rw=read --bs=1M --direct=1 --ioengine=libaio --numjobs=1 --runtime=300 --group_reporting
- 结果分析:
  - bw 是主要关注点，反映了RAID阵列在顺序读取任务中的吞吐能力。
  - 例如，bw=800MB/s 表示RAID阵列在该测试中表现良好。
随机写入RAID性能
- 目的: 测试RAID阵列的随机写入性能，适用于需要高I/O吞吐的环境，如虚拟化平台。
- 命令:
  1
  fio --name=raid_rand_write --filename=/dev/md0 --size=5G --rw=randwrite --bs=4k --direct=1 --ioengine=libaio --numjobs=4 --runtime=300 --group_reporting
- 结果分析:
  - 关注 iops 和 lat 指标，评估RAID在并发随机写入下的性能。
  - 例如，如果 iops=30000 和 lat=0.2ms，则表示RAID阵列能够在随机写入场景下保持较高的性能。

7. 一些Tips

Q: 指定运行FIO的时间，但是提前就结束了。
A: 加上参数 -time_base即可