Proxmox CSI Plugin 性能调优指南官方 fio 基准测试数据全解读【免费下载链接】proxmox-csi-pluginProxmox CSI Plugin项目地址: https://gitcode.com/gh_mirrors/pr/proxmox-csi-pluginProxmox CSI Plugin 是一个让 Kubernetes 直接使用 Proxmox VE 本地存储LVM、ZFS、目录等作为持久化卷的 CSI 驱动省去了网络存储的额外开销。本文带你逐行解读官方 fio 基准测试数据并给出Proxmox CSI Plugin 性能调优的完整清单帮助你为有状态应用数据库、消息队列等榨干底层 NVMe 的性能。所有原始数据均来自官方文档 docs/benchmark.md测试脚本与完整日志都在其中可自行复现。测试环境与测试方法 官方基准测试跑在一台真实服务器上环境非常典型项目配置CPUIntel Xeon E-2386G磁盘2× NVMe三星 MZQL2960HCJR软 RAID 1测试工具fio 3.33/3.34io_uring 引擎负载模型randrw随机读写混合读写比 75:25direct1时长每轮 360 秒文件 10G测试覆盖三种场景宿主机裸盘性能天花板、Pod 挂载 PVC实际使用路径并通过不同块大小4K/8K/16K和队列深度iodepth对比结论非常有参考价值。官方 fio 基准测试数据全解读 这是官方测试的核心结果汇总数据来源docs/benchmark.md场景块大小读取带宽写入带宽读 IOPS写 IOPS宿主机裸盘4K1591 MiB/s531 MiB/s407k136k宿主机裸盘16K2196 MiB/s732 MiB/s141k46.8kPodPVC4K547 MiB/s182 MiB/s140k46.6kPodPVC8K963 MiB/s321 MiB/s123k41.1kPodPVC16K1690 MiB/s563 MiB/s108k36.0k三个关键结论块越大虚拟化损耗越小4K 随机读时 PVC 只能达到裸盘 34% 的带宽而 16K 时能恢复到 77%。数据库类应用如果以 4K 随机 IO 为主请务必预留足够的性能余量。IOPS 损耗远小于带宽损耗4K 场景下 PVC 读 IOPS 为 140k几乎追平裸盘的 407k 中单个 fio job 的收益水平说明 CSI 挂载本身的开销并不大瓶颈主要来自虚拟化层。写入路径的损耗略高于读取4K 写入时 PVC 仅有裸盘 34% 的带宽这与 QEMU 的 cache 模式默认 writethrough有直接关系下面会给出调优方向。队列深度 iodepth 的影响官方还专门对比了 16K 随机读写下不同队列深度的表现同样来自 docs/benchmark.mdiodepth读取带宽写入带宽41142 MiB/s381 MiB/s32默认1690 MiB/s563 MiB/s2561612 MiB/s537 MiB/s有趣的是队列深度从 32 提升到 256 反而略有下降说明默认的 iodepth32 已经是当前虚拟化路径下的甜蜜点无需盲目调高。性能调优核心4 个关键参数 ⚙️Proxmox CSI Plugin 的存储参数全部通过 StorageClass 下发完整说明见 docs/options.md。以下按性价比排序1. cache 缓存模式影响最大的一个参数模式说明适用场景directsync直写且绕过缓存数据最安全数据库、对一致性要求高的应用writethrough写透模式默认均衡之选官方默认writeback回写缓存写入性能最高可容忍断电丢数据的场景none不使用缓存直写磁盘依赖磁盘自身缓存对写入密集型工作负载writeback的写入带宽提升最明显但存在断电丢数据风险务必根据业务重要性权衡。2. ssd 与 discardNVMe 用户必开ssd: true告诉 QEMU 这是 SSD 磁盘会自动启用 SSD 模拟与 discard让 TRIM/UNMAP 指令透传到宿主机存储配合mountOptions: - discard效果最佳。也可以在 VolumeAttributesClass 中动态调整discard: on。3. VirtIO SCSI single 控制器官方安装文档docs/install.md明确要求集群内所有 VM 的 SCSI Controller 必须设置为VirtIO SCSI single或VirtIO SCSI否则无法挂载磁盘这也是性能最优的虚拟磁盘通道。创建 PVC 后你会看到 VM 配置中多出一块由 CSI 插件创建的磁盘注意图中scsi2磁盘即vm-9999-pvc-*就是 Kubernetes PV其cachedirectsync、discardon、iothread1、ssd1都是性能调优后的典型配置。4. storageFormatraw 还是 qcow2raw无格式开销读写性能最好推荐追求性能的场景。qcow2支持快照、压缩等特性但会引入少量开销适合容量优先的场景。一键落地高性能 StorageClass 示例 综合上面的调优项一个面向数据库的 StorageClass 配置如下参考 docs/options.md 参数表apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: proxmox-data-xfs parameters: csi.storage.k8s.io/fstype: xfs storage: data # Proxmox 存储 ID storageFormat: raw # 追求性能选 raw cache: directsync # 数据安全优先可改 writeback 提升写入 ssd: true # NVMe/SSD 必开自动启用 discard mountOptions: - noatime # 减少元数据写放大SSD 常用 provisioner: csi.proxmox.sinextra.dev allowVolumeExpansion: true reclaimPolicy: Delete volumeBindingMode: WaitForFirstConsumer如果你希望运行期动态调整 IO 上限还可以在 docs/options.md 中看到diskIOPS、diskMBps参数结合VolumeAttributesClass无需重建 PVC 即可生效。Helm 安装时的完整可调项见 charts/proxmox-csi-plugin/values.yaml集群与区域配置见 docs/config.md。其他实用调优技巧 关闭容量收集如果整个集群只有一个共享存储类可在 Helm values 中设置options.enableCapacity: false减少对 Proxmox API 的轮询调用详见 docs/faq.md。关注 API 耗时指标开启 metrics 后可用proxmox_api_request_duration_seconds直方图观察控制面与 Proxmox API 的交互延迟识别慢查询见 docs/metrics.md。跨节点迁移性能本地存储的 PV 无法自动跨 Proxmox 节点迁移需使用 pvecsictl 工具离线迁移规划拓扑时记得利用 region/zone 标签把流量留在本节点。总结从官方 fio 基准测试数据看Proxmox CSI Plugin 在 16K 及以上的大块读写场景表现非常出色可达裸盘 77% 以上而 4K 小随机 IO 场景下虚拟化损耗更明显。调优优先级建议① 选对 cache 模式 → ② 开启 ssd/discard → ③ 使用 VirtIO SCSI single 控制器 → ④ 追求性能时选 raw 格式。把这四步做完你的 Kubernetes 有状态应用就能在 Proxmox 上跑出接近裸机的性能 。想要动手实测直接克隆仓库git clone https://gitcode.com/gh_mirrors/pr/proxmox-csi-plugin参照 docs/benchmark.md 中的onedisk.sh脚本在你的环境里复现一轮用数据说话最靠谱。【免费下载链接】proxmox-csi-pluginProxmox CSI Plugin项目地址: https://gitcode.com/gh_mirrors/pr/proxmox-csi-plugin创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Proxmox CSI Plugin 性能调优指南：官方 fio 基准测试数据全解读
Proxmox CSI Plugin 性能调优指南官方 fio 基准测试数据全解读【免费下载链接】proxmox-csi-pluginProxmox CSI Plugin项目地址: https://gitcode.com/gh_mirrors/pr/proxmox-csi-pluginProxmox CSI Plugin 是一个让 Kubernetes 直接使用 Proxmox VE 本地存储LVM、ZFS、目录等作为持久化卷的 CSI 驱动省去了网络存储的额外开销。本文带你逐行解读官方 fio 基准测试数据并给出Proxmox CSI Plugin 性能调优的完整清单帮助你为有状态应用数据库、消息队列等榨干底层 NVMe 的性能。所有原始数据均来自官方文档 docs/benchmark.md测试脚本与完整日志都在其中可自行复现。测试环境与测试方法 官方基准测试跑在一台真实服务器上环境非常典型项目配置CPUIntel Xeon E-2386G磁盘2× NVMe三星 MZQL2960HCJR软 RAID 1测试工具fio 3.33/3.34io_uring 引擎负载模型randrw随机读写混合读写比 75:25direct1时长每轮 360 秒文件 10G测试覆盖三种场景宿主机裸盘性能天花板、Pod 挂载 PVC实际使用路径并通过不同块大小4K/8K/16K和队列深度iodepth对比结论非常有参考价值。官方 fio 基准测试数据全解读 这是官方测试的核心结果汇总数据来源docs/benchmark.md场景块大小读取带宽写入带宽读 IOPS写 IOPS宿主机裸盘4K1591 MiB/s531 MiB/s407k136k宿主机裸盘16K2196 MiB/s732 MiB/s141k46.8kPodPVC4K547 MiB/s182 MiB/s140k46.6kPodPVC8K963 MiB/s321 MiB/s123k41.1kPodPVC16K1690 MiB/s563 MiB/s108k36.0k三个关键结论块越大虚拟化损耗越小4K 随机读时 PVC 只能达到裸盘 34% 的带宽而 16K 时能恢复到 77%。数据库类应用如果以 4K 随机 IO 为主请务必预留足够的性能余量。IOPS 损耗远小于带宽损耗4K 场景下 PVC 读 IOPS 为 140k几乎追平裸盘的 407k 中单个 fio job 的收益水平说明 CSI 挂载本身的开销并不大瓶颈主要来自虚拟化层。写入路径的损耗略高于读取4K 写入时 PVC 仅有裸盘 34% 的带宽这与 QEMU 的 cache 模式默认 writethrough有直接关系下面会给出调优方向。队列深度 iodepth 的影响官方还专门对比了 16K 随机读写下不同队列深度的表现同样来自 docs/benchmark.mdiodepth读取带宽写入带宽41142 MiB/s381 MiB/s32默认1690 MiB/s563 MiB/s2561612 MiB/s537 MiB/s有趣的是队列深度从 32 提升到 256 反而略有下降说明默认的 iodepth32 已经是当前虚拟化路径下的甜蜜点无需盲目调高。性能调优核心4 个关键参数 ⚙️Proxmox CSI Plugin 的存储参数全部通过 StorageClass 下发完整说明见 docs/options.md。以下按性价比排序1. cache 缓存模式影响最大的一个参数模式说明适用场景directsync直写且绕过缓存数据最安全数据库、对一致性要求高的应用writethrough写透模式默认均衡之选官方默认writeback回写缓存写入性能最高可容忍断电丢数据的场景none不使用缓存直写磁盘依赖磁盘自身缓存对写入密集型工作负载writeback的写入带宽提升最明显但存在断电丢数据风险务必根据业务重要性权衡。2. ssd 与 discardNVMe 用户必开ssd: true告诉 QEMU 这是 SSD 磁盘会自动启用 SSD 模拟与 discard让 TRIM/UNMAP 指令透传到宿主机存储配合mountOptions: - discard效果最佳。也可以在 VolumeAttributesClass 中动态调整discard: on。3. VirtIO SCSI single 控制器官方安装文档docs/install.md明确要求集群内所有 VM 的 SCSI Controller 必须设置为VirtIO SCSI single或VirtIO SCSI否则无法挂载磁盘这也是性能最优的虚拟磁盘通道。创建 PVC 后你会看到 VM 配置中多出一块由 CSI 插件创建的磁盘注意图中scsi2磁盘即vm-9999-pvc-*就是 Kubernetes PV其cachedirectsync、discardon、iothread1、ssd1都是性能调优后的典型配置。4. storageFormatraw 还是 qcow2raw无格式开销读写性能最好推荐追求性能的场景。qcow2支持快照、压缩等特性但会引入少量开销适合容量优先的场景。一键落地高性能 StorageClass 示例 综合上面的调优项一个面向数据库的 StorageClass 配置如下参考 docs/options.md 参数表apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: proxmox-data-xfs parameters: csi.storage.k8s.io/fstype: xfs storage: data # Proxmox 存储 ID storageFormat: raw # 追求性能选 raw cache: directsync # 数据安全优先可改 writeback 提升写入 ssd: true # NVMe/SSD 必开自动启用 discard mountOptions: - noatime # 减少元数据写放大SSD 常用 provisioner: csi.proxmox.sinextra.dev allowVolumeExpansion: true reclaimPolicy: Delete volumeBindingMode: WaitForFirstConsumer如果你希望运行期动态调整 IO 上限还可以在 docs/options.md 中看到diskIOPS、diskMBps参数结合VolumeAttributesClass无需重建 PVC 即可生效。Helm 安装时的完整可调项见 charts/proxmox-csi-plugin/values.yaml集群与区域配置见 docs/config.md。其他实用调优技巧 关闭容量收集如果整个集群只有一个共享存储类可在 Helm values 中设置options.enableCapacity: false减少对 Proxmox API 的轮询调用详见 docs/faq.md。关注 API 耗时指标开启 metrics 后可用proxmox_api_request_duration_seconds直方图观察控制面与 Proxmox API 的交互延迟识别慢查询见 docs/metrics.md。跨节点迁移性能本地存储的 PV 无法自动跨 Proxmox 节点迁移需使用 pvecsictl 工具离线迁移规划拓扑时记得利用 region/zone 标签把流量留在本节点。总结从官方 fio 基准测试数据看Proxmox CSI Plugin 在 16K 及以上的大块读写场景表现非常出色可达裸盘 77% 以上而 4K 小随机 IO 场景下虚拟化损耗更明显。调优优先级建议① 选对 cache 模式 → ② 开启 ssd/discard → ③ 使用 VirtIO SCSI single 控制器 → ④ 追求性能时选 raw 格式。把这四步做完你的 Kubernetes 有状态应用就能在 Proxmox 上跑出接近裸机的性能 。想要动手实测直接克隆仓库git clone https://gitcode.com/gh_mirrors/pr/proxmox-csi-plugin参照 docs/benchmark.md 中的onedisk.sh脚本在你的环境里复现一轮用数据说话最靠谱。【免费下载链接】proxmox-csi-pluginProxmox CSI Plugin项目地址: https://gitcode.com/gh_mirrors/pr/proxmox-csi-plugin创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考