performance vs cephfs

[opsding]

存储架构对比
CephFS架构
应用程序 → 内核CephFS驱动 → Ceph集群

• 挂载类型: 原生ceph文件系统
• 命名空间: bench (PVC: pvc-newfs-test)
  JuiceFS架构
  应用程序 → FUSE → JuiceFS客户端 → RADOS(数据) + TiKV(元数据)
• 挂载类型: fuse.juicefs用户态文件系统
• 数据后端: 相同Ceph集群(RADOS)
• 元数据: TiKV集群
• 命名空间: test-juicefs (PVC: pvc-juicefs-test)

为什么性能会差这么多？

[opsding]

[frostwind]

我的参数你可以参考一下
backup-meta=0,buffer-size=2000,readdir-cache,cache-partial-only
juicefs的随机写跟对象存储的机制有关，肯定要比cephfs慢。但是随机小IO的读取很大程度上可以用cache-partial-only提速。prefetch=128可能也增加了随机读的开销。另外那几个缓存时间太长了，除非你的应用确实能容忍那么长的缓存，否则没必要，用默认的1sec就行。如果真的需要那么长的缓存时间，感觉数据变动不会很频繁，不大可能是有很多随机小IO的应用（比如RDBMS)。
比较适合juicefs的应用，就是海量小文件只有顺序写(parquet之类），没有in-place update。

[opsding]

纯刚接触juicefs

[jiefenghuang]

问题需要具体分析，环境和硬件情况影响也非常大

1. 顺序读写跟你的对象存储性能关系较大，可以用objbench先看看基准性能
2. 随机读写开了writeback跟你的磁盘性能也有些关系，2的IOPS非常低，可以通过stats和profile看下性能

[opsding]

问题需要具体分析，环境和硬件情况影响也非常大

1. 顺序读写跟你的对象存储性能关系较大，可以用objbench先看看基准性能
2. 随机读写开了writeback跟你的磁盘性能也有些关系，2的IOPS非常低，可以通过stats和profile看下性能

1. 在压测过程中发现Meta的Lat很高，范围在几十到几百之间，无压测情况下的Lat是0.x
2. 磁盘性能的确是各问题，用于juicefs的ceph对应pool的osd全部都是hdd的盘。
3. 作为meta的tikv持久化使用的是ssd集群的ceph rdb（单独的集群）。
4. juicefs使用的是ceph rados作为存储
5. 在我压测时候所对比的ceph就是用作于juicefs的存储。

[jiefenghuang]

如果是在选型，可以看看官方文档了解下架构区别，这里也有一些功能对比, 讨论区也有一些历史问题可以参考下。
https://github.com/juicedata/juicefs/blob/e2458d283e7cdf2add780dabf19c363fc1989510/docs/zh_cn/comparison/juicefs_vs_cephfs.md

上面说的问题，可以看下哪个是明显瓶颈做下处理，比如hdd盘缓存，本身性能就跑不上去。