配置グループ (PG) 数が十分でないと、Ceph クラスターおよびデータ分散のパフォーマンスに影響します。
これは、nearfull osds エラーメッセージの主な原因の 1 つです。
ceph osd pool get TEST-pool pg_num 32
ceph osd set noscrub ceph osd set nodeep-scrub
ceph tell 'osd.*' injectargs --osd-max-backfills=1 --osd-recovery-max-active=3
ceph osd pool set TEST-pool pg_num 128 ceph osd pool set TEST-pool pgp_num 128
# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
3 hdd 0.81870 1.00000 838 GiB 54 GiB 53 GiB 10 KiB 986 MiB 784 GiB 6.43 0.92 89 up
0 hdd 0.81870 1.00000 838 GiB 54 GiB 53 GiB 11 KiB 555 MiB 785 GiB 6.38 0.91 89 up
1 hdd 0.81870 1.00000 838 GiB 63 GiB 62 GiB 4 KiB 712 MiB 775 GiB 7.50 1.07 102 up
2 hdd 0.81870 1.00000 838 GiB 65 GiB 64 GiB 9 KiB 435 MiB 774 GiB 7.71 1.10 107 up
TOTAL 3.3 TiB 235 GiB 232 GiB 37 KiB 2.6 GiB 3.0 TiB 7.01
# ceph -s
cluster:
id: 82c91e96-51db-4813-8e53-0c0044a958f1
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph001,ceph002,ceph003 (age 16h)
mgr: ceph001(active, since 16h), standbys: ceph003, ceph004, ceph002
osd: 4 osds: 4 up (since 16h), 4 in (since 17h); 22 remapped pgs
data:
pools: 2 pools, 129 pgs
objects: 20.27k objects, 78 GiB
usage: 236 GiB used, 3.0 TiB / 3.3 TiB avail
pgs: 0.775% pgs not active
3006/60795 objects misplaced (4.944%)
107 active+clean
17 active+remapped+backfill_wait
4 active+remapped+backfilling
1 peering
io:
client: 11 KiB/s wr, 0 op/s rd, 4 op/s wr
recovery: 44 MiB/s, 11 objects/s
ceph osd unset noscrub ceph osd unset nodeep-scrub
PG数変更後は、misplaceをremapし続ける、一度に実行数backfillは、[osd_max_backfills/osd_recovery_max_active]このへんで決まってそう。
misplacedが下記の値(defautl: 5%)を下回ると、次のPGをremapし始める。
※延々終わらないように見えるが、全部のPGをremapするとちゃんと終わる。
target_max_misplaced_ratio
# ceph config get mgr target_max_misplaced_ratio 0.050000