17 mon HEALTH_WARN mon xxx is using a lot of disk space

monのディスクサイズが大きくなりすぎている状態。

osdがダウンしているままで、更新がかかっていくとリカバリの為にmonがデータを保存していくようで、

そのリカバリの為のデータが大きくなりすぎる。

• ※このような自体のため、monはある程度大きなディスクを用意しておく。
• ※大きくなったmonデータはosdが復旧後、自動で処理されていき小さくなります。
• ※復旧する予定の無い壊れたOSDがある場合は、先に削除しておくとこのmonデータは増えない。

このsstファイルが大量にできてしまってディスクを圧迫

/var/lib/ceph/mon/ceph-mon01/store.db/*.sst

# ceph health detail
HEALTH_WARN mon mon01 is using a lot of disk space
MON_DISK_BIG mon mon01 is using a lot of disk space
    mon.mon01 is 15 GiB >= mon_data_size_warn (15 GiB)

# du -sh /var/lib/ceph/mon/ceph-mon01/
16G     /var/lib/ceph/mon/ceph-mon01/

compactかけてなくて大きくなっている場合は、下記で小さくできます。

ceph tell mon.`hostname -s` compact

or

## modify conf
/etc/ceph/ceph.conf
[mon]
mon_compact_on_start = true


# restart ceph-mon
systemctl restart ceph-mon@mon01.service

もう起動しないOSDを削除し、同期完了するとちゃんと小さくなります。

# du -hs /var/lib/ceph/mon/ceph-mon01/store.db/
2.1G	/var/lib/ceph/mon/ceph-mon01/store.db/

これはデフォルト15G → 30Gへ変更する場合

## Warningのしきい値変更
ceph tell mon.* injectargs --mon_data_size_warn=32212254720