fl8 Wiki

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
====== 32 Ceph 再同期 ======
===== １．LVM設定 =====

<color #ff7f27>※RAMディスクを利用しているため、サーバ強制停止後は基本的にLVMが壊れています。</color>

下記でramdisk作成、opencasで/dev/ceph/lvをキャッシュするように設定している。
<code>
modprobe brd rd_size=8192000
casadm -S -i 1 -d /dev/ram1 -c wb
casadm -A -i 1 -d /dev/ceph/lv
</code>

上記の設定で下記のLVMが見えているはず
<code>
[root@ceph001 ~]# lvs
  LV      VG     Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  rocksdb cas    -wi-ao---- <200.00g                                                    
  waldb   cas    -wi-ao----    2.00g                                                    
  home    centos -wi-ao---- <779.45g                                                    
  root    centos -wi-ao----   50.00g                                                    
  swap    centos -wi-ao----   <7.88g                                                    
  lv      ceph   -wi-ao----  202.00g                                                    
  osd     ceph   -wi-ao----  <10.45t 
</code>

===== ２．再同期 =====  

LVMが見えると、ceph-volume lvm listでリストが見える。

<code>
[root@ceph005 ~]# ceph-volume lvm list

====== osd.3 =======

  [db]          /dev/cas/rocksdb

      block device              /dev/ceph/osd
      block uuid                Hq1Za9-hglA-4O2Z-YIgG-nB9k-xoep-Ah7nu0
      cephx lockbox secret      
      cluster fsid              68be67b9-b1a6-411e-8b65-c29c23a7968a
      cluster name              ceph
      crush device class        None
      db device                 /dev/cas/rocksdb
      db uuid                   V1FXMK-ceJQ-loMb-n2oO-7kPh-kITD-ivaVSy
      encrypted                 0
      osd fsid                  7b03b099-c6bb-47b7-b010-143799410dda
      osd id                    3
      type                      db
      vdo                       0
      wal device                /dev/cas/waldb
      wal uuid                  f0EUdc-V2c2-O8NM-nnE3-2xQn-2Mht-UXgsIo
      devices                   /dev/cas1-1

  [wal]         /dev/cas/waldb

      block device              /dev/ceph/osd
      block uuid                Hq1Za9-hglA-4O2Z-YIgG-nB9k-xoep-Ah7nu0
      cephx lockbox secret      
      cluster fsid              68be67b9-b1a6-411e-8b65-c29c23a7968a
      cluster name              ceph
      crush device class        None
      encrypted                 0
      osd fsid                  7b03b099-c6bb-47b7-b010-143799410dda
      osd id                    3
      type                      wal
      vdo                       0
      wal device                /dev/cas/waldb
      wal uuid                  f0EUdc-V2c2-O8NM-nnE3-2xQn-2Mht-UXgsIo
      devices                   /dev/cas1-1

  [block]       /dev/ceph/osd

      block device              /dev/ceph/osd
      block uuid                Hq1Za9-hglA-4O2Z-YIgG-nB9k-xoep-Ah7nu0
      cephx lockbox secret      
      cluster fsid              68be67b9-b1a6-411e-8b65-c29c23a7968a
      cluster name              ceph
      crush device class        None
      db device                 /dev/cas/rocksdb
      db uuid                   V1FXMK-ceJQ-loMb-n2oO-7kPh-kITD-ivaVSy
      encrypted                 0
      osd fsid                  7b03b099-c6bb-47b7-b010-143799410dda
      osd id                    3
      type                      block
      vdo                       0
      wal device                /dev/cas/waldb
      wal uuid                  f0EUdc-V2c2-O8NM-nnE3-2xQn-2Mht-UXgsIo
      devices                   /dev/sdb
</code>  

==== Ⅰ. OSDをそのまま起動のパターン ====
<color #22b14c>もしも、rocksdb/waldb/osdなど壊れてなければ、このままOSDをactivateすれば再同期されます。</color>

  ceph-volume lvm activate {ID} {FSID}

  ceph-volume lvm activate 3 7b03b099-c6bb-47b7-b010-143799410dda


=== ログ確認 ===
  tailf /var/log/ceph/ceph-osd.3.log

==== Ⅱ. 普通に起動できないパターン ====
データが壊れていて、OSDが同期できない状態の場合は、全てデータを消してネットワーク越しに再同期します。

=== 一度LVMを削除する ===
<code>
# lvremote  /dev/ceph/osd
# lvremote  /dev/cas/rocksdb
# lvremote  /dev/cas/waldb

# lvcreate -l 100%free -n osd ceph
# lvcreate -L 2G  -n waldb cas
# lvcreate -l 100%free  -n rocksdb cas
</code>

=== 壊れた対象ののOSDを削除 ===
ID 3を想定して記載

<code>
[root@ceph005 ~]# ceph osd status
+----+---------+-------+-------+--------+---------+--------+---------+----------------+
| id |   host  |  used | avail | wr ops | wr data | rd ops | rd data |     state      |
+----+---------+-------+-------+--------+---------+--------+---------+----------------+
| 0  | ceph001 | 3060G | 7835G |   14   |   388k  |    0   |     0   |   exists,up    |
| 1  | ceph002 | 3285G | 7610G |   22   |  1382k  |    2   |  1638   |   exists,up    |
| 2  | ceph004 | 2882G | 8014G |   16   |   485k  |    2   |     0   |   exists,up    |
| 3  | ceph005 |    0  |    0  |    3   |  49.6k  |    0   |     0   | autoout,exists |
| 4  | ceph006 | 2815G | 8080G |    9   |   450k  |    2   |   825   |   exists,up    |
| 5  | ceph003 | 3360G | 7536G |   29   |   593k  |    2   |  4096   |   exists,up    |
+----+---------+-------+-------+--------+---------+--------+---------+----------------+
</code>

下記のコマンドでOSDの「3」が消えます。
<code>
# OSD=3
# ceph osd out osd.$OSD
# ceph osd crush remove osd.$OSD
# ceph auth del osd.$OSD
# ceph osd down osd.$OSD
# ceph osd rm $OSD
</code>

=== 再度OSDの準備 ===
<code>
# ceph-volume lvm prepare --bluestore --data /dev/ceph/osd --block.db cas/rocksdb --block.wal cas/waldb
</code>
=== OSD起動 ===
<code>
# systemctl reset-failed ceph-osd@3
  
# systemctl start ceph-osd@3
</code>



{{tag>Ceph}}
fl8 Wiki

ユーザ用ツール

サイト用ツール

ページ用ツール
