KumoFs障害対応

kumo-server-01(正常) kumo-server-02(正常) kumo-server-03(障害発生)

KumoFSの動作確認


[kumo-manager-01]$ kumoctl kumo-manager-01 status
hash space timestamp:
Wed Dec 03 22:15:35 +0900 2008 clock 50
attached node:
192.168.0.101:19800 (active)
192.168.0.102:19800 (active)
192.168.0.103:19800 (fault)
not attached node:
(fault) と表示されているkumo-serverに障害が発生しています。
kumo-serverを復旧させて元の台数に戻すときは、まず古いデータベースファイルを削除するか移動させておき、
その後でkumo-serverプロセスを 再起動します。古いデータベースファイルが残っていると、そのサーバーに障害が発生している間に削除し
データが復活してしまう可能性が あります。 kumo-serverを再起動すると、kumoctlの表示は以下のようになります:

障害サーバの起動


[kumo-server-03 ]$ kumo-server -l kumo-server-03 -m kumo-manager-01 -p kumo-manager-02 -s /data/kumo-server.dat -v -o ~/tmp/kumo-server.`date +"%Y%m%d.%H%M%S"`.log

kumo-managerから認識されているか確認


[kumo-manager-01]$ kumoctl kumo-manager-01 status
hash space timestamp:
Wed Dec 03 22:15:45 +0900 2008 clock 58
attached node:
192.168.0.101:19800 (active)
192.168.0.102:19800 (active)
not attached node:
192.168.0.103:19800
not attached node のところに表示されているkumo-serverは、kumo-managerから認識されているが、
まだ登録されていないkumo-serverの一覧です。
ここで attach サブコマンドを発行すると、復旧したkumo-serverが実際に登録され、データの複製が3つになるようにコピーされます

kumo-managerに障害サーバを再登録


[kumo-manager-01]$ kumoctl kumo-manager-01 attach # 復旧したkumo-serverを再登録
[kumo-manager-01]$ kumoctl kumo-manager-01 status
hash space timestamp:
Wed Dec 03 22:15:55 +0900 2008 clock 62
attached node:
192.168.0.101:19800 (active)
192.168.0.102:19800 (active)
192.168.0.103:19800 (active)
not attached node: