Cluster/DRBD - Miko's Cafeterrace Developer

DRBD - ネットワークでミラーリング

　DRBDはディスクをネットワークを介してミラーリングすることによりデータの安全性を高める「データミラークラスタ」タイプのソフトウェアです。いわば、ネットワークでRAID-1を実現していることになります。Gigabit Ether でピアネットワークを構築しているならばほとんどローカルと変わらないくらいです。

　また、heartbeat と組み合わせるとフェールオーバー時にそのままデータを引き継ぐことが可能になります。

ダウンロード

公式ホームページからダウンロードしてください。

公式ホームページ
http://www.drbd.org/
ダウンロードページ
http://oss.linbit.com/drbd/

コンパイル方法

面倒なので RPM を作成します。

# rpmbuild -ta drbd-0.7.24.tar.gz

インストール方法

アクティブ・スタンバイ共にまったく同じ方法でおこないます。

# rpm -Uvh drbd-0.7.24-1.rpm

インストール後の設定

インストール後はまずスタンバイ側から設定をおこないます。

スタンバイ側（standby:192.168.65.129）の設定

# insmod drbd
# drbdsetup /dev/nb0 disk /dev/sdb1
/var/lib/drbd does not exists. Creating it.
# drbdsetup /dev/nb0 net 192.168.65.129 192.168.65.128 B

最後の"B"は書き込み方式となるのですが、ここでは説明しません。おそらくほとんどの人がデフォルトで問題ないでしょう。

アクティブ側（active:192.168.0.128）の設定

# insmod drbd
# drbdsetup /dev/nb0 disk /dev/sdb1
# drbdsetup /dev/nb0 net 192.168.65.128 192.168.65.129 B 
# drbdsetup /dev/nb0 primary

アクティブ側だけは、３行目のようにアクティブ宣言が必要になります。これで/dev/drbd0を他のデバイスと同じように使用することができるようになります。

ディスクのフォーマットをする。フォーマットは通常と同じようにできるようになります。

# mkfs.ext3 -j /dev/drbd0

フォーマットしてしまえば、あとはそのディスクをマウントして試してみてください。（/mnt/drbdは自由に変更してください。）

# mkdir /mnt/drbd
# mount /dev/drbd0 /mnt/drbd

状態を確認する

　状態を確認するには /proc/drbd を見ます。同期中の場合は、以下で表示されます。

# cat /proc/drbd
version: 0.6.7 (api:63/proto:62)

0: cs:SyncingAll st:Primary/Secondary ns:334608 nr:0 dw:12 dr:334757 pe:24 ua:0
        [>...................] sync'ed:  3.3% (3962/4094)M
        finish: 1:05h speed: 1,044 (1,032) K/sec

　アクティブ側から確認した場合、Primary/Secondaryになり、スタンバイ側から確認した場合、Secondary/Primaryになります。また、同期中の場合はグラフと同期終了の残り時間や転送速度が一緒に表示されます。

サービスとして起動

サービスとして起動する場合は、/etc/init.d/drbd で使用するための設定ファイル /etc/drbd.conf を編集します。

resource r0 {
  protocol=B
  fsckcmd=/bin/true
  inittimeout=-1

  on active {
    device=/dev/drbd0
    disk=/dev/sdb1
    address=192.168.65.128
    port=7789
  }

  on standby {
    device=/dev/drbd0
    disk=/dev/sdb1
    address=192.168.65.129
    port=7789
  }

  net {
    sync-rate=80M
  }
}

この例では、デバイス間の接続にプロトコルBを使用する1つのDRBD resource (drbd0と呼びます)があります。このresourceのアプリケーションはext3ファイルシステムで、それを再起動するコマンドは/bin/trueです。（ジャーナルなのでいらない）ホスト "active" 上で動作するデバイスは、そのアプリケーション用のデバイスとして/dev/nb0を使用し、データ用のローレベル記憶領域として/dev/sdb1を使用します。 IPアドレスはネットワークインターフェースを特定するために使用します。

1つのdrbd.confファイル内に複数のresourceセクションを書くこともあります。

heatbeatとの組み合わせ

DRBDはheartbeatも意識して作成されているので、非常に簡単に統合することができます。DRBDをセットアップすると以下のスクリプトがインストールされます。

/etc/rc.d/init.d/drbd .. マシン起動/停止時の drbd サービス
/etc/ha.d/resource.d/datadisk .. ディスクのアクティブ・スタンバイ系の切替

これらのスクリプトを利用してheartbeatと組み合わせるとアクティブ側のダウン時に即スタンバイ側をアクティブにすることができます。以下はheartbeatの設定です。

/etc/ha.d/haresources の設定
　アクティブ側（通常利用するPC）のノード名(例:"active.cafelounge.net")、両方共通で使うIPアドレス("192.168.65.17/24")、サービスを制御するスクリプト名("datadisk::drbd0","httpd","named")を設定します。また、この設定はアクティブ・スタンバイどちらも同じです。
```
active.cafelounge.net 192.168.65.17/24 datadisk::drbd0 httpd named 
```
　DRBDでは、この datadisk::drbd0 が重要です。（::の後ろは/etc/drbd.confで設定したリソース名になります。）これにより、フェイルオーバー時に引き継いでもらえます。

/etc/fstab の設定(2004/01/19追加)
　デバイスのマウントをdrbdからおこなうので、ブート時にデバイスのマウントをおこなわないように /etc/fstab を書き換えます。noauto フラグをつけることで、そのように設定できます。
```
/dev/nb0                /mnt/disk               ext2    noauto          0 0
```

参考資料(リンク)

DRBD(本家)
http://www.drbd.org
DRBD日本語サイト
http://www.wbc.co.jp/~drbd/

上記では記述していませんが、ディスクとしてみることができるのはアクティブ側だけです。スタンバイ側からは（アクティブに切り替えない限り）見ることができません。 -- みこ? 2003-10-16 (木) 12:49:22
また、0.6.7 の SPECファイルはちょっと記述漏れがあるのでそのままではRPM作成できないかも・・・ -- みこ? 2003-10-16 (木) 12:51:19
いつのまにか0.6.10になっていますね。また近々テストしてみようかとおもいます。 -- みこ? 2004-01-13 (火) 17:03:36
fstabの修正が抜けていることに気がつきました -- みこ? 2004-01-19 (月) 14:38:50
2004-08-26 現在0.7.3 -- みこ? 2004-09-03 (金) 15:45:17
0.7以上ってkernel2.6で動くんでしょうか？FC2でやってみたいんですが・・・ -- KJ? 2004-11-25 (木) 19:15:30
0.7以上ってkernel2.6で動くんでしょうか？FC2でやってみたいんですが・・・ -- KJ? 2004-11-26 (金) 10:07:27
↑誤って2重投稿してしまいました。申し訳ありません。 -- KJ? 2004-11-26 (金) 10:08:41
たしかここ半年、微妙な感じだと思いました＞Kernel 2.6への対応　わたしも確認とってないので、なんともいえないです。（ただ、2.6.X対応のパッチはしょっちゅううあったと記憶しています。） -- みこ? 2004-11-26 (金) 14:39:03
ただ、元々2.4でも結構問題あった*1ので、2004-11-26現在の0.7.6を試してみるのが早いかと・・・（無責任モードですみません） -- みこ? 2004-11-26 (金) 14:42:53
2007年1月現在、8.0.0 でgfsによる act/act も可能？（ただし、コマンドが若干違う） -- みこ? 2007-02-16 (金) 00:09:52
act/act は Fedora Core 6 + cman + fance + gfs2で確認 -- みこ? 2007-03-29 (木) 14:21:46
act/act は現在 Fedora Core 7 + ocfs2 で使っています。 -- みこ? 2007-09-26 (水) 13:14:38
-- 2007-10-22 (月) 18:13:25
はじめまして、参考にさせていただいている者です(_ _) GentooLinuxのKernel 2.6.24で2ノードから負荷かけたところ、「rm *」をしたところでSegFault＋GFS2のglock.cのsoft-lockupになってしまいました OCFS2だと自動再起動(仕様？)してしまうし・・・他の方はどの程度使えているのでしょうか？？ -- 2008-02-06 (水) 17:30:03
(名前が入ってませんでした ) -- Prestissimo? 2008-02-06 (水) 17:31:28
追記・修正：OCFS2の再起動は、片方のノードが死んだときに(あるいはケーブルを引っこ抜いたときに)発動します。どの程度「安定して」使えているのでしょうか。 -- Prestissimo? 2008-02-06 (水) 17:39:07
Kernel 2.6.24 って DRBDのバージョンによっては問題がありませんでしたっけ？ -- みこ? 2008-02-07 (木) 16:00:35
ちなみに、わたしは現在はgfs2 はあきらめました。ちょっとした環境変更で飛んでしまうので・・・＞ gfs2 -- みこ? 2008-02-07 (木) 16:02:29
ocfs2のほうは、内部のストレージサーバとして使用していますが、とくに問題なくうごいています。もし、heartbeat を使用している場合は、高負荷で watchdog がはたらいていたり、drbd自体のデグレ再起動がかかったりしていないか、確認してみてください。 -- みこ? 2008-02-07 (木) 16:07:02