分散ファイルシステムを調べたい - Lustre
Lustre について調べてみた。使ってみたわけではない。
0. 調査したバージョン
サイトでは 1.8 がリリースされているように思えたけど、実際ダウンロードできるものや、ドキュメントは 1.6 のようである。
1. ファイルを分割して保存するかどうか
分割する。ファイル単位で分割の度合いを制御できる。
2. サーバーやディスクが落ちても問題なくアクセスを受け付けられるか
なんとも言えない感じ。Lustre 自体ではメタデータもデータそのものも複製していないので、サーバやディスクが落ちるとアクセスを正常に扱えない感じがする。
3. サーバーやディスクが落ちたときにデータが失われないか
Lustre 自体はファイルの複製を持たない。このため、DRBD などを用いるなどしてデータの冗長性を確保する必要がある。
4. サーバーやディスクが落ちたとき、もしくはそれらが復帰したときに自動的にデータが修復されるか
Lustre 自体にそのような機能はない。
5. データ量の偏りがないように自動的にデータを再配置することができるか
ない。
7. 読み込みの負荷分散
ファイルを分割しており、それにより負荷分散されている。
8. 書き込みの負荷分散
ファイルを分割しており、それにより負荷分散されている。
9. 動的なサイズの拡張
可能。
10. 動的なサイズの縮小
可能。ただし、ノード削除時には、データの移動を手動で行う必要があるみたい。
11. 実装形態(言語とか、カーネルパッチの必要性とか、利用する側の言語とか)
C。カーネルパッチ必要。いくつかのディストリビューションについては、Sun からバイナリモジュールが提供されている。
12. mount できるか
可能。
13. random access 可能か
可能。
14. 実績はどんなものか
映画「ハリー・ポッター」の特殊効果アニメーションの制作にも利用された
http://d.hatena.ne.jp/keyword/Lustre
これ以外にも、多くの実績があるようだ。
15. ライセンス
GPLv2
Lustre 自体にデータ複製の機能がないので、データの安全性を高めるにはシステム構築がそれなりに大変そうに思える。
v2.0 に Replication が入るような感じなので、そうなれば試してみたいと思う。