kikumotoのメモ帳

インフラ・ミドル周りを中心に、興味をもったことを適当な感じで。twitter : @takakiku

分散ファイルシステムを調べたい - Lustre

Lustre について調べてみた。使ってみたわけではない。

0. 調査したバージョン

サイトでは 1.8 がリリースされているように思えたけど、実際ダウンロードできるものや、ドキュメントは 1.6 のようである。

1. ファイルを分割して保存するかどうか

分割する。ファイル単位で分割の度合いを制御できる。

2. サーバーやディスクが落ちても問題なくアクセスを受け付けられるか

なんとも言えない感じ。Lustre 自体ではメタデータもデータそのものも複製していないので、サーバやディスクが落ちるとアクセスを正常に扱えない感じがする。

3. サーバーやディスクが落ちたときにデータが失われないか

Lustre 自体はファイルの複製を持たない。このため、DRBD などを用いるなどしてデータの冗長性を確保する必要がある。

4. サーバーやディスクが落ちたとき、もしくはそれらが復帰したときに自動的にデータが修復されるか

Lustre 自体にそのような機能はない。

5. データ量の偏りがないように自動的にデータを再配置することができるか

ない。

6. メタデータサーバの冗長化機能はあるか

ない。これも DRBD などを用いる必要がある。

7. 読み込みの負荷分散

ファイルを分割しており、それにより負荷分散されている。

8. 書き込みの負荷分散

ファイルを分割しており、それにより負荷分散されている。

9. 動的なサイズの拡張

可能。

10. 動的なサイズの縮小

可能。ただし、ノード削除時には、データの移動を手動で行う必要があるみたい。

11. 実装形態(言語とか、カーネルパッチの必要性とか、利用する側の言語とか)

C。カーネルパッチ必要。いくつかのディストリビューションについては、Sun からバイナリモジュールが提供されている。

12. mount できるか

可能。

13. random access 可能か

可能。

14. 実績はどんなものか

映画「ハリー・ポッター」の特殊効果アニメーションの制作にも利用された

http://d.hatena.ne.jp/keyword/Lustre

これ以外にも、多くの実績があるようだ。

15. ライセンス

GPLv2


Lustre 自体にデータ複製の機能がないので、データの安全性を高めるにはシステム構築がそれなりに大変そうに思える。
v2.0 に Replication が入るような感じなので、そうなれば試してみたいと思う。