dfs
8/13 に 1.0 がリリースされた XtreemFS っていう分散ファイルシステムもあるんですね。今度調べてみよう。
CloudStore は Hadoop と組み合わせることができ、MapReduce のデータ保持先として利用できる。 Using KFS with Hadoopを参考に試して見た。 Hadoop MapReduce をインストールした場合のサーバの役割は以下のようにした。 ノード名 CloudSotre での役割 Hado…
Javaライブラリを使ってランダムアクセスをしようと思ったら、Javaライブラリで提供されるAPIではアクセスできない。JNI 側および C/C++ ライブラリ的にはランダムアクセス可能なので、単にJava側のAPIの提供方法の問題のようである。CloudStore の HDFS に…
Javaライブラリを使って、CloudStoreに読み書きをする方法をまとめておく。 読み込み サンプルコードは以下の通り。CloudStore の API は、Java New I/O を使うようになっているので、それがらみのコードが多くなってしまっているが、実質的には メタサーバ…
CloudStore には Java からもアクセスできるようになっている。 ライブラリのビルドは Ant を使って以下のようにすればよい。KFS_HOME は、CloudStore がインストールされているディレクトリ。 $ cd kfs-0.3 $ ant -Dlib.dir=$KFS_HOME/lib jar 成功すれば、…
CloudStore では FUSE を使ったマウントができる(http://kosmosfs.wiki.sourceforge.net/UsingWithFUSE)ので、その方法を確認しておく。まずあらかじめ FUSE をインストールしておく必要があるので、以下のような感じで準備しておく。 $ tar xzf fuse-2.7.…
前回までで、とりあえずCloudStoreが起動したので、今回はコマンドラインツールを使ってCloudStoreにアクセスする方法をメモしておく。 前々回のコンパイルにより、コマンドラインツールが /home/kfs/cloudstore/bin/tools にある。 ファイルをCloudStore上…
前回でコンパイルが済んだので、今回は動作させるまでをメモしておく。基本的に、Deploying KFS の手順に従っている。 想定しているサーバ構成は以下のような感じ。 ノード名 役割 kfs0 metaserver kfs1 chunkserver kfs2 chunkserver kfs3 chunkserver まず…
HDFSとは別の分散ファイルシステムであるCloudStoreを試そうとしたときのメモ。 まずはコンパイルに関して。基本的に、http://kosmosfs.wiki.sourceforge.net/HowToCompileに書いてある通りだけど、CentOS5.2 の環境でコンパイルしようとしたときのことメモ…
mogstored を開始すると、1つの mogstored につき UPDATE device SET mb_total = $1, mb_used = $2, mb_asof = EXTRACT(epoch FROM NOW())::int4 WHERE devid = $3 のようなSQLが数秒おきに発行される。 これでは PostgreSQL にはつらいかもしれない。そ…
MogileFS には非公式ではあるが Java クライアントもある。 今回は http://github.com/davidsheldon/java-mogilefs/tree/master にあるライブラリを利用してみることにした。 ファイルの読み書き 取得したファイルの中に、TestMogileFS.java というのがある…
MogileFS を入れてみて気づいたのが、MySQLで構成するにしろPostgreSQLで構成するにしろ、tracker を起動すると非常に頻繁にDBにアクセスがあることです。なんか死活監視のためのように思えるのだけれど、これって抑制したり頻度を抑えたりできるのだろうか…
前回のメモでは、MogileFS の標準と考えられる MySQL を使ってシステムを構築したけれど、PostgreSQL も可能なようなのでそれを試してみた。システム構成は前回と同じ。 PostgreSQL の設定 まず、一度やってみてわかったのが CentOS5.2 標準の PostgreSQL 8.…
Fedoraのレポジトリにあるrpmを利用して、CentOS5.2にMogileFSをインストールしたときの手順メモ。 システム構成 3台のサーバを用意して、1台をtrackerに、残りの2台をstorageとした。 IPやホスト名は以下の通り。 役割 ホスト名 IP tracker mogile1 192.…
HDFS について調べてみた。使ってみたわけではない。 1. ファイルを分割して保存するかどうか 分割保存する。 2. サーバーやディスクが落ちても問題なくアクセスを受け付けられるか 受け付けられる。 3. サーバーやディスクが落ちたときにデータが失われない…
Cleversafe について調べてみた。使ってみたわけではない。 0. 調査したバージョン 1.1.0 1. ファイルを分割して保存するかどうか する。 2. サーバーやディスクが落ちても問題なくアクセスを受け付けられるか 受け付けられる。ただし、iSCSI ターゲットへの…
PVFS2 について調べてみた。使ってみたわけではない。 0. 調査したバージョン 2.8.1 1. ファイルを分割して保存するかどうか しない。 2. サーバーやディスクが落ちても問題なくアクセスを受け付けられるか 受け付けられない。Linux-HA(heartbeat)のような…
Lustre について調べてみた。使ってみたわけではない。 0. 調査したバージョン サイトでは 1.8 がリリースされているように思えたけど、実際ダウンロードできるものや、ドキュメントは 1.6 のようである。 1. ファイルを分割して保存するかどうか 分割する。…
CloudStore について調べてみた。使ってみたわけではない。Kosmos filesystem から名前が変わったみたい。でも、まだドキュメントは Kosmos filesystem のままみたいだけど。 1. ファイルを分割して保存するかどうか 分割保存する。 2. サーバーやディスクが…
GlusterFS について調べてみた。使ってみたわけではない。 1. ファイルを分割して保存するかどうか Stripe の設定をすれば分割する。ただし、GlusterFS FAQ からすると、勧めてはいない感じ。 2. サーバーやディスクが落ちても問題なくアクセスを受け付けら…
MogileFS について調べてみた。使ってみたわけではない。 1. ファイルを分割して保存するかどうか 分割しない。が、1ファイルにつき 100MB の制限があるらしく、クライアントライブラリのオプション(bigfile)で分割して保存する必要があるらしい。(参考…
ceph について調べてみた。使ってみたわけではない。性能・信頼・拡張性に富んだシステムを目指しているが、なんせまだまだ開発中みたいなので、興味として軽く調べるにとどめる。 1. ファイルを分割して保存するかどうか わからなかった。 2. サーバーやデ…
Web上のストレージのバックエンドにできるような、分散ファイルシステムが欲しいのでいくつか調べてみたい。 今のところの本命は HDFS(Hadoop Distributed File System)だけど、一応いくつか目を通しておく必要はありそうだ。 とりあえず、「分散ファイル…