XtreemFS ってのもあるのね。

dfs xtreamfs

8/13 に 1.0 がリリースされた XtreemFS っていう分散ファイルシステムもあるんですね。今度調べてみよう。

2009-07-26

CloudStoreをバックエンドにしてMapReduce

dfs cloudstore

CloudStore は Hadoop と組み合わせることができ、MapReduce のデータ保持先として利用できる。 Using KFS with Hadoopを参考に試して見た。 Hadoop MapReduce をインストールした場合のサーバの役割は以下のようにした。ノード名 CloudSotre での役割 Hado…

2009-07-17

CloudStoreを使う・Java編：ランダムアクセス

dfs cloudstore

Javaライブラリを使ってランダムアクセスをしようと思ったら、Javaライブラリで提供されるAPIではアクセスできない。JNI 側および C/C++ ライブラリ的にはランダムアクセス可能なので、単にJava側のAPIの提供方法の問題のようである。CloudStore の HDFS に…

2009-07-15

CloudStoreを使う・Java編：読み書き

dfs cloudstore

Javaライブラリを使って、CloudStoreに読み書きをする方法をまとめておく。読み込みサンプルコードは以下の通り。CloudStore の API は、Java New I/O を使うようになっているので、それがらみのコードが多くなってしまっているが、実質的にはメタサーバ…

2009-07-13

CloudStoreのJavaアクセスライブラリ

dfs cloudstore

CloudStore には Java からもアクセスできるようになっている。ライブラリのビルドは Ant を使って以下のようにすればよい。KFS_HOME は、CloudStore がインストールされているディレクトリ。 $ cd kfs-0.3 $ ant -Dlib.dir=$KFS_HOME/lib jar 成功すれば、…

2009-07-08

CloudStoreを使う・FUSEマウント編

dfs cloudstore

CloudStore では FUSE を使ったマウントができる（http://kosmosfs.wiki.sourceforge.net/UsingWithFUSE）ので、その方法を確認しておく。まずあらかじめ FUSE をインストールしておく必要があるので、以下のような感じで準備しておく。 $ tar xzf fuse-2.7.…

2009-07-06

CloudStoreを使う・コマンドライン編

dfs cloudstore

前回までで、とりあえずCloudStoreが起動したので、今回はコマンドラインツールを使ってCloudStoreにアクセスする方法をメモしておく。前々回のコンパイルにより、コマンドラインツールが /home/kfs/cloudstore/bin/tools にある。ファイルをCloudStore上…

2009-06-26

CloudStoreを動かす

dfs cloudstore

前回でコンパイルが済んだので、今回は動作させるまでをメモしておく。基本的に、Deploying KFS の手順に従っている。想定しているサーバ構成は以下のような感じ。ノード名役割 kfs0 metaserver kfs1 chunkserver kfs2 chunkserver kfs3 chunkserver まず…

2009-06-24

CloudStoreのコンパイル

dfs cloudstore

HDFSとは別の分散ファイルシステムであるCloudStoreを試そうとしたときのメモ。まずはコンパイルに関して。基本的に、http://kosmosfs.wiki.sourceforge.net/HowToCompileに書いてある通りだけど、CentOS5.2 の環境でコンパイルしようとしたときのことメモ…

2009-05-02

MogileFS を PostgreSQL で動作させるのはつらい？

dfs mogilefs

mogstored を開始すると、１つの mogstored につき UPDATE device SET mb_total = $1, mb_used = $2, mb_asof = EXTRACT(epoch FROM NOW())::int4 WHERE devid = $3 のようなＳＱＬが数秒おきに発行される。これでは PostgreSQL にはつらいかもしれない。そ…

2009-05-01

MogileFS を Java から使ってみる

dfs mogilefs java

MogileFS には非公式ではあるが Java クライアントもある。今回は http://github.com/davidsheldon/java-mogilefs/tree/master にあるライブラリを利用してみることにした。ファイルの読み書き取得したファイルの中に、TestMogileFS.java というのがある…

2009-04-24

MogileFSが頻繁にDBにアクセスするのはどうやれば制御できる？

dfs mogilefs

MogileFS を入れてみて気づいたのが、MySQLで構成するにしろPostgreSQLで構成するにしろ、tracker を起動すると非常に頻繁にDBにアクセスがあることです。なんか死活監視のためのように思えるのだけれど、これって抑制したり頻度を抑えたりできるのだろうか…

2009-04-24

CentOS5.2 + MogileFS + PostgreSQL

dfs mogilefs

前回のメモでは、MogileFS の標準と考えられる MySQL を使ってシステムを構築したけれど、PostgreSQL も可能なようなのでそれを試してみた。システム構成は前回と同じ。 PostgreSQL の設定まず、一度やってみてわかったのが CentOS5.2 標準の PostgreSQL 8.…

2009-04-22

CentOS5.2にMogileFSをインストールした

dfs mogilefs

Fedoraのレポジトリにあるrpmを利用して、CentOS5.2にMogileFSをインストールしたときの手順メモ。システム構成３台のサーバを用意して、１台をtrackerに、残りの２台をstorageとした。 IPやホスト名は以下の通り。役割ホスト名 IP tracker mogile1 192.…