読者です 読者をやめる 読者になる 読者になる

kikumotoのメモ帳

インフラ・ミドル周りを中心に、興味をもったことを適当な感じで。twitter : @takakiku

CloudStoreをバックエンドにしてMapReduce

CloudStore は Hadoop と組み合わせることができ、MapReduce のデータ保持先として利用できる。 Using KFS with Hadoopを参考に試して見た。 Hadoop MapReduce をインストールした場合のサーバの役割は以下のようにした。 ノード名 CloudSotre での役割 Hado…

CloudStoreを使う・Java編:ランダムアクセス

Javaライブラリを使ってランダムアクセスをしようと思ったら、Javaライブラリで提供されるAPIではアクセスできない。JNI 側および C/C++ ライブラリ的にはランダムアクセス可能なので、単にJava側のAPIの提供方法の問題のようである。CloudStore の HDFS に…

CloudStoreを使う・Java編:読み書き

Javaライブラリを使って、CloudStoreに読み書きをする方法をまとめておく。 読み込み サンプルコードは以下の通り。CloudStore の API は、Java New I/O を使うようになっているので、それがらみのコードが多くなってしまっているが、実質的には メタサーバ…

CloudStoreのJavaアクセスライブラリ

CloudStore には Java からもアクセスできるようになっている。 ライブラリのビルドは Ant を使って以下のようにすればよい。KFS_HOME は、CloudStore がインストールされているディレクトリ。 $ cd kfs-0.3 $ ant -Dlib.dir=$KFS_HOME/lib jar 成功すれば、…

CloudStoreを使う・FUSEマウント編

CloudStore では FUSE を使ったマウントができる(http://kosmosfs.wiki.sourceforge.net/UsingWithFUSE)ので、その方法を確認しておく。まずあらかじめ FUSE をインストールしておく必要があるので、以下のような感じで準備しておく。 $ tar xzf fuse-2.7.…

CloudStoreを使う・コマンドライン編

前回までで、とりあえずCloudStoreが起動したので、今回はコマンドラインツールを使ってCloudStoreにアクセスする方法をメモしておく。 前々回のコンパイルにより、コマンドラインツールが /home/kfs/cloudstore/bin/tools にある。 ファイルをCloudStore上…

CloudStoreを動かす

前回でコンパイルが済んだので、今回は動作させるまでをメモしておく。基本的に、Deploying KFS の手順に従っている。 想定しているサーバ構成は以下のような感じ。 ノード名 役割 kfs0 metaserver kfs1 chunkserver kfs2 chunkserver kfs3 chunkserver まず…

CloudStoreのコンパイル

HDFSとは別の分散ファイルシステムであるCloudStoreを試そうとしたときのメモ。 まずはコンパイルに関して。基本的に、http://kosmosfs.wiki.sourceforge.net/HowToCompileに書いてある通りだけど、CentOS5.2 の環境でコンパイルしようとしたときのことメモ…

分散ファイルシステムを調べたい - CloudStore

CloudStore について調べてみた。使ってみたわけではない。Kosmos filesystem から名前が変わったみたい。でも、まだドキュメントは Kosmos filesystem のままみたいだけど。 1. ファイルを分割して保存するかどうか 分割保存する。 2. サーバーやディスクが…