分散キーバリューストア「okuyama」 Wiki - 分散キーバリューストア「okuyama」

オンメモリ型分散Key-Valueストア 「okuyama」=====================

　Javaで実装された、オンメモリ型分散Key-Valueストア「okuyama」に興味を 　持って頂きありがとうございます。 　以下簡単な説明です。

簡単な機能説明とサンプルの実行方法を以下に記します。 機能説明 1.Key-Valueストア

Key-Valueストアを実現します。 Keyは文字列、Valueは文字列と、byteデータの両方を登録可能です。

2.Tag機能

Keyの他にTagを登録できます。 Tagは文字列となります。 ストアではKeyはユニークな値として扱われますが、Tagは複数のデータに紐付ける ことが出来ます。 複数データにあらかじめ任意のTagを付けることで、Tag指定により 一度に関連データを取得可能となります。 ※現在はTag指定で関連するデータのKey配列が取得できます。

3.オンメモリであり、永続化されたデータ

データの登録をクライアントが命令し、完了するとそのデータはデータノードの メモリ上(※1)に蓄えられると同時にファイルシステムに保存(※2)されます。 なので、データノードを停止してもデータが消えることはありません。

※1.登録データは各データノード上で1つの同期化されたjava.util.HashMapに格納されます。

データの登録、取り出しは全てここから行われます。

※2.ファイルシステムに保存されるデータは、定期的に保存されるjava.util.HashMapを

シリアライズ化したデータと、データ登録時のログ情報となります。 シリアライズデータの登録はデータ登録、取得処理とは非同期にて実行されます。

4.分散型

「okuyama」はマスタノード、データノード、クライアントの3つで構成されます。 それぞれの役目は以下です。 マスタノード:設定されたアルゴリズム(※1)に従って、クライアントからのデータ操作依頼を適切な

データノードに依頼します。 データの保存、取得の際の使用データノード決定を行います。 マスターノードは情報を保持しないので、複数台で稼動可能となります。 データノードの追加を実現します。 ※1.管理するデータノードの数に依存する簡単なアルゴリズムです。

データノード:キーとデータの組み合わせでデータを保存します。

データの登録、抽出インターフェースを持ちます。 自身では他ノードへのデータの振り分けなどは行ないません。

クライアント:マスタノードへの通信を行う実際のプログラムインターフェースです。

インターフェースとしては、 1.Key(文字列)とValue(文字列)の組み合わせでのデータ登録 2.Key(文字列)とTag(文字列)とValue(文字列)の組み合わせでのデータ登録 3.Key(文字列)でのValue(文字列)取得 4.Tag(文字列)でのKey(文字配列)取得 5.Key(文字列)とValue(byte配列)の組み合わせでのデータ登録 6.Key(文字列)でのValue(byte配列)取得

それぞれのノード間の通信はTCP/IPでの通信となります。 また、クライアントとマスタノード間の通信は試験的にBase64にてエンコーディングした文字列を使用しています。

スペック

実装言語:Java(jdk1.6にて開発) ソースエンコーディング:UTF-8 動作検証OS:WinsowsXp SP3、CentOS 5.3(final) 必要ライブラリ:log4j-1.2.14.jar、javamail-1.4.1.jar(JavaMail Ver1.4.1) Version:0.1.0(2010/01/07)

サンプル稼動方法

※Windows環境

前提条件:1.構成

1台のマシン上で稼動するように設定されています。 それぞれのノード台数 マスタノード:1台 データノード:2台

2.各ノードの使用ポートは以下となります。

マスタノード:8888 用途:クライアントからの要求待ち受け 変更する場合:srcディレクトリ配下のMasterNode.propertiesの7行目を変更

7行目=MasterManagerJob.Init=8888<=この番号

データノード:5553、5554 用途:マスタノードからの要求待ち受け 変更する場合:srcディレクトリ配下のDataNode.propertiesの7行目、13行目を変更

7行目=KeyManagerJob1.Init=5553<=この番号 13行目=KeyManagerJob2.Init=5554<=この番号

1.コンパイル

簡易的なコンパイル用バッチファイルを用意しています。 本ファイルと同一ディレクトリにある、compile.batを実行してください。 前提:javac.exeにPATHが通っている

2.MasterNode起動

簡易的なMasterNode起動用バッチファイルを用意しています。 本ファイルと同一ディレクトリにある、execMasterNode.batを実行してください。 停止方法はCtrl+Cもしくは本ファイルと同一ディレクトリにServerStopというファイルを作成する ※ServerStopファイルが存在するとサーバはMasterNodeは起動しません。 前提:1.java.exeにPATHが通っている

2.メモリ上限を128MBとしています

3.DataNode起動

簡易的なDataNode起動用バッチファイルを用意しています。 本ファイルと同一ディレクトリにある、execDataNode.batを実行してください。 2つのデータノードが同時に起動します。 停止方法はCtrl+Cもしくは本ファイルと同一ディレクトリにServerStopというファイルを作成する ※ServerStopファイルが存在するとサーバはDataNodeは起動しません。 前提:1.java.exeにPATHが通っている

2.メモリ上限を256MBとしています

4.接続サンプル

簡易的な接続、登録、取得サンプルを用意しています。 本ファイルと同一ディレクトリにある、TestSock.classを実行してください(jdk1.6にてコンパイル済み)。 引数なしで実行すると使用方法が出力されます。 例)

# 以下の例は自動的にインクリメントするKey値でValue文字列を1000回登録している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 1 127.0.0.1 8888 1000

# 以下の例は自動的にインクリメントするKey値でValue文字列を1000回取得している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 2 127.0.0.1 8888 1000

# 以下の例は自動的にインクリメントするKey値と適当な4パターンのTag値でValue文字列を100回登録している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 3 127.0.0.1 8888 100

# 以下の例はTag値「tag1」に紐付くKey値を1回取得している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 4 127.0.0.1 8888 1 tag1

# 以下の例はKey値「wordfile」で「C:\temp\SampleWord.doc」ファイルを1回登録している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 5 127.0.0.1 8888 1 C:\temp\SampleWord.doc wordfile

# 以下の例はKey値「wordfile」のバイトデータを取得し「C:\SampleWord.doc」ファイルとして1回作成している java -cp ./;./classes;./lib/javamail-1.4.1.jar TestSock 6 127.0.0.1 8888 1 C:\SampleWord.doc wordfile

今後

今後はバグFixとデータの多重保存を実現し、現在存在しない削除メソッドなどを作成します。