[groonga-dev,03254] Embulk-output-groongaの紹介と質問

Back to archive index

Hiroyuki Sato hiroy****@gmail*****
2015年 5月 20日 (水) 22:31:15 JST


お世話になっています。
佐藤です。

embulk-command-outputというのを作成中です。紹介と質問です。
https://github.com/hiroyuki-sato/embulk-output-groonga

Embulkとは

  Embulk(エンバルク)はプラガブルなバルクローダです。
  CSVファイルをMySQLやPostgreSQLなどに簡単にインポートできるツールです

  これの出力先としてGroongaに出力できたらいいねと思い作ったのがこちらのプラグインです

  Embulkについてはこちらを参照ください。
  http://www.embulk.org/docs/
  http://qiita.com/hiroysato/items/397f36c4838a0a93e352

embulk-output-groongaの利用例

  まだ作りかけですが、簡単なデータの投入はできるようになっています。
  (まだ文字列しかテストをしておりません)

  例
  https://gist.github.com/hiroyuki-sato/d62b42a8c48299b3f9d3

  次のようにコマンドを実行するとCSVファイルからデータを読み込んで
  Groongaの指定したテーブルにデータを投入します。

     embulk run config.yml


質問
  groonga-clientなどのソースをみてぼちぼち書いておりますが
  次のような情報があるとよいと思ったので質問をいたします。

  (1) 利用例について
    groonga-clientのテーブルの作成や、カラムの作成などの例が載った
    ソースはどこかにありますでしょうか?
    例えばgroonga-clientを使ったアプリケーションなど

  (2) コマンドそのまま実行

    groonga-clientで、下記のような文字列を渡したら
   コマンドをそのまま実行することは可能でしょうか?

    table_create --name Site2 --flags TABLE_HASH_KEY --key_type ShortText
    column_create --table Site2 --name title --type ShortText

  (3) エラーハンドリング

    返ってくるエラー処理の例などどこかにありますでしょうか?

課題

* groonga-command-parserのjruby対応(現在専用パッチを適用)
* JSONのパースに、yaj-rubyの代わりにjson-streamを使ったがjson-streamは遅い。
* 代替案としてjavaクライアントを利用する(誰かが作成していれば)

よろしくお願います。


-- 
Hiroyuki Sato



groonga-dev メーリングリストの案内
Back to archive index