[groonga-dev,04940] Re: pgroonga インデックス作成時の [ii][update][one] buffer is full エラー

Back to archive index
takashi sugaya tsuga****@gmail*****
2022年 4月 4日 (月) 14:13:07 JST


須藤様

菅谷です。

早々のご回答ありがとうございます。

再現データを提供することはできないので、ログレベルをDEBUGにして、
調査をしようとおもいますが、以下についてご教授いただけますと幸いです。

1.データベースに登録する際、インデックスを作成する対象のカラムに対して、
追加するテキストのサイズは約400MBあるのですが、このサイズのテキストの索引を
作成することは無理があるのでしょうか?

> インデックス内のbufferと呼んでいる領域にデータを追加できない
> ときにこのようなエラーになります。普通はbufferにデータを追加
> できないときはbufferを分割して追加するための場所を確保するの
> ですが、それがそもそも動いていないか、動いているけど十分な場
> 所を確保できていないかな気がします。

2.「そもそも動いていない」というのは、ログレベルをDEBUGにした場合に、
ログの内容から分かりますでしょうか?

3.「動いているけど十分な場所を確保できていない」とは、メモリ上に
確保できていないという事でしょうか?(メモリが足りていないのでしょうか?)

4.本事象はインデックスが全く作成されていない状態では、発生しませんでした。
インデックスが増えることによって、索引を作成する際に影響する内容などはございますでしょうか?

5.CREATE INDEXを行う際に「WITH (tokenizer='TokenBigramSplitSymbolAlphaDigit')」と、
トークナイザーを指定しておりますが、こちらも何か影響がございますでしょうか?

環境のメモリサイズとしては以下となります。
Mem: 31Gi
Swap: 9Gi

お手数をおかけして、申し訳ございませんが、
よろしくお願いいたします。


groonga-dev メーリングリストの案内
Back to archive index