morit****@razil*****
morit****@razil*****
2010年 4月 24日 (土) 21:07:00 JST
もりです。 はい。。 望ましい挙動ではないのですが、現状では正規化を有効にした時だけ字種を区別しています。 結果として:key_normalize => false とすると記号列も含めて全ての文字列のバイグラムが 生成され、この問題は生じないことになっています。 > 確認ですが、:key_normalize => false とすると、この問題は生じないのですが、 > 正規化の有無によって tokenize の仕方が変わるということでしょうか。 > ＃状況をちゃんと理解できていない気もしています > > -- > SHIDARA Yoji > -- morita
