Lailaps

[メッセージ #75993 への返信]
大久保様

御多忙中にもかかわらず、全文検索インデックス問題にお取り組みいただき、誠にありがとうございます。

> いろいろ試して、5作品以上ある作家の作品について、25％ランダムに削除してみました。これで全文検索インデックスを作れました。
>
> https://sourceforge.jp/projects/lailaps/downloads/63171/gutenwing-en-150425.zip/
>
> しかし、それでも全文検索がうまくできませんでした。
> ヒット件数が多すぎる場合、逆に時間がかかりすぎるようです（赤丸白×ボタンで検索中断できます）。
> また、"i am" ではなくて"iam"で検索するとか、使い方にも工夫がいるようです。
> 時間はかかりますが、今までの全文検索の方が安定して動作するように思います。

私も前記作品縮小版で「face」の全文検索を試したところ、検索中断ボタンを押さないと検索ボタンがグレー状態のままになってしまいます。
ちなみに、faceは検索中断で6,628件検索されました。

> Logophileというもう一つのEPWINGアプリでも、辞書登録の際に全文検索インデックスを作ることで、高速検索できます。
> ただこれも、インデックス制作処理で大量のメモリ（数ＧＢ）を使い、時間もかかる（青空文庫全体で約1時間）ので、環境によっては完遂できないかもしれません。
> 上で公開した英語の簡略版のテキストデータは、約300ＭＢで、青空文庫全部と同じくらいです。これなら Logophile で全文検索インデックスを作れそうです。

幸い、Logophileのライセンス保有者なので、試してみたところ、約1時間で全文検索インデックスは作成できました。
しかし、faceで全文検索（Logphile v. 1.6）を行うと、次のとおり書誌についてのみ検索結果2件が表示され、肝心の本文の検索が行われません。
検索アルゴリズムに問題があるのかもしれません。

Hawthorne, Nathaniel, 1804-1864 : The Great Stone Face, and Other Tales of the White Mountains
London, Jack, 1876-1916 : Lost Face

[メッセージ #75993 への返信]
大久保様

> Logophileというもう一つのEPWINGアプリでも、辞書登録の際に全文検索インデックスを作ることで、高速検索できます。
> ただこれも、インデックス制作処理で大量のメモリ（数ＧＢ）を使い、時間もかかる（青空文庫全体で約1時間）ので、環境によっては完遂できないかもしれません。
> 上で公開した英語の簡略版のテキストデータは、約300ＭＢで、青空文庫全部と同じくらいです。これなら Logophile で全文検索インデックスを作れそうです。

青空文庫2015年3月7日更新版について、Logophileで全文検索ファイルを作成して「猫」を全文検索したところ、次のとおりgutenwing同様、書誌での検索しかできません。

『猫の草紙』【ねこのそうし】 著者名: 楠山 正雄
作品テキスト: 18380_12099.html
最終更新日: 2003-08-27
図書カード: No.18380
＝＝＝ 作品データ ＝＝＝
分類： NDC K913
文字遣い種別： 新字新仮名
備考：
＝＝＝ 作家データ ＝＝＝
<以下略>

[メッセージ #75993 への返信]
大久保様

gutenwingを活用させていただいております。

> どうも、インデックスファイルの上限が1GBくらいのようです。

御明察のとおり、hishida氏のBlogによると、やはり上限が「1GB以下」の仕様になっています。
詳細は、次のサイトを御覧ください。

http://d.hatena.ne.jp/hishida/20150303/p1