Shinsuke Sugaya
shins****@yahoo*****
2012年 11月 30日 (金) 13:01:21 JST
菅谷です。 Fess の問題という感じではない気がしますが、 /var/logなどにシステムがエラーを出力などは していないでしょうか？クロールの間隔を下げる などして、負荷を調整するなども良いのかもしれません。 shinsuke 2012年11月30日 10:18 Masayuki Shibata <mshib****@shima*****>: > 柴田＠亀岡市です。 > > 何度かやってみましたが、最後までクロールできずに終わり > ます。 > > SIGKILL が出る場合と、痕跡もなく落ちている場合の２種類 > がありますが、落ちるくらいだからシステムが SIGKILL を > 発行できる場合はそれで強制終了されているのかと思います。 > > 念のため OpenJDK から Sun JDK に差し替えてみましたが、 > そちらの方は、クロールを始めてから 10分後くらいには、 > Web アクセスが檄重になって、そのままにしておいたら、 > OpenJDK の場合より早く落ちてました。 > > 感覚的に OpenJDK で５時間後くらい、Sun JDK で３時間く > らいです。後者の方が早い時点で重くなるからか、作られる > インデックスの数も少なめ (スループット低め) です。 > ＃1000 行きません。 > > 落ちるまではインデックスは作れていますし、クロールしな > ければ問題なく使えてそうなので、機能的には動いていて、 > クロールすると何かリソースを段々食って行っているような > 感じです。 > > Windows 系 (7 と 2003 Server) は、試した回数は少ないで > すが、最後までクロールできているので、何だかよくわかり > ませんが、状況だけ報告させていただきます。 > > (2012/11/28 11:24), Shinsuke Sugaya wrote: >> 菅谷です。 >> >> http://www.velocityreviews.com/forums/t136593-understanding-error-java-returned-137-a.html >> から考えると、SIGKILLがクロールするプロセスに >> 対して発行されたためだと思います。 >> よろしくお願いいたします。 >> >> shinsuke >> >> >> 2012年11月28日 11:12 Masayuki Shibata<mshib****@shima*****>: >>> 柴田＠亀岡市です。 >>> >>> テスト環境から実環境に変えてテストしました。 >>> >>> Windows 7 64bit Core i7 → KNOPPIX 7.0 Core2 Duo >>> ＃後者は、USB メモリ上にあります。 >>> >>> 2012-11-27 23:49:03,934 [Thread-6] INFO jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=137 - Crawler Process Output: >>> >>> ...を出して止まった (２度) ようです。 >>> >>> Exit Code=137 は、どういうときに発生しますか？ >>> >>> (2012/11/27 21:40), Shinsuke Sugaya wrote: >>>> 菅谷です。 >>>> >>>> 確認していただきありがとうございました。 >>>> >>>> shinsuke >>>> >>>> 2012年11月27日 13:27 Masayuki Shibata<mshib****@shima*****>: >>>>> 柴田＠亀岡市です。 >>>>> >>>>> ターゲットを絞って１回、今回の全ターゲットを対象に１回 >>>>> クロールさせましたところ、２回とも正常に完了しました。 >>>>> >>>>> 後者は、今回 58,000 件超までドキュメント数が伸びたのに >>>>> 対し、処置前は 32,000 件ほどでしたので、途中で止まっ >>>>> ていたようです。 >>>>> >>>>> これは Fess 6 でも 32,000 件ほどでしたので、そちらも最 >>>>> 後までクロールできていなかったのではないかと思います。 >>>>> >>>>> (2012/11/22 22:28), Shinsuke Sugaya wrote: >>>>>> 菅谷です。 >>>>>> >>>>>> ログ自体は fess_crawler.out で問題ありません。 >>>>>> 環境によりクロールが止まってしまうことがあったのですが >>>>>> もしそれであれば、webapps/fess/WEB-INF/lib/s2-robot-0.5.4.jarを >>>>>> http://maven.seasar.org/maven2-snapshot/org/seasar/robot/s2-robot/0.5.5-SNAPSHOT/s2-robot-0.5.5-20121005.002233-9.jar >>>>>> に取り替えて試していただけないでしょうか？ >>>>>> お手数をおかけしまして申し訳ありませんが >>>>>> よろしくお願いいたします。 >>>>>> >>>>>> shinsuke >>>>>> >>>>>> >>>>>> 2012年11月22日 15:27 Masayuki Shibata<mshib****@shima*****>: >>>>>>> 柴田＠亀岡市です。 >>>>>>> >>>>>>> Fess 7.0.1 を自 PC から、最終ターゲットのクロール先のイン >>>>>>> デックスを作成するテストをやっています。 >>>>>>> >>>>>>> 15時間ほどで fess_crawler.out にログが出ない状態になって >>>>>>> おり、立ち回り先を全部収集し終えた感じですが、そこから約 >>>>>>> ６時間経過後もまだ実行中のままです。 >>>>>>> >>>>>>> 何かやっているのだと思いますが、どこを見れば状態を把握で >>>>>>> きるでしょうか？ >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Fess-user mailing list >>>>>>> Fess-****@lists***** >>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>>> >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >> > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user
