Masayuki Shibata
mshib****@shima*****
2011年 4月 11日 (月) 19:34:22 JST
柴田＠亀岡市です。 どうも Subversion 管理者から悪者にされているようなので、こちらも 調べています。 Subversion の Apache エラーログと、Fess の fess_crawler.out の関 係は例えば以下のようになっていました。 【error.log】 ... [月日 時間a 西暦] [error] [client 192.168....] Digest: uri mismatch - <URI1> does not match request-uri <URI2> → (1) ... 【fess_crawler.out】 ... 西暦-月日 時間b,nnn [Robot-西暦月日開始時間-1-X] INFO org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI1 → (2) ... 西暦-月日 時間c,mmm [Robot-西暦月日開始時間-1-Y] INFO org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI2 → (3) ... ４箇所ほど見てみました。 ・時間b と 時間c は近い。ログ行で言うと離れてても５行。大抵隣接行。 ・時間a は、時間b、時間c の４分弱ほど後。 ・(2) と (3) の URI1、URI2 の登場順は逆のこともある。 ・X, Y (Robot の ID 番号末尾) は、見た範囲では同じものがなかった。 ・Subversion の error.log で、このエラーは Fess でのクロール時のみ。 ・URI1 と URI2 は、似ていることは多いが、かなり違うものも含まれる。 →似ているのはクロールする時間が近いからそうなっているだけ。 ・どのファイルで発生しているか一定しているわけではないようだ。 また離れてても５行... ですが、Subversion の Web クロールのスレッド 設定は確かに５にしてますので、それを１にするしかないかなと思いかけ ています。 ----- Original Message ----- From: "Shinsuke Sugaya" <shins****@yahoo*****> To: <fess-****@lists*****> Sent: Friday, April 01, 2011 8:05 PM Subject: [fess-user 457] Re:Apache のエラーログに不審なエラーが > 菅谷です． > > 情報をありがとうございます． > 毎回別のものであれば，マルチスレッドの > タイミングの問題の可能性が高いと思います． > S2Robot的には問題になりそうな箇所が思い > あたらないので，HttpClientの調査をしてみます． > > shinsuke > > > 2011年4月1日19:56 Masayuki Shibata <mshib****@shima*****>: >> 柴田＠亀岡市です。 >> >> 発生しているファイルは、毎回別のもののようです。 >> >> たまたま同じことはあるかも知れませんが、数個試したところ同じファイル名 >> 文字列にヒットする箇所がありませんでした。 >> >> 後者の password mismatch のエラーは、前者の uri mismatch のエラー行の >> 間に埋もれている感じで出ていますので、両者に関係はありそうです。 >> >> >> ----- Original Message ----- >> From: "Shinsuke Sugaya" <shins****@yahoo*****> >> To: <fess-****@lists*****> >> Sent: Friday, April 01, 2011 2:58 PM >> Subject: [fess-user 455] Re:Apache のエラーログに不審なエラーが >> >> >>> 菅谷です。 >>> >>> 現時点では何とも言えませんが、HttpClient で >>> マルチスレッドで認証情報がうまくいっていない >>> のかもしれません。発生しているファイルは毎回 >>> 同じところでしょうか？ >>> よろしくお願いいたします。 >>> >>> shinsuke >>> >>> 2011年3月31日14:54 Masayuki Shibata <mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>> インデックスが作成できたドキュメント数が約 35,000 に対し、 >>>> 以下のようなエラー (クロールされる側の Apache の error.log) >>>> が、一晩クロールすると 50 〜 150 くらいの数発生しています。 >>>> >>>> error.log(4379): [Thu Mar 31 01:00:50 2011] [error] [client >>>> 192.168.27.12] >>>> Digest: uri mismatch - >>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSItgProgUI/> >>>> does >>>> not match request-uri >>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSLiToolFunc/> >>>> >>>> また以下のエラーも 1 〜 10 くらいの数発生しています。 >>>> >>>> error.log(1705): [Thu Mar 24 04:13:37 2011] [error] [client >>>> 192.168.27.12] >>>> Digest: user bungle: password mismatch: >>>> /svn2fess/LabSolutionsCommon/root/tags/Ver.5.40(LCMS-8030)Fixed/help/4_\xe8\x8b\xb1\xe8\xaa\x9e\xe5\x8e\x9f\xe7\xa8\xbf/LabSolutionsHelp/COMMON_HELP_DATAEXP_NW_KEYWORD_DATA.html >>>> >>>> クロール対象である Subversion のサーバー管理者から大丈夫か >>>> と問い合わせがあって気づいた次第です。 >>>> >>>> Subversion サーバー以外のクロール先では発生している気配は >>>> ありませんが、そもそも Subversion 上のファイルが圧倒的に多 >>>> いので、Subversion サーバー固有の問題とはにわかには断定で >>>> きません。 >>>> >>>> このエラーログが出るのは、どういったケースが考えられるでし >>>> ょうか？ >>>> >>>> もしお気づきの点あれば、ご指摘いただけると幸いです。 >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
