Masayuki Shibata
mshib****@shima*****
2011年 4月 18日 (月) 09:08:48 JST
柴田＠亀岡市です。 差し替えてみましたが、(多分) 現象変わらずでした。 ＃現象が変わったのではなく、頻度が少なかったので始めて見た ＃のか、現象が変わったのかは不明です。 Digest: uri mismatch の方ですが、１行だけ、Subversion とそ れ以外の URI の組で発生、かつクロールの先頭で出ていました。 ＃量は少ないのですが、Subversion 以外の Web コンテンツも同 ＃じ Apache 配下にあります。本件スレッド読み返してみたら書 ＃いていませんでした (スミマセン) ので書き添えておきます。 マルチスレッド (5) でクロールしている先は (Digest 認証も)、 Subversion だけだったので、その間での mismatch かと思って おりましたが、どうもそうではないようです。 ＃今回の件で Digest 認証なのは Subversion だけですが... 実は、Subversion だけ、アクセス間隔が 1000 msec で、ほかは 全部 5000 msec でしたので、そっちが影響している可能性も上 記から浮上してきました。 ちょっとアクセス間隔を広げて試してみようかと思います。 Digest 認証まわり (多分 Apache 側) に問題がありそうな気が していますが、原因はわからないかも知れないものの、かかる負 荷の具合で様子が変わるかどうかは見られるかも知れません。 ----- Original Message ----- From: "Shinsuke Sugaya" <shins****@yahoo*****> To: <fess-****@lists*****> Sent: Friday, April 15, 2011 9:42 AM Subject: [fess-user 468] Re:Apache のエラーログに不審なエラーが > 菅谷です。 > > Apache の HttpClient の 4.1.1 で影響がありそうな > 修正も入っていたりしますので、webapps/fess/WEB-INF/lib の > 以下の jar を差し替えて試していただくことは可能でしょうか? > > httpclient-4.1.1.jar > httpclient-cache-4.1.1.jar > httpcore-4.1.jar > httpmime-4.1.1.jar > s2-robot-0.5.1-20110414.234552-1.jar > > 上記の jar は最新のスナップショットに入っています。 > > http://fess.sourceforge.jp/repository/snapshot/fess-server-4.1.0-SNAPSHOT.zip > > よろしくお願いいたします。 > > 菅谷 > > > 2011年4月12日10:59 Masayuki Shibata <mshib****@shima*****>: >> 柴田＠亀岡市です。 >> >> うちの Subversion 管理をお願いすることになった新 admin さん >> から以下の連絡を受けましたのでお知らせしておきます。 >> >> ----- 引用ここから ----- >> "Digest: uri mismatch"は、Digest認証でのエラーですね。 >> クライアントは、Digest認証では以下のような動きをするらしいのですが、その(1)と(3)のURLが違っているようです。 >> クライアントのほうのバグだと思いたいのですが・・・。 >> (1)クライアントは、サーバにアクセスする。(URLを指定) >> (2)サーバは、乱数値を返す。 >> (3)クライアントは、乱数値にパスワードを付けてハッシュ値を計算してサーバに送る。その際(1)のURLも付ける。 >> >> ----- 引用ここまで ----- >> >> ----- Original Message ----- >> From: "Shinsuke Sugaya" <shins****@yahoo*****> >> To: <fess-****@lists*****> >> Sent: Monday, April 11, 2011 9:44 PM >> Subject: [fess-user 466] Re:Apache のエラーログに不審なエラーが >> >> >>> 菅谷です． >>> >>> 情報をありがとうございます． >>> 申し訳ありません…．対象が Fess のコードでなく >>> Apache HttpClient だったり，調べるのに十分な時間が >>> なかったりで，まだ確認できていません．今週中に >>> 時間が取りたいと思っています． >>> >>> shinsuke >>> >>> >>> 2011年4月11日19:34 Masayuki Shibata <mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>> どうも Subversion 管理者から悪者にされているようなので、こちらも >>>> 調べています。 >>>> >>>> Subversion の Apache エラーログと、Fess の fess_crawler.out の関 >>>> 係は例えば以下のようになっていました。 >>>> >>>> 【error.log】 >>>> ... >>>> [月日 時間a 西暦] [error] [client 192.168....] Digest: uri mismatch - >>>> <URI1> >>>> does not match request-uri <URI2> → (1) >>>> ... >>>> >>>> 【fess_crawler.out】 >>>> ... >>>> 西暦-月日 時間b,nnn [Robot-西暦月日開始時間-1-X] INFO >>>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI1 → (2) >>>> ... >>>> 西暦-月日 時間c,mmm [Robot-西暦月日開始時間-1-Y] INFO >>>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI2 → (3) >>>> ... >>>> >>>> ４箇所ほど見てみました。 >>>> >>>> ・時間b と 時間c は近い。ログ行で言うと離れてても５行。大抵隣接行。 >>>> ・時間a は、時間b、時間c の４分弱ほど後。 >>>> ・(2) と (3) の URI1、URI2 の登場順は逆のこともある。 >>>> ・X, Y (Robot の ID 番号末尾) は、見た範囲では同じものがなかった。 >>>> ・Subversion の error.log で、このエラーは Fess でのクロール時のみ。 >>>> ・URI1 と URI2 は、似ていることは多いが、かなり違うものも含まれる。 >>>> →似ているのはクロールする時間が近いからそうなっているだけ。 >>>> ・どのファイルで発生しているか一定しているわけではないようだ。 >>>> >>>> また離れてても５行... ですが、Subversion の Web クロールのスレッド >>>> 設定は確かに５にしてますので、それを１にするしかないかなと思いかけ >>>> ています。 >>>> >>>> >>>> ----- Original Message ----- >>>> From: "Shinsuke Sugaya" <shins****@yahoo*****> >>>> To: <fess-****@lists*****> >>>> Sent: Friday, April 01, 2011 8:05 PM >>>> Subject: [fess-user 457] Re:Apache のエラーログに不審なエラーが >>>> >>>> >>>>> 菅谷です． >>>>> >>>>> 情報をありがとうございます． >>>>> 毎回別のものであれば，マルチスレッドの >>>>> タイミングの問題の可能性が高いと思います． >>>>> S2Robot的には問題になりそうな箇所が思い >>>>> あたらないので，HttpClientの調査をしてみます． >>>>> >>>>> shinsuke >>>>> >>>>> >>>>> 2011年4月1日19:56 Masayuki Shibata <mshib****@shima*****>: >>>>>> 柴田＠亀岡市です。 >>>>>> >>>>>> 発生しているファイルは、毎回別のもののようです。 >>>>>> >>>>>> たまたま同じことはあるかも知れませんが、数個試したところ同じファイル名 >>>>>> 文字列にヒットする箇所がありませんでした。 >>>>>> >>>>>> 後者の password mismatch のエラーは、前者の uri mismatch のエラー行の >>>>>> 間に埋もれている感じで出ていますので、両者に関係はありそうです。 >>>>>> >>>>>> >>>>>> ----- Original Message ----- >>>>>> From: "Shinsuke Sugaya" <shins****@yahoo*****> >>>>>> To: <fess-****@lists*****> >>>>>> Sent: Friday, April 01, 2011 2:58 PM >>>>>> Subject: [fess-user 455] Re:Apache のエラーログに不審なエラーが >>>>>> >>>>>> >>>>>>> 菅谷です。 >>>>>>> >>>>>>> 現時点では何とも言えませんが、HttpClient で >>>>>>> マルチスレッドで認証情報がうまくいっていない >>>>>>> のかもしれません。発生しているファイルは毎回 >>>>>>> 同じところでしょうか？ >>>>>>> よろしくお願いいたします。 >>>>>>> >>>>>>> shinsuke >>>>>>> >>>>>>> 2011年3月31日14:54 Masayuki Shibata <mshib****@shima*****>: >>>>>>>> 柴田＠亀岡市です。 >>>>>>>> >>>>>>>> インデックスが作成できたドキュメント数が約 35,000 に対し、 >>>>>>>> 以下のようなエラー (クロールされる側の Apache の error.log) >>>>>>>> が、一晩クロールすると 50 〜 150 くらいの数発生しています。 >>>>>>>> >>>>>>>> error.log(4379): [Thu Mar 31 01:00:50 2011] [error] [client >>>>>>>> 192.168.27.12] >>>>>>>> Digest: uri mismatch - >>>>>>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSItgProgUI/> >>>>>>>> does >>>>>>>> not match request-uri >>>>>>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSLiToolFunc/> >>>>>>>> >>>>>>>> また以下のエラーも 1 〜 10 くらいの数発生しています。 >>>>>>>> >>>>>>>> error.log(1705): [Thu Mar 24 04:13:37 2011] [error] [client >>>>>>>> 192.168.27.12] >>>>>>>> Digest: user bungle: password mismatch: >>>>>>>> /svn2fess/LabSolutionsCommon/root/tags/Ver.5.40(LCMS-8030)Fixed/help/4_\xe8\x8b\xb1\xe8\xaa\x9e\xe5\x8e\x9f\xe7\xa8\xbf/LabSolutionsHelp/COMMON_HELP_DATAEXP_NW_KEYWORD_DATA.html >>>>>>>> >>>>>>>> クロール対象である Subversion のサーバー管理者から大丈夫か >>>>>>>> と問い合わせがあって気づいた次第です。 >>>>>>>> >>>>>>>> Subversion サーバー以外のクロール先では発生している気配は >>>>>>>> ありませんが、そもそも Subversion 上のファイルが圧倒的に多 >>>>>>>> いので、Subversion サーバー固有の問題とはにわかには断定で >>>>>>>> きません。 >>>>>>>> >>>>>>>> このエラーログが出るのは、どういったケースが考えられるでし >>>>>>>> ょうか？ >>>>>>>> >>>>>>>> もしお気づきの点あれば、ご指摘いただけると幸いです。 >>>>>>>> >>>>>>>> _______________________________________________ >>>>>>>> Fess-user mailing list >>>>>>>> Fess-****@lists***** >>>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>>>> >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Fess-user mailing list >>>>>>> Fess-****@lists***** >>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>>> >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
