Shinsuke Sugaya
shins****@yahoo*****
2010年 4月 16日 (金) 21:31:01 JST
菅谷です。 情報をありがとうございます。 Windows でのファイルロックがらみの問題な気が しますが、普通なクロールでは発生しないので、 負荷を上げて Fess 3.x での再現するか試してみようと 思います。 ファイル自体にパスワードがかかっているものは 対象にならず、Fess 3.0 ではスタックトレースは 表示されないと思います(たしか WARNかINFOの ログになっていると思います)。 Wordについては Word 95 とかで作られたものの 中には POI で読み取れないものがあったような気も します。 shinsuke 2010年4月16日10:46 Masayuki Shibata <mshib****@shima*****>: > 柴田＠亀岡市です。 > > Fess 2.x.x だけ or うちの環境だけの問題ならよいのですが、念 > のためお知らせしておきます。 > > 今朝見たら 7.16GB ありましたので、毎晩クロールの度に 3.5GB > 内外の増加があるようです。 > > ログを見ると確かに消し損ねてますので、ログを添付しておきます。 > > 一昨夜のクロールを起点に２回の深夜定時クロールの分です。 > > INFO 行と WARN 行のうちの No data for は関係なさそうだったの > で削除してあります。 > > ちなみに本件とは関係ないと思いますが... > > Excel と PDF でときどきエラーになっているのは、パスワードが > かかっているか、セキュリティのためマクロ実行の可否、別の > Excel ファイルのシートに参照関係があるのをリンクするかの可否 > を問い合わせるダイアログがファイルを開くタイミングで出るヤツ > だと思われます (要は中身が読めない)。 > > Word と HTML でエラーになっているのは、よくわかりません。 > >>柴田＠亀岡市です。 >> >>前回メール直後に手動で一式消してから１日ほど経過しました。 >>＃まだ週末が来ていないので temp 配下定時一括削除のタイミン >>＃グにはなっていません。 >> >>今見てみると 3.3GB ほどに膨らんでいます。 >> >>深夜に１回クロールしてます (Index 数 18400 程)。 >>＃temp 配下に残っているファイルのタイムスタンプもそのあたり >>＃のものです。 >> >>もちろんクロール中に終了はしていません。 >> >>また何か変化がありましたらご連絡します。 >> >>>菅谷です。 >>> >>>情報をありがとうございます。 >>>2.0 でも見てみましたが、軽くクロールさせてみても >>>Windows でも特に残らないように見えます(特殊な >>>条件で残る場合もありえますが、この手のバグは >>>つぶしてきています)。一般的に残るケースとしては >>>クロール中に Fess を終了などした場合などは残ります。 >>>その場合は手動で削除する必要があります。 >>> >>>shinsuke >>> >>> >>>2010年4月14日9:00 Masayuki Shibata <mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>>>何という名前のファイル名が残っているのでしょうか？ >>>> >>>> \temp >>>> s2robot-CommonsHttpClient-xxxxxxxxxx.out ??KB x 6384 >>>> s2robot-HtmlTransformer-xxxxxxxxxx.html 11~12KB x 63 >>>> safeToDelete.tmp 0KB x 1 >>>> >>>> \temp\poifiles >>>> poi-ooxml-xxxxxxxxxx.tmp 50KB x 18 >>>> >>>> ...です。 >>>> >>>> 週末の未明に Fess サービスを再起動するようタスクスケジュールを >>>> 組んでいますので、その中で消すようにしてみて様子を見ます。 >>>> >>>>>菅谷です。 >>>>> >>>>>クロール中のデータは一時的に temp に保存するのですが、 >>>>>１つのドキュメントを処理して、処理後には削除されます。 >>>>>何という名前のファイル名が残っているのでしょうか？ >>>>> >>>>>> ・ここのファイルを手動で消しても大丈夫？ (temp だし) >>>>> >>>>>削除しても問題ありません。 >>>>> >>>>>shinsuke >>>>> >>>>> >>>>>2010年4月13日21:52 Masayuki Shibata <mshib****@shima*****>: >>>>>> 柴田＠亀岡市です。 >>>>>> >>>>>> Fess 3.x.x の Windows サービス化ができるまでの繋ぎに Fess 2.0.0 >>>>>> を実稼働環境で使っています。 >>>>>> >>>>>> 何か最近重いなぁと思って、サーバー側で状況を見てみたら temp フォ >>>>>> ルダが非常に大きくなっていて、そこがほぼ全体の容量を占めています。 >>>>>> ＃ドライブの使用量 70GB に対し、Fess temp フォルダのサイズ 64GB。 >>>>>> >>>>>> 以前にお伺いしたかも知れないのですが、 >>>>>> >>>>>> ・ここのファイルを手動で消しても大丈夫？ (temp だし) >>>>>> ・サーバーにリモートデスクトップでログインして消す以外に解決方法？ >>>>>> >>>>>> ...などありましたらご教示ください。 >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>> >>>>>_______________________________________________ >>>>>Fess-user mailing list >>>>>Fess-****@lists***** >>>>>http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>>_______________________________________________ >>>Fess-user mailing list >>>Fess-****@lists***** >>>http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >>_______________________________________________ >>Fess-user mailing list >>Fess-****@lists***** >>http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > ---------- > Shibata, Masayuki > Manager, Software Development > Shimadzu Corporation > Analytical Measuring Instruments Division > Research & Development Department > Telephone: 075-823-1441 Japan > Facsimile: 075-823-1365 Japan > E-mail: mshib****@shima***** > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user > >
