sugan****@sharp*****
sugan****@sharp*****
2013年 8月 20日 (火) 11:55:30 JST
お世話になります。 菅野です。 教えて頂いたように、メモリの設定を変えたところ、クロールが正常動作するようになりました。 ありがとうございました。 以上です。 ＞＞ 菅谷です。 添付ファイルのサイズエラーになっている方のログを参照すると、 以下のようなExceptionが発生するときはメモリ不足などにより 負荷が高い状態になっていることが考えられます。 2013-07-19 17:48:33,901 [IndexUpdater] WARN org.codelibs.solr.lib.SolrGroup - Failed to execute an update query for solrServer1. The query is org.codelibs.solr.lib.SolrGroup$1 ＠ 104680b. The retry count is 0. org.codelibs.solr.lib.exception.SolrLibException: [ESL0001]System error. at org.codelibs.solr.lib.SolrGroup$1.callback(SolrGroup.java:103) at org.codelibs.solr.lib.SolrGroup$1.callback(SolrGroup.java:97) at org.codelibs.solr.lib.SolrGroup.executeUpdateQuery(SolrGroup.java:692) at org.codelibs.solr.lib.SolrGroup.updateQueryCallback(SolrGroup.java:678) at org.codelibs.solr.lib.SolrGroup.add(SolrGroup.java:96) at org.codelibs.solr.lib.SolrGroup.add(SolrGroup.java:83) at jp.sf.fess.solr.IndexUpdater.sendDocuments(IndexUpdater.java:636) at jp.sf.fess.solr.IndexUpdater.processAccessResults(IndexUpdater.java:409) at jp.sf.fess.solr.IndexUpdater.run(IndexUpdater.java:235) Caused by: org.apache.solr.client.solrj.SolrServerException: IOException occured when talking to server at: http://localhost:8080/solr/core1 at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:416) at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:181) at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:117) at org.apache.solr.client.solrj.SolrServer.add(SolrServer.java:68) at org.codelibs.solr.lib.SolrGroup$1.callback(SolrGroup.java:101) ... 8 more Caused by: org.apache.http.client.ClientProtocolException at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:909) at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:805) at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:784) at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:353) ... 12 more Caused by: org.apache.http.client.NonRepeatableRequestException: Cannot retry request with a non-repeatable request entity. The cause lists the reason the original request failed. at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:691) at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:522) at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:906) ... 15 more Caused by: java.net.SocketException: Broken pipe at java.net.SocketOutputStream.socketWrite0(Native Method) at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92) at java.net.SocketOutputStream.write(SocketOutputStream.java:136) at org.apache.http.impl.io.AbstractSessionOutputBuffer.write(AbstractSessionOutputBuffer.java:169) at org.apache.http.impl.io.ChunkedOutputStream.flushCacheWithAppend(ChunkedOutputStream.java:110) at org.apache.http.impl.io.ChunkedOutputStream.write(ChunkedOutputStream.java:165) at org.apache.http.entity.InputStreamEntity.writeTo(InputStreamEntity.java:92) at org.apache.http.entity.HttpEntityWrapper.writeTo(HttpEntityWrapper.java:98) at org.apache.http.impl.client.EntityEnclosingRequestWrapper$EntityWrapper.writeTo(EntityEnclosingRequestWrapper.java:108) at org.apache.http.impl.entity.EntitySerializer.serialize(EntitySerializer.java:122) at org.apache.http.impl.AbstractHttpClientConnection.sendRequestEntity(AbstractHttpClientConnection.java:271) at org.apache.http.impl.conn.ManagedClientConnectionImpl.sendRequestEntity(ManagedClientConnectionImpl.java:197) at org.apache.http.protocol.HttpRequestExecutor.doSendRequest(HttpRequestExecutor.java:257) at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125) at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:717) ... 17 more webapps/fess/WEB-INF/classes/fess.dicon の-Xmx512mを増やしてみたり、 webapps/fess/WEB-INF/classes/s2robot_contentlength.dicon でクロールするファイルサイズの制限を10Mより下げてみるなどが 良いかもしれません。 よろしくお願いいたします。 shinsuke 2013年8月5日 17:39 <sugan****@sharp*****>: > はじめまして、菅野と言います。最近、Fessのことを知り、導入中です。 > > > > 会社のサーバに導入したく考えており、 > > smbサーバに別PCからクロールしようとしています。 > > > > > > smbサーバ内のフォルダ全体に、クロールをかけたところ、うまくいかず困っております。 > > 10個ほどのファイルでクロールしたところ、問題ありませんでした。 > > > > > > Fess_crawler.outで以下のエラーが発生します。 > > 2013-08-05 00:02:55,949 [IndexUpdater] ERROR > jp.sf.fess.solr.IndexUpdater - IndexUpdater is terminated. > org.codelibs.solr.lib.exception.SolrLibGroupNotAvailableException: > [ESL0006]SolrGroup(solrGroup1) is not available. > at org.codelibs.solr.lib.SolrGroup.checkStatus(SolrGroup.java:718) > at org.codelibs.solr.lib.SolrGroup.add(SolrGroup.java:94) > at org.codelibs.solr.lib.SolrGroup.add(SolrGroup.java:83) > at jp.sf.fess.solr.IndexUpdater.sendDocuments(IndexUpdater.java:636) > at > jp.sf.fess.solr.IndexUpdater.processAccessResults(IndexUpdater.java:409) > at jp.sf.fess.solr.IndexUpdater.run(IndexUpdater.java:235) > > > > > > 過去ログを見たりしたのですが、よく分かりませんでした。 > > 解決方法について、助言を頂けると助かります > > > > Fessは導入時間が短く、多機能なため、是非導入したいです。 > > > > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user > ------------------------------ _______________________________________________ Fess-user mailing list Fess-****@lists***** http://lists.sourceforge.jp/mailman/listinfo/fess-user 以上: Fess-user まとめ読み, 43 巻, 4 号 ***************************************
