Shinsuke Sugaya
shins****@yahoo*****
2010年 5月 28日 (金) 18:16:35 JST
菅谷です。 情報をありがとうございます。 ログを見ると、3 ドキュメントでインデックスを 作られていると思われます。他にもクロール対象と なるドキュメントがあるとすると、robots.txt で 除外するルールが記述されているか、"No credentials available for DIGEST" と言われているので、 DIGEST 認証でブロックされているかな気がします。 よろしくお願いします。 shinsuke 2010年5月28日16:26 kazuto fukuda <kf966****@gmail*****>: > 菅谷様 > > 回答有難うございます。 > >> まず、システム設定のSolrの設定でSolrグループが >> 有効になっていますでしょうか？あとは、 > 有効になっています。 > >> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >> はクロール時にどのような出力になっているでしょうか？ > > 2010-05-28 09:59:05,453 [main] INFO > org.seasar.struts.validator.S2ValidatorPlugIn - Loading validation > rules file from '/WEB-INF/validator-rules.xml' > 2010-05-28 09:59:06,281 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-frameworkのバージョンは2.4.39です。 > 2010-05-28 09:59:06,281 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-extensionのバージョンは2.4.39です。 > 2010-05-28 09:59:06,281 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-tigerのバージョンは2.4.39です。 > 2010-05-28 09:59:10,046 [main] INFO > jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute > components! > 2010-05-28 09:59:10,062 [main] INFO > org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the > sqlLogRegistry. > 2010-05-28 09:59:10,093 [main] INFO > jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration > of DBFlute! > 2010-05-28 09:59:18,031 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > Running on [ENV]product, [DEPLOY MODE]Cool Deploy > 2010-05-28 10:00:02,421 [Thread-16] INFO > jp.sf.fess.helper.SystemHelper - Crawler: > Directory=C:\fess\fess-server-3.0.0\webapps\fess > Options=[java, -cp, > WEB-INF\cmd\resources;WEB-INF\classes;WEB-INF\lib\antlr-2.7.2.jar;WEB-INF\lib\aopalliance-1.0.jar;WEB-INF\lib\args4j-2.0.12.jar;WEB-INF\lib\asm-3.1.jar;WEB-INF\lib\bcmail-jdk16-1.44.jar;WEB-INF\lib\bcprov-jdk16-1.44.jar;WEB-INF\lib\commons-beanutils-1.7.0.jar;WEB-INF\lib\commons-codec-1.3.jar;WEB-INF\lib\commons-collections-3.2.jar;WEB-INF\lib\commons-compress-1.0.jar;WEB-INF\lib\commons-digester-1.6.jar;WEB-INF\lib\commons-el-1.0.jar;WEB-INF\lib\commons-fileupload-1.2.1.jar;WEB-INF\lib\commons-httpclient-3.1.jar;WEB-INF\lib\commons-io-1.4.jar;WEB-INF\lib\commons-lang-2.3.jar;WEB-INF\lib\commons-logging-1.0.3.jar;WEB-INF\lib\commons-validator-1.2.0.jar;WEB-INF\lib\dbflute-runtime-0.9.5.1.jar;WEB-INF\lib\dom4j-1.6.1.jar;WEB-INF\lib\fontbox-1.0-20091008.jar;WEB-INF\lib\geronimo-annotation_1.0_spec-1.0.jar;WEB-INF\lib\geronimo-ejb_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-interceptor_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jpa_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jta_1.1_spec-1.0.jar;WEB-INF\lib\geronimo-stax-api_1.0_spec-1.0.1.jar;WEB-INF\lib\h2-1.2.128.jar;WEB-INF\lib\icu4j-3.8.jar;WEB-INF\lib\javassist-3.4.ga.jar;WEB-INF\lib\jcl-over-slf4j-1.5.6.jar;WEB-INF\lib\jempbox-0.8.0-20091008.jar;WEB-INF\lib\jstl-1.1.2.jar;WEB-INF\lib\log4j-1.2.14.jar;WEB-INF\lib\lucene-analyzers-2.9.1.jar;WEB-INF\lib\lucene-core-2.9.1.jar;WEB-INF\lib\lucene-highlighter-2.9.1.jar;WEB-INF\lib\lucene-memory-2.9.1.jar;WEB-INF\lib\lucene-misc-2.9.1.jar;WEB-INF\lib\lucene-queries-2.9.1.jar;WEB-INF\lib\lucene-snowball-2.9.1.jar;WEB-INF\lib\lucene-spellchecker-2.9.1.jar;WEB-INF\lib\mobylet-charset-1.0.2.jar;WEB-INF\lib\mobylet-core-1.0.2.jar;WEB-INF\lib\mobylet-s2extension-1.0.2.jar;WEB-INF\lib\mobylet-taglibs-1.0.2.jar;WEB-INF\lib\nekohtml-1.9.13.jar;WEB-INF\lib\ognl-2.6.9-patch-20070908.jar;WEB-INF\lib\ooxml-schemas-1.0.jar;WEB-INF\lib\org.codehaus.woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\oro-2.0.8.jar;WEB-INF\lib\pdfbox-0.8.0-20091008.jar;WEB-INF\lib\poi-3.5-FINAL.jar;WEB-INF\lib\poi-ooxml-3.5-FINAL.jar;WEB-INF\lib\poi-scratchpad-3.5-FINAL.jar;WEB-INF\lib\s2-extension-2.4.39.jar;WEB-INF\lib\s2-framework-2.4.39.jar;WEB-INF\lib\s2-robot-0.4.0.jar;WEB-INF\lib\s2-robot-db-0.4.0.jar;WEB-INF\lib\s2-robot-db-h2-0.4.0.jar;WEB-INF\lib\s2-robot-dbflute-runtime-0.9.6.jar;WEB-INF\lib\s2-tiger-2.4.39.jar;WEB-INF\lib\s2chronos-core-1.0.0.jar;WEB-INF\lib\s2chronos-extension-1.0.0.jar;WEB-INF\lib\sa-struts-1.0.4-sp7.jar;WEB-INF\lib\serializer-2.7.1.jar;WEB-INF\lib\slf4j-api-1.5.6.jar;WEB-INF\lib\slf4j-log4j12-1.5.6.jar;WEB-INF\lib\solr-commons-csv-1.4.0.jar;WEB-INF\lib\solr-core-1.4.0.jar;WEB-INF\lib\solr-solrj-1.4.0.jar;WEB-INF\lib\standard-1.1.2.jar;WEB-INF\lib\stax-api-1.0.1.jar;WEB-INF\lib\struts-1.2.9.jar;WEB-INF\lib\tika-core-0.5-20091008.jar;WEB-INF\lib\tika-parsers-0.5-20091008.jar;WEB-INF\lib\woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\xalan-2.7.1.jar;WEB-INF\lib\xercesImpl-2.8.1.jar;WEB-INF\lib\xmlbeans-2.3.0.jar;WEB-INF\cmd\lib\geronimo-servlet_2.4_spec-1.0.jar, > -Dfess.crawler.process=true, > -Dsolr.solr.home=C:\fess\fess-server-3.0.0\solr, > -Dsolr.data.dir=C:\fess\fess-server-3.0.0\solr\core1\data, > -Dfess.log.file=C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\logs\fess.out, > -Djava.awt.headless=true, -server, -XX:+UseGCOverheadLimit, > -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+UseTLAB, > -Dpdfbox.cjk.support=true, -Xmx512m, -XX:MaxPermSize=128m, > jp.sf.fess.exec.Crawler, --sessionId, 20100528100002] > 2010-05-28 10:00:05,000 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-frameworkのバージョンは2.4.39です。 > 2010-05-28 10:00:05,000 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-extensionのバージョンは2.4.39です。 > 2010-05-28 10:00:05,000 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > s2-tigerのバージョンは2.4.39です。 > 2010-05-28 10:00:08,640 [main] INFO > jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute > components! > 2010-05-28 10:00:08,640 [main] INFO > org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the > sqlLogRegistry. > 2010-05-28 10:00:08,671 [main] INFO > jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration > of DBFlute! > 2010-05-28 10:00:08,765 [main] INFO > org.seasar.robot.db.allcommon.DBFluteInitializer - ...Initializing > DBFlute components! > 2010-05-28 10:00:08,812 [main] INFO > org.seasar.robot.db.allcommon.DBFluteConfig - ...Locking the > configuration of DBFlute! > 2010-05-28 10:00:13,109 [main] INFO > org.seasar.framework.container.factory.SingletonS2ContainerFactory - > Running on [ENV]product, [DEPLOY MODE]Cool Deploy > 2010-05-28 10:00:13,812 [main] INFO jp.sf.fess.exec.Crawler - > Starting Crawler.. > 2010-05-28 10:00:14,796 [Robot-20100528100002-1-3] INFO > org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: > http://10.nnn.nn.nnn/ > 2010-05-28 10:00:14,921 [Robot-20100528100002-1-3] INFO > org.seasar.robot.client.http.CommonsHttpClient - Checking URL: > http://10.nnn.nn.nnn/robots.txt > 2010-05-28 10:00:19,359 [Robot-20100528100002-2-4] INFO > org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: > http://10.nnn.nn.nnn/ > 2010-05-28 10:00:19,406 [Robot-20100528100002-2-4] INFO > org.seasar.robot.client.http.CommonsHttpClient - Checking URL: > http://10.nnn.nn.nnn/robots.txt > 2010-05-28 10:00:24,468 [Robot-20100528100002-3-4] INFO > org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: > http://150.nn.nn.nnn/oks.htm > 2010-05-28 10:00:24,500 [Robot-20100528100002-3-4] INFO > org.seasar.robot.client.http.CommonsHttpClient - Checking URL: > http://150.nn.nn.nnn/robots.txt > 2010-05-28 10:00:24,625 [Robot-20100528100002-3-4] INFO > org.apache.commons.httpclient.HttpMethodDirector - No credentials > available for DIGEST 'Digest'@150.16.97.150:80 > 2010-05-28 10:01:14,375 [IndexUpdater] INFO > jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 3. > The processing size is 3. The execution time is 16ms. > 2010-05-28 10:01:14,406 [IndexUpdater] INFO > jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. > The processing size is 0. The execution time is 0ms. > 2010-05-28 10:02:14,359 [IndexUpdater] INFO > jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. > The processing size is 0. The execution time is 0ms. > 2010-05-28 10:02:19,703 [main] INFO jp.sf.fess.helper.WebIndexHelper > - [EXEC TIME] crawling time: 125641ms > 2010-05-28 10:03:14,359 [IndexUpdater] INFO > jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. > The processing size is 0. The execution time is 0ms. > 2010-05-28 10:03:14,359 [IndexUpdater] INFO > jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index update time: 47ms > 2010-05-28 10:03:14,531 [main] INFO > jp.sf.fess.helper.FileSystemIndexHelper - No crawling target urls. > 2010-05-28 10:03:14,562 [main] INFO jp.sf.fess.helper.DataIndexHelper > - No crawling target data. > 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - [EXEC > TIME] index optimize time: 188ms > 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - Finished Crawler > 2010-05-28 10:03:17,812 [Thread-16] INFO > jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=0 - Crawler > Process Output: > Processed: C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\db\robot.h2.db > WARN: The method class > org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. > WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. > > 以上です。よろしくお願いします。 > > 2010年5月28日15:21 Shinsuke Sugaya <shins****@yahoo*****>: >> 菅谷です。 >> >> まず、システム設定のSolrの設定でSolrグループが >> 有効になっていますでしょうか？あとは、 >> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >> はクロール時にどのような出力になっているでしょうか？ >> よろしくお願いいたします。 >> >> shinsuke >> >> >> 2010年5月28日11:12 kazuto fukuda <kf966****@gmail*****>: >>> はじめまして、福田と申します。 >>> >>> Fessの導入テスト中です。 >>> イントラネットのサイトが対象なのですが、インデックスが作成されません。 >>> >>> ウェブクロールの設定で >>> URL >>> http://10.nnn.nn.nnn/ >>> クロール対象とするURL >>> http://10.nnn.nn.nnn/.* >>> >>> としております。 >>> 昨日は一度この設定で、一度はインデックスが作成されたのですが、 >>> 今日、システム設定のSolrアクションで削除してから、クローラープロセスを >>> 実行したところ、何も作成されませんでした。 >>> ログファイルも見ましたが、特にエラーは出ていないようです。 >>> 何が問題なのでしょうか？ >>> >>> 以上です。よろしくお願いします。 >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
