Shinsuke Sugaya
shins****@yahoo*****
2013年 11月 15日 (金) 08:11:38 JST
菅谷です。 現状では、Fessの画面で設定してもrobots.txtを 見にいくUAはS2Robotになっています。次のバージョンで Fessで指定したUAに当たるようにしたいと思います。 よろしくお願いいたします。 shinsuke 2013年11月13日 22:00 All Hide <saita****@gmail*****>: > 三浦と申します。 > > 個人的なサイト用に検索エンジンを設定しようと思い、fess-server-8.2.0 をテスト中です。 > このサイトには robots.txt が置いてあり、以下のように設定しました。 > > User-agent: testbot > allow: / > > User-agent: * > Disallow: /secret/ > > ここで allow に用いたユーザエージェントは「ウェブクロールの設定」にあるユーザエージェントに > 同じ文字列を指定しました。結果としてクロールの URL で指定した secret 直下にある index.html 以外は > 検索してくれません。 > > 何か根本的な勘違いをしているような気がしてならないので色々とあがいてみたのですが、解決できません。 > 何かお気づきの方がいらっしゃるようでしたら、ご指摘戴けると幸いです。 > よろしくお願い申し上げます。 > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
