OSDN -- Desarrollar y descargar software de código abierto
Translation Status of Español translation status for es

Foros: 【移行しました】機能要求 (Thread #38260)
Return to Thread list RSS

クローラーごとの接続数の設定　ほか (2016-12-20 17:16 by wasabi1975 #79157)

たびたび申し訳ございません。

全般の設定で、システム全体の同時クロール数を設定できますが、
クローラーごとに最大接続数を設定できると助かります。

全体の接続数が「5」だとしたとき、
全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」
巡回先を絞って頻度を上げたサイト別クローラーを「4」など
設定したいと考えております。

このほか、小さな点でありますが、
・クローラーの一覧表示数が25件で固定ですが、プルダウンで25～200ぐらいまで選べる
をお願いできないでしょうか。

ご検討お願いいたします。

Responder al #79157×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-21 06:20 by shinsuke #79159)

クローラごとのスレッド数は
http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15
と
http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16
の掛け合わせになります。

DefaultCrawlerはデフォルトのクローラのジョブになるので、
そのような要件の場合にはクローラのジョブを分けて、
クロール設定のスレッド数で調整してください。
クロール設定のジョブはクロール設定の詳細からジョブを
作成することができます。

> ・クローラーの一覧表示数が25件で固定ですが、プルダウンで25～200ぐらいまで選べる

次のバージョンで設定で変更できるようにしたいと思います。
Responder al #79157

Responder al #79159×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-22 10:43 by wasabi1975 #79164)

お返事いただきありがとうございます。

実はクローラーのウェブで設定しているジョブが多く、
クロール条件式も複雑なため、
クローラーごとに接続数が設定できればと思いました。

余力があったときにご検討いいただければ幸いです。

よろしくお願いいたします。
Responder al #79159

Responder al #79164×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-22 11:08 by shinsuke #79165)

私が状況を理解できない感もあるため、整理しますと
Fessでは、ジョブで実行されるクローラ(DefaultCrawler等)は
1) http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15
2) http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16
の設定値で全体のアクセスするスレッド数(接続数)が決まります。
ですので、DefaultCrawlerの接続数は1x2になります(2は設定ごとになりますが)。

> 全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」
> 巡回先を絞って頻度を上げたサイト別クローラーを「4」など

上記は
a) 複数のジョブ(クローラ)を作成して、調整する
b) 2のクロール設定ごとに調整する(1は多めにする感じかもしれませんが)
のどちらかのパターンで対応可能と考えています。
Responder al #79164

Responder al #79165×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-22 12:44 by wasabi1975 #79166)

たびたび申し訳ありません。

「クローラー」の「ウェブ」で、巡回先を登録しますが、
このときに、a.comをa.comの除外設定などと併せて1ページで登録し、
b.comとb.comのクロール設定を、別のページで登録しています。

a.com、b.com、c.com、d.com、e.comのように、
ドメインごとに1ページずつ設定を増やしてゆくと、
default crawlerを回したときに、
「システム」の「全般」の「同時クロール数」の上限まで
default crawlerが使い切ってしまうようです。

分かりにくく申し訳ございません。
Responder al #79165

Responder al #79166×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-22 13:03 by shinsuke #79167)

ありがとうございます。ちょっとわかったような気もします。
クローラ(ジョブ)ごとのスレッド数(接続数)の上限はジョブ単位で設定することを
想定しているので、ジョブとして作成するのが正しいかと思います。
細かい調整はクロールジョブに含まれるクロール設定で行う感じに
なると思います。
Responder al #79166

Responder al #79167×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar

Re: クローラーごとの接続数の設定　ほか (2016-12-26 11:50 by wasabi1975 #79177)

いえいえ、こちらこそありがとうございました。
ジョブのスレッド数で調整いたします。

よろしくお願いいたします。
Responder al #79167

Responder al #79177×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Entrar