[Tep-j-general] Re: Slurpにインデックスされるには?

Back to archive index

hamada bungu****@leo*****
2004年 10月 12日 (火) 18:53:52 JST


こんにちわ。

On Tue, 12 Oct 2004 17:09:58 +0900
"茅野泰明@DB" <chino****@desig*****> wrote:

> 理由でしばらくトップページにアクセスできないでいると、「登録サイト」から
> も抹消されてしまうのですかねぇ?

わざわざ確認してるってことは、そういうことなんじゃないかって気がしますよ
ねやっぱり。

もしかしなくてもYahoo!は、特に古い時期に(タダで)登録されたサイトを出来
るだけふるい落としたいんじゃないかな〜、とか邪推してます(^_^;)

> ところで、ずっと気になっていたのですが、SpiderKillerは、アクセスしてきた
> エージェントがスパイダーかブラウザかに応じて出力するページ(といってもセッ
> ションですが)を変えますよね。その程度であれば、いわゆるGoogleとかが警告
> している「人が見るページとスパイダーが見る(?)ページが異なる」というこ
> とにはならないのでしょうか?

その辺が気になることは当方にも理解出来ます。実際当方も躊躇しました。遡っ
て、mklistが現在のような「一覧表形式(ハブ)」になったのは

「クローラーを識別する動作をクローキングと見なされること」

を強く怖れたってな面が否定出来ませんし。

http://www.google.co.jp/webmasters/faq.html#cloaking

実は、「クローラーを呼び込む手段」の最初のアイディアにはSpiderkiller的な
ものもあったんです。まぁ、当時の当方のスキルでこれが実現出来たかどうかは
大いに疑問ですけど、ね(ぉ

が、何月号だったか忘れましたがインターネットマガジンのSEO講座で

http://www.google.co.jp/webmasters/guidelines.html

> セッション ID やサイト内のパスを追跡する引数がなくても、サーチ ロボット
> がサイトをクロールできるようにしてください。

↑コレを論拠として

「セッションID等の有無で表示されるページの内容が変わらない(=同一内容が
表示される)のであれば、クローラーにセッションID等のないクリーンなリンク
を与えることは、むしろ上記ガイドラインに沿った“良いこと”だ」

と書かれてまして実際にAmazonでそうなってるので、現在は

「クローラーにクリーンなurlを与えることはクローキングに当たらない」

と理解してます。

Amazonが各所から集めてるリンクは殆どがアファリエイトID付きなハズなのに、
実際にGoogleで書名を検索した時に表示されるリンクはそうしたIDを含まないク
リーンなもの→これはAmazonがリンクを追って来たクローラーを識別してクリー
ンなurlにリダイレクトしてるからで、

「UAで区別して与えるurlを変えること」

がクローキングとされるならこれらは全部アウトになってるハズなのに、実際に
アウトとはされてない→つまりこういう

「(UAに応じてurl“だけ”をすげ替える)Spiderkiller的なもの」

ってのはセーフなのだろう、と(^_^;)

はまだ






Tep-j-general メーリングリストの案内
Back to archive index