[Tep-j-general] google 検索ロボットの挙動

Back to archive index

hamada bungu****@leo*****
2007年 10月 20日 (土) 14:07:14 JST


こんにちわ。

On Wed, 10 Oct 2007 16:27:53 +0900
高橋 <ttaka****@ybb*****> wrote:

> また、検索頻度が凄く高くなることも良くあります。30秒間隔く
> らいで2時間くらい連続ということもあります。いくらなんでも
> google 様を拒否するわけにもいかないので、どうしたものかと。

この件ですが、別件で調べ物をしてた際に

Perl、PHPでGooglebotを一定の確率ではじく
http://chalow.net/2007-05-01-2.html

↑こんなの見付けました。

上記例では一定の確率で弾いてますが、理屈は非常に単純なので、システムの状
態に応じて確率を変えるとかもアリかと思います。

この手で他のロボットも処理出来ますが、他のは大体定数的なアクセスでそんな
に変動しないのが多いので、基本はGooglebotかな(^_^;)

最近はbecomeも、それほど極端には責めて来なくなってますし。

「拒否/許諾の2択」

と思い込んでたところが有りましたんで、ちょっと新鮮でした。


はまだ




Tep-j-general メーリングリストの案内
Back to archive index