"茅野泰明@DB"
chino****@desig*****
2004年 10月 12日 (火) 11:06:11 JST
はまだ様 茅野です。 ご回答ありがとうございます。いつも参考にさせていただいております。 > Yahoo! DE Slurpは新型のスパイダーで、どうもトップページだけしか取得しな > いみたいです。確たる証拠が有るわけではないのですが、どうもYahoo!の登録サ > イト（というかurl）のみ対象にしているような感じ。 なるほど、Yahoo!のディレクトリには登録されていますので、そうなのでしょう ね。だとすれば、すでに登録されているページをわざわざクロールしにくるのも あまり意味はないような気がするのですが．．． > > ということで、クロール対象として注目されるべきは「Yahoo! DE Slurp」では > なく「Yahoo! Slurp」の動向みたい。 Yahoo! Slurpにもいろいろと種類があるのですね。勉強になりました。 > Y!Slurpは集中攻撃をせず、多IPから連日ちょこちょこと、その代わりに切れ目 > なくだらだらとクロールするようですので、一覧からリンクを追ってサイト全体 > をクロールするようになるには少し時間が掛かります。 > > mklist2をそのまま使われてるとしますと/list/list.htmlと一覧のurlが１段深 > くなってしまいますんで、巡回の順番的にもちょっと不利（後回し）になってる > 可能性もあります。 > > もう少し待ってみられるのはどうでしょうか？ 当のサイトはまだ立ち上がって一ヶ月程度しか経っていませんので、しばらく待っ てみることにします。それにしても、Googlebotとは挙動がまったく違うものな んですね。Googleではすでに2300ページほど登録されていますので。 mklist2のおかげだと思います。感謝です。 -- デザイナーバンク株式会社 東京都新宿区百人町1-23-23コウギンビルB-A 茅野泰明 <chino****@desig*****> tel:03-3363-6233
