ZAPAnet総合情報局 > [Z]ZAPAブロ〜グ2.0 > プログラミングTIPS > Googleウェブマスターツールのクロール頻度

Googleウェブマスターツールのクロール頻度

このエントリーをはてなブックマークに追加
2009年02月24日 カテゴリ:プログラミングTIPS
最近、Google(クローラー)からのアクセスが多すぎるので設定を。

「Google ウェブマスター ツール」の設定ページを開き、「クロール頻度」の「カスタム クロール頻度」を設定を選択。



確認してみたところ、「2秒間に1回のアクセス」がデフォルトになっていました。
つまり「1日43200アクセス」、「月間約130万アクセス」がGoogleのクローラーから発生するということになります。

一番右端の「高速」のところまで、バーを引っ張っていってみたところ…



「秒間4.25アクセス」という激しいクロール頻度まで設定できるようになっていました。この頻度でアクセスされると、サーバーが持たないかもしれません。

というわけで、カスタムでクロール頻度を少し下げておきました。