贅沢な悩みかもしれませんが・・・

Google-botのクロール頻度

先日来の自社サーバー負荷増大ですが、いろいろと対処をして、かなり落ち着いてきました。
先週一週間はこれのせいで本当に疲れたヨ・・・

で、原因のひとつとしてあげていたのが検索エンジンクローラーの頻繁なアクセスなんですが、それを証明する（誰に？という話はおいておいて）のがこのグラフ。

これは、自分の会社のドメイン（ling-factory.com＝このブログもこのドメインです）にGoogle-botがクロールした履歴なんですが、1日あたりのクロールされたページ数が最大で7738回・・・orz

１日24時間って何秒？と、計算しようと思ったけど面倒なのでGoogleで検索(笑)

１日は86 400 秒だそうです。
と、すると・・・11秒間に1回はGoogle-botがクロールしているという事になります。
これってどうよ？？

もちろん、そんな等間隔でクロールする事はないので、1秒間に数回のアクセスなんていう事もあるわけで、さらに検索エンジンのクローラーはGoogleだけではなくYahooやMSN、さらにさらにお行儀の悪い百度やNavar、他の国の検索エンジンもサーバーの中のファイルに銃弾爆撃を・・・・

これで、サーバーの負荷が上がらない訳がないですよね・・・

という事で、来てもらわなくても良いロボットさんは、.htaccessでIPごと拒否し、Yahooなんかはクロール頻度をrobots.txtに明記して時間を置いて来てもらうようにしました。

ただ、Googleさんにはこれが通用しないようなのでウェブマスターツールからクロールの頻度を最低に下げて通知。

検索エンジンの上位に表示されるには、クロールしてもらわないとダメなんですけど、サーバーが落ちちゃったら意味ないので。
まあ、ある意味贅沢な悩みではあります。

頻度さえ常識内なら問題ないのですけどね。