Baiduspiderをアクセス拒否
自宅サーバーのアクセスログを眺めていると、特定のホストからのアクセスが非常に多いです。そのアクセスのユーザーエージェントに Baiduspider という文字があったので調べてみたら…、「百度」という中国の検索サイトのクローラーのようです。
以前はこのクローラーからのアクセスが異常に多く、その負荷が問題になるほどだったので、色々なサイトがアクセス拒否の対策をとったらしい。
今は負荷が問題になるほどのアクセスではないけど、中国向けの情報は配信していないので、robots.txt に以下の記述を追加しておきました。
User-agent: baiduspider
Disallow: /これでクローラーを拒否できるらしい。しばらく様子見。