2006年03月19日

Webのアクセスログでロボットの巡回を把握

GoogleやYahoo,MSNのように検索エンジンでの上位表示のためにも、できる限りデイリーでクロールしてもらいたい正統派ロボットもあれば、一日に何度も、しかも迷惑な時間帯に集中的にアクセスしてくる怪しいロボットもある。

まずは、どのようなロボットからどのような頻度でアクセスを受けているか把握することは安定したWEBサーバの運用のためにも欠かせない作業だ。


# grep robots.txt access_log.20060401 | wc -l
(robots.txtへのアクセス数をカウント)

# sort agent_log | cut -f2 -d']' | uniq > agent_list
(agent_logファイルでクライアント・プログラムをリスト化)

posted by CoolTool at 23:22| Comment(0) | TrackBack(0) | WEB・インターネット | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバックURL
http://blog.seesaa.jp/tb/15108385

この記事へのトラックバック

最近のトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。