ロボット弾き

あんまりいらない。。ってか、メールアドレス収集に来ているロボットや、なんか怪しいロボットなんかはクロールしに来なくていいっちゅうねん！！

robotはぢきについて
不躾なロボット達。
参考にさせて頂きました。
先日「大量クロール制御を考える」で行った　robots.txt　の設置。
まぁほぼ同じくして上記を参考に　「.htaccess」　にもロボット制御。。というかアクセス制御の項目を追加しておきました。
「拒否ユーザーエージェント・IPアドレス一覧」←ほぼ、こちらに沿って設定しています。
悪名高き？！NAVER は先日終了のお知らせがありました。クローラーもいなくなるのでしょうか？？ってかもういない？？新サービスの方が新しいクローラーロボットを発進していたりして。。
なんかヤッターマンのゾロメカちっくです。まぁ、そんなにゾロゾロやってくるのはgoogleくらいかもしれませんが。。
改めてロボット含めた総アクセスログ解析してgoogle多いことにびっくりしました。結構激しいかも。
ところで、参考にした「robotはぢきについて」ですが、最初勝手に「robotはちぎについて」って読んでました。。あほ。
もう自分の中ではウザイロボットはちぎっては捨てちぎっては捨て。。こんな感じを勝手に想像。。（W