妙なクローラー。。

最近(といっても先月くらいから目だってかな)やたらと inktomi系のクローラーがやってくる。。正確には普通に他のクローラー、ロボットもやってきていると思うのだが、こいつはなんかちょっと変だ。


何故変かというと。。
・SSI式じゃない普通のアクセス解析(JavaScript+IMG式)で捕まえることが出来る
・キャッシュを頻繁にアクセスしている??
ということです。他のクローラーは生ログやSSIで解析するのが一般的だったと思うのだが、この inktomi系(lj2000系)は普通のアクセス解析に頻繁に顔をだす。変なヤツだ。JavaScript は OFF だが。。まぁ、こいつに限らず、たまぁーに捕まえることが出来るクローラーもいるが。。。なんかユーザエージェント値偽装でもしているんぢゃないかなとも疑ってみたくなったりもする。
あと、http://souko.web.infoseek.co.jp/blog/ から  https://mook.jpn.org/ へ引っ越したブログですが、一応古いアドレスから .htaccessで転送かけています。ファイルも削除してアクセスできないようになってます。 で、古い方と新しい方とアクセス解析を分けてますが、どうもこの lj2000系 は古い方のキャッシュに頻繁にアクセスしてやがる。。何がしたいんだ??
「古い記憶も掘り起こせ!」的なクロール作業でもやってるんでしょか?なんだか妙なクローラーです。
Yahoo系のSEO考察について。。参考にしている。。
lj系クローラーの大量来襲

スポンサーリンク

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
Highslide for Wordpress Plugin