最近、大手検索エンジンがおかしい？

というのは、google,yahoo,MSN等といった大手の検索エンジンの話である。


では、いったい何がおかしいのか？となると、その説明にはここでは書き表せないかも？


まず、存在しないアドレスをインデックスされている。

そのアドレスの一部として、ここに記す。


このサイトはebook houseとなっていて、そのURLは

< http://peter-j.com/> 若しくは、<http://www.peter-j.com/>となるのだが、このトップアドレスの下に、各ページが存在している。


そしてその各ページのアドレスは、< http://peter-j.com/item_1234.html >となるはずなのだが、 < http://peter-j.comitem_ >といったものをインデックスされてしまっている。


こういったものを回避するために、robot.txtで制限をかけてはいるのだが？

また、yahooがその日のうちにクロールするのは、最近では有名な話なのだが、MSNも同じようにその日のうちにクロールしまくっているようだ。


となると、googleさんは、従来どおり翌日のクロールとなり益々、yahooさんやMSNさんに大きく差をつけられてしまっているとなる。


いずれにせよ、行儀の良い大手検索エンジンのgoogleさん、yahooさん、そしてMSNさんの行儀を見直さなければならないのであろうか？