.htaccessの記述を行った。


それは、とうとう、てゆうか、噂の韓国からのロボットなのか、日本人の厨房なのかはわからない輩がやってきた。

この輩は、魂が無いというか、スピリット等も全くないようで、とにかく変なクロールを根こそぎしていくから困ったもののようで...


確か２チャンネルでも同様のクローラー？の対処法について議論がされている。

こんな時には迷わず、.htaccessに、下記のような記述をすれば、そのＩＰホストをはじいてくれる。


↓　↓　↓　↓



.htaccess


order allow,deny

allow from all

deny from remote.host.com

Deny from xxxx(ＩＰ記述)


これに加え、robots.txtにて、そのへんてこりんなクローラーのアドレスを記述すればよいとなる。


↓　↓　↓　↓



robots.txt


User-agent: Baiduspider

Disallow: xxxx(クロールを制限する記述)