スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

オバケ退治 ロボット退治

検索ロボットについての正しい知識は下記リンク先からどうぞ。
IT用語辞典 検索ロボットとは

GoogleやYahooはこれらロボットを使って数多あるウェブサイトの情報を収集している訳になります。
ってそんな事はいくらなんでも知っていますか(笑)

そもそもロボット検索って何かと言うと。

ネットにはGoogleさんとかYahooさんとか言う情報通が居て、新しい情報を求めて常にネットサーフィンをしている。彼らは人に質問されると、質問された内容について、過去に見たホームページの知識を披露する。(これがロボット検索)
GoogleさんやYahooさんはネットサーフィンする時、専用のブラウザを使う(これが検索ロボットと呼ばれるモノ)

なんだか言葉が足りない気がするけど…。こんな感じかなあ。

ロボットは普通にサイトを訪問しています。ただ、レンタルのアクセス解析やCGIの解析の多くはロボットに反応しないので、いつ来たのか分からないだけです。
ちなみにサーバーのログ(生ログ。有料のサーバだと見れる所が多いです)を見てみると、ロボットも普通に訪問しているのが分ります(挙動不審な事が多いけど)。
何だかスゴイ方法であなたのサイトの情報を持って行く訳じゃないんです。

今、必要以上にロボット検索を怖がったり、妙な誤解が広まったりしているのは、初心者が使うレンタル解析で検索ロボットを見つけられないからではないかな、と、私は思っています。
見えないお化けを怖がるような感じですね。

「ロボット=お化け」を退治をするのに、「忍者やCGIのアク解しか無い人=霊感の無い人」「サーバのログが見れる人=霊感の有る人」みたいな気分です。
サーバのログって難しそうですか?でも、ログが見れるサーバを借りてしまえば、あとは勝手にサーバがログを残してくれるから、こっちでする事なんて何も無いんですよ。意外にもレンタル解析をつけるよりずっと楽ちんです(ただ、データが膨大すぎて、日々チェックしようとは思えないのが欠点)

ちなみに最近我が家に来たロボットたちはこんな感じ。
crawl-66-249-72-4.googlebot.com
 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

(googlebot.com地方のGooglebot/2.1さん。Googleロボットの正体)
lj612390.inktomisearch.com
 Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

(inktomisearch.com地方のYahoo! Slurpさん。yahooロボットの正体)
livebot-65-55-209-79.search.live.com
 msnbot/1.0 (+http://search.msn.com/msnbot.htm)

(search.live.com地方のmsnbotさん。MSNロボットの正体)

どうですか。これが怖いお化けの正体です。人間だって
「dion.ne.jp地方のInternet Explorerさん」だったり「softbank.bbtec.net地方のFirefoxさん」だったりするわけですから、後は人間相手と同じように対処すれば良いのです。
ただ、人間の言葉が通じないからMETAタグや、robots.txtを使うんです。

METAタグは「あなたと仲良くしたくありません。帰ってください」と各自に言わせる方法。
robots.txtは「あなたに来て欲しくありません。回れ右でお願いします」とサイト入り口に書いておく方法。

ちなみに、注意しても聞いてくれないロボットだったら、人間の荒らしと同じようにアクセス禁止にする事も可能です。
.htaccessは「あんたに来て欲しくないから、もうアク禁!」って事です。(.htaccessは人間相手のアク禁にも使います)

お願い(robots.txt)を無視すればアク禁(.htaccess)かけられるのは人間もロボットも一緒です。
ロボットをアク禁にされちゃったら、YahooさんやGoogleさんだってサイトの内容を見る事が出来ませんから、人に質問されても、あなたのサイトのについて答える事ができなくなる訳です。
.htaccessが強いのはこう言う理由です。
スポンサーサイト

Template Designed by DW99

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。