• ホーム
  • クローラーの巡回を促進するにはどうすれば良い?

クローラーの巡回を促進するにはどうすれば良い?

中にはウェブサイトを作っただけで、検索エンジンが自動的に情報を集めてくれるのではないか、と思っている人もいるかも知れません。
しかし、実際にはこれは正しくなく、場合によっては検索エンジンに登録されない事もあります。

例えば、自分のサイトが全く何処からもリンクされていないような場合には、検索エンジンはそのサイトの存在自体を知らないため、インデックスされる事はありません。
ただ単にサイトの内容を充実させればそれで充分とはならない訳です。

こうしたケースでは、自サイトをクロールしてもらえるようにGoogleに直接依頼するという方法があります。
その方法としては、Fetch as Googleという物を使用します。
Fetch as Googleは、Googleの検索エンジンがどのようにサイトをクロールしたり、レンダリングを行うかを確認するツールなのですが、これを使ってインデックスリクエストを送ることも出来ます。
Googleにリクエストを送れば、そのサイトが何処からもリンクされていなくてもクローラーが巡回出来るようになる訳です。

クローラーが自サイトの巡回を始めたら、次は巡回の頻度を高めて行きましょう。
それにはまず、サイトの更新頻度を上げる事が大切です。
サイトが頻繁に更新されるようになると、クローラーは常に新しい情報を確保しようとしてサイトを巡回する頻度を上げる事になります。
単純なようですが、こつこつとコンテンツを作成してウェブサイトの更新頻度を増やす事がSEO上有利になる訳です。

また、サイトの目次やXMLサイトマップを用いてサイト内をクローラーが巡回しやすくする事も大切です。
これらが充実していないと、検索エンジンはサイト内をどんな風に見て回れば良いのか分からず、収集される情報も少なくなってしまいます。

目次については、ユーザーが直接目にする事になりますから言わずもがなですが、分かりにくいのはXMLサイトマップかも知れません。
こちらはxmlファイルという形式で、クローラーに巡回してほしいページの情報を纏めておく物になります。

XMLサイトマップの詳しい書き方については別の機会に譲る事にします。
ですが、これを使用する際には、あらかじめrobots.txtというファイルの中にXMLサイトマップが何処にあるのかを記述しておかなくてはいけないので、その点だけは覚えておくようにしましょう。

関連記事