SEO対策~検索ロボット(クローラー)の制御

1.robots.txtとは

Googleなどの検索サイトロボット(クローラー)に、ファイルやディレクトリにアクセスしていいかどうか(インデックスしてもいいかどうか、検索結果に表示していいかどうか)を制御するためのファイルです。クローラーは、ドキュメントルートディレクトリ直下に、robots.txtを探しに行って、あればその指示に従う(はず)です。

2.robots.txtの記述例

記述内容は難しくありません。次のようなものです。

(例1)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合(完全拒否)

    User-Agent: *
    Disallow: /
    

(例2)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを許可する場合

    User-Agent: *
    Allow: /
    

(例3)すべてのクローラーに、/wordpress/にはアクセスして欲しくない場合

    User-Agent: *
    Disallow: /wordpress/
    

(例4)Googleのクローラーだけ、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合

    User-Agent: Googlebot
    Disallow: /
    

Googleウェブマスターツールのヘルプを参照して、robots.txt生成機能を利用するのもよろしいかと思います。

Comments are closed.