SEO対策~検索ロボット(クローラー)の制御

1.robots.txtとは

Googleなどの検索サイトロボット(クローラー)に、ファイルやディレクトリにアクセスしていいかどうか(インデックスしてもいいかどうか、検索結果に表示していいかどうか)を制御するためのファイルです。クローラーは、ドキュメントルートディレクトリ直下に、robots.txtを探しに行って、あればその指示に従う(はず)です。

2.robots.txtの記述例

記述内容は難しくありません。次のようなものです。

(例1)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合(完全拒否)

User-Agent: * Disallow: /

(例2)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを許可する場合

User-Agent: * Allow: /

(例3)すべてのクローラーに、/wordpress/にはアクセスして欲しくない場合

User-Agent: * Disallow: /wordpress/

(例4)Googleのクローラーだけ、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合

User-Agent: Googlebot Disallow: /

※Googleウェブマスターツールのヘルプを参照して、robots.txt生成機能を利用するのもよろしいかと思います。