2. html/robots.txt について

 
2.1 robots.txt とは
2.2 記述方法

2.1 robots.txt とは

 「robots.txt」とは、Google に代表される検索エンジンが、ウェブサイトをクロールするときの動きやインデックスへの登録を制御するためにファイルです。  ウェブサイトのドキュメントルートに配置します。

2.2 記述方法

 書き方の基本形は以下の通りです。
User-agent: *
Allow: /
Sitemap: http://freebsd.sing.ne.jp/sitemap.xml

 ディレクティブを記述して、: の次にディレクティブに関する指定もしくは制御を記述します。

ディレクティブ 指定・制御
User-agent どの検索エンジンに対する定義なのかを示します。
* を指定した場合は、すべての検索エンジンを対象とします。
Robots Database」に検索エンジンが登録されているので参照することができます。
Allow ディレクトリを記述して、そのディレクトリ以下を検索することを許可します。
Disallow ディレクトリを記述して、そのディレクトリ以下を検索することを禁止します。
Noindex ディレクトリを記述して、そのディレクトリ以下を検索にインデックスとして登録することを禁止します。
Sitemap サイトマップの配置場所を示します。

 Google に関しては、「Robots.txt の仕様」で、このように動作しますという説明がありますので、そこに準ずる書き方をすれば、ほぼ、思ったように動いてくれるようです。
 他の検索エンジンに関しては、まだ調べていません。