metaタグのrobotsとは？ロボットのこと？
metaタグと言えば、keywords、descriptionが有名ですが、robotsもあります。
robotsはGoogleなどの検索エンジンのクロールをコントロールするものです。
検索エンジンのクロール＝自動的にサイトをクロール＝ロボットがクロールする＝robots
ですから、robotsなんですね。
クローラーはWEBサイトの情報を集めている
検索エンジンのクロールは、インターネット上にあるWEBサイトのページ情報を集めています。
ネット上をクロールしながら（泳ぎながら）、サイト情報を収集している訳です。
しかし、情報を収集するだけでは検索結果には表示されません。
検索結果に表示される為には、Googleにインデックスされる必要があります。
検索エンジンにインデックスされるってどういうこと？
Googleにページがインデックスされていれば、Googleの検索結果に表示されます。（表示順位はともかく表示対象になるということです）
もちろん、Googleにインデックスされていないページは、どんなに優れているページでも検索結果に表示されることはありません。
また、クローラーがサイトにやって来たからといって、すべてのページがインデックスされる訳ではありません。
どのページがインデックスされているかは気になるところですが、ちゃんと確認方法はあります。
また、インデックスされていないページを手動でインテックス登録することも可能です。
metaタグのrobotsは、検索エンジンのクロールを制御することが可能
metaタグのrobotsは検索エンジンのクロールをコントロールすることが可能です。
インデックスして欲しいページには「インデックスしてね」と記述し、インデックスして欲しくないページには「インデックスしないでね」と記述します。
また、SEO的に低品質なページをインデックスさせないことで、サイトの評価を上げることができると言われています。
最近のGoogleはコンテンツを重視しています。
質の悪いページがあれば質を上げれば良いのですが、それができない場合は質の悪いページは無視して貰います。
インデックスされないようにrobotsを設定すれば良いだけです。
参考：インデックスの整理で検索流入が二倍になった話
metaタグのrobotsの設定にはどのようなものがあるか？
以下はrobotsの設定です。
- noindex：検索エンジンにインデックスさせたくない時に設定
- nofollow：検索エンジンにそのページ内のリンクをたどらせたくない時に設定
- noarchive：検索結果にキャッシュへのリンクを表示させたくない時に設定
- noodp：スニペット（検索結果のタイトル下の文章）にDMOZの紹介文を引用させたくない時に設定
- noydir：スニペットにヤフーディレクトリの紹介文を引用させたくない時に設定
上記全てを設定する場合の記述方法は以下となります。
＜meta name="robots" content="noindex,nofollow,noarchive,noodp,noydir">
尚、metaタグrobotsを記述していない場合、クローラーもインデックスも許可することになります。
WordPressでmetaタグrobotsを設定する
余談ですが、WordPressでサイトを構築している場合は、プラグインのAll in One SEOでmetaタグrobotsを設定することが可能です。
All in One SEOの設定画面にNoindex設定がありますので、投稿ページ、固定ページなどページ種別ごとに設定できます。
もちろん、各ページごとに設定することもできます。
