【初心者向け】robots.txtとは？書き方・設定時の注意点や活用法を優しく解説！
「せっかく作ったページが検索エンジンに登録されない…」 「一般公開したくない管理画面が、なぜか検索結果に出てきてしまう…」 そんな悩みを解決し、検索エンジンのクローラーを適切にコントロールするために欠かせないのが「robots.txt（ロボッツテキスト）」です。 この記事では、robots.txtの基本から正しい書き方、設定時の注意点、具体的な活用例までをわかりやすく解説します！ そもそも「robots.txt」とは？ robots.txt とは、Googleなどの検索エンジンのクローラー（ロボット）に対して、 「サイト内のどのページを巡回（クロール）してよいか、またはダメか」を伝えるためのテキストファイル です。 正しく設定することで、SEO効果を高めたり、サーバーへの不要な負荷を減らしたりすることができます。 robots.txtの主な3つの役割 特定のページへのアクセス制限 検索エンジンに「クロールしてほしくないページ（管理画面や開発中ページなど）」を伝えます。 クロール速度の調整 アクセス頻度を制御し、ウェブサーバーへの不要な負荷を軽減します。 サイトマップ（Sitemap）の位置を伝える サイトマップのURLを示すことで、クローラーが効率よくサイト全体を巡回できるようにサポートします。 注意点 robots.txtは「クロールを拒否する（巡回させない）」ためのものであり、 「インデックス（検索結果）から完全に消す（noindex）」ためのものではありません。 完全に検索結果から非表示にしたい場合は、 noindex タグを使用しましょう。 robots.txtの書き方と基本ルール robots.txtは非常にシンプルな構文で記述します。テキストエディタ（メモ帳など）で作成し、ファイル名を robots.txt にします。 基本的な記述ルール 基本となるのは以下の4つの「ディレクティブ（命令）」です。 項目 意味 User-agent: 対象にするクローラーの名前を指定します（例: Googlebot ）。 Disallow: クロールを 禁止 するディレクトリやファイルのパスを指定します。 Allow: 禁止したディレクトリ内で、 例外的にクロールを許可 するパスを指定します。 Sitemap: サイトマップ（XML）の 絶対URL を指定します。 ...