robots.txtとは?書き方・置き場所と確かめ方を整理

白い背景の前に立つ青いブリキのロボット

「robots.txt を見直してと言われたけれど、1行間違えたらサイトが検索から消えるのでは」。そう感じて、ファイルを開いたまま手が止まる方は少なくないはずです。noindexとの違いがあいまいで、何をどこまで止めてよいのか判断がつかないという迷いも重なります。

そこで本記事では、robots.txtの役割と置き場所、書き方と記述例、よくある誤りを整理します。当社(株式会社街中文学)は、企業向けにデータベースSEO対策やSEOコンサルティングを提供する会社です。

あわせて、Search Consoleでの確かめ方や「ブロック」の表示への対処、AI関連の設定との付き合い方も同じ流れでつかめます。

目次

先に結論:robots.txtはクロールの交通整理

robots.txtは、検索エンジンのクローラーに、どのURLを見に来てよいかを伝えるテキストファイルです。検索結果からページを隠す道具ではないため、noindexなどと使い分けましょう。

  • 役割は巡回の制御で、検索から隠す道具ではない
  • 置けるのはホストの最上位の1か所だけ
  • 書いたらSearch Consoleで効き方を確かめる

1つ目は、巡回を止めても、リンクされたURLは説明文なしで検索結果に出る場合がある点です。Googleはrobots.txtの概要で、検索結果に出さないにはnoindexかパスワード保護を使うよう案内しています。

2つ目について、/pages/robots.txtのように下の階層に置いたファイルは、クローラーが確認しません。3つ目は、1行の書き間違いで出したいページまで巡回が止まるのを防ぐためです。

やりたいこと 向いている方法
クローラーの巡回を減らしたい robots.txt の Disallow
ページを検索結果から外したい ページ側の noindex
画像や動画を検索に出したくない robots.txt の Disallow
関係者以外に見せたくない パスワード保護
Gemini の学習への利用を管理したい robots.txt の Google-Extended

robots.txtの役割とnoindexとの違い

robots.txtは巡回する範囲を決めるファイルで、検索結果に載せるかを決めるnoindexとは役割が違います。取り違えると、狙いと逆の結果になりかねません。

腕を上げたブリキのロボットのおもちゃ

クローラーに巡回してよいURLを伝える

robots.txtは、ページを自動で集めて回るクローラーに「ここは来てよい」「ここは来ないで」と伝える指示書です。Googleはrobots.txtの概要で、主にサイトへのリクエストの集中を防ぐためのものと説明しています。仕組みはクローラーとはで扱っています。

重要でないページへの巡回を減らせば、クロールバジェットの節約にもつながるでしょう。ただしGooglebotのような信頼できるクローラーは従いますが、すべてが従うとは限りません。

検索結果からページを隠す仕組みではない

robots.txtで巡回を止めても、検索結果から消えるとは限りません。Googleによると、止めたURLでも他のページからリンクされていれば、中身を読まずにURLだけが登録されることがあります。

その場合は説明文のないURLが出て、「止めたのに出ている」状態になるわけです。例外は画像・動画・音声のファイルで、robots.txtで検索結果への表示を止められる仕組みです。

検索結果から外すならnoindexを使う

ページを検索結果から外すには、ページ側にnoindex(検索結果に載せないでという指示)を書きます。書き方はnoindexの解説にまとめました。noindexはGoogleがページを読んで初めて伝わるもので、noindexのヘルプはrobots.txtでブロックしたページのnoindexは認識されないと明記しています。

当社が2026年10月に自社メディア(WordPress)の9種類のページを1回ずつ取得したところ、初期設定のnoindexはサイト内検索の結果ページだけで、投稿者別や月別の一覧ページには付いていませんでした。1つのサイト・1回の結果で構成によっても変わるため、一覧を検索に出すかは自分で決める必要がありそうです。

robots.txtを置く場所とファイルの決まり

robots.txtは、ドメインの一番上の階層に置いたものだけが読まれます。サブドメインやhttp・httpsごとに別のファイルが要る点も押さえておきましょう。

白い机に並んだ2台のモニター

置けるのはホストの最上位の1か所だけ

Googleのrobots.txtの書き方、設定と送信によると、ファイルはホストのルート(一番上の階層)に「robots.txt」という名前で1つだけ置き、サブディレクトリには置けません。

当社が2026年10月に、/media/ の下にWordPressを置いた自社メディアで確かめると、ホスト直下の /robots.txtは表示され、/media/robots.txtは404(ページが無い状態)でした。下の階層に置いたrobots.txtは読まれないため、ホストの最上位のファイルを開いて中身を確かめ、止めたいパスはそこに書き足しましょう。ルートを編集できなければ、ホストの管理者に頼んでください。

サブドメインごとの設置と文字コード

robots.txtのルールは、ファイルを置いたプロトコル・ホスト・ポートの中だけで効きます。https://example.com/robots.txtのルールはm.example.comやhttpのURLには効かないので、サブドメインごとに置く必要があるわけです。

ファイルはUTF-8の書式なしテキストで保存します。ワープロソフトだと想定外の記号が混ざるおそれがあるので、テキストエディターで作るのが安心でしょう。

今泉の視点:私は、robots.txtは「書き足す前に、止めてはいけないページを止めていないか」を確かめることから始めるのを勧めます。制作中に入れたDisallowが残っていても、Search Consoleのrobots.txtレポートを一度開けば取得の状況を確かめられるため、書き方を覚えるより先に事故を見つけやすいからです。

robots.txtの書き方と記述例

robots.txtは「どのクローラーに(User-agent)」「どこを止めるか・許すか(Disallow・Allow)」を組み合わせて書きます。ルールが重なると、上から順ではなく長く具体的なものが優先されます。

窓辺の木の机に置かれたモニターと作業スペース

Googleが読む項目は4つだけ

Googleのrobots.txtの指定の解釈によると、Googleが対応する項目は次の4つです。

  • User-agent:ルールを当てるクローラー
  • Disallow:巡回させないURLのパス
  • Allow:巡回を許すURLのパス
  • Sitemap:サイトマップの完全なURL

User-agentの「*」は、ほぼすべてのクローラーが対象です。ただしGooglebot専用のグループを作るとGooglebotは「*」のグループを読まないため、同じ禁止を専用グループにも書きましょう。行頭に「#」を付けた行は、メモとして無視されます。

DisallowとAllowで止める範囲を決める

Disallowには巡回させないパスを「/」から書き、Disallow: /private/ ならその下がすべて対象です。Allowは止めたフォルダの一部だけを許すときに使い、何も書かなければすべて許可される扱いになります。

Disallow: のあとが空なら何も止めず、Disallow: / ならサイト全体を止めるため、公開前に見直しましょう。

「*」と「$」でURLをまとめて指定する

パスでは「*」が0文字以上の任意の文字を、「$」がURLの末尾を表します。Googleの解説の例で見ると分かりやすいはずです。

書き方 当てはまる例 当てはまらない例
/fish /fish.html、/fishheads /Fish.asp、/catfish
/fish/ /fish/ の中のページ /fish、/fish.html
/*.php$ .php で終わるURL /filename.php?parameters
/$ トップページだけ トップ以外のURL

パスは大文字と小文字を区別し、先頭からの一致で判定します。末尾の「*」は付けても付けなくても同じ意味です。

長く具体的なルールが優先される

Googleは、当てはまるルールのうちパスが長い(より具体的な)ものを使い、同じ強さでぶつかったら制限の少ないAllowを優先します。

たとえばAllow: /pとDisallow: / なら、/pageには長いAllow: /pが当てはまり、巡回は許可される形です。一方、Allow: /pageとDisallow: /*.htmでは、/page.htmにパスの長いDisallowが勝ちます。行の順番は結果に関係しない点も覚えておきましょう。

そのまま使える記述例

よく使う3つの書き方です。example.comは自社のドメインに置き換えてください。

目的 書く内容 意味
WordPressの標準 User-agent: * すべてのクローラーが対象
WordPressの標準 Disallow: /wp-admin/ 管理画面を止める
WordPressの標準 Allow: /wp-admin/admin-ajax.php このファイルだけ許す
サイトマップの場所 Sitemap: https://example.com/sitemap.xml 自社のサイトマップのURLを書く
公開前のテスト環境 User-agent: * すべてのクローラーが対象
公開前のテスト環境 Disallow: / サイト全体を止める
絞り込みURL User-agent: Googlebot Googlebot が対象
絞り込みURL Disallow: /*?*color= color 付きのURLを止める

テスト環境のDisallow: / を公開時に消し忘れると、サイト全体の巡回が止まります。URLの登録までは防げないため、パスワード保護も併用しましょう。絞り込みURLは絞り込みページの扱いやGoogleのファセットナビゲーションURLのクロール管理が参考になります。

robots.txtのよくある誤りとAI関連の設定

よくある誤りは、止めてはいけないファイルを止めることと、Googleが読まない書き方を信じることです。AI関連の設定も、検索への影響を取り違えやすいでしょう。

窓のある部屋に並んだ机とノートパソコン

CSSやJavaScriptを止めてしまう

見た目を整えるCSSや動きを付けるJavaScriptを止めると、Googleはページを正しく読み取れなくなります。GoogleのSEOスターターガイドも、ユーザーのブラウザが読めるファイルはGoogleも読める状態が理想だとしています。

古いサイトではテーマのフォルダを丸ごと止める設定が残っている場合もあるため、DisallowのフォルダにCSSやJavaScriptが無いか見直してください。

noindexなどGoogleが読まない記述

robots.txtに「Noindex:」や「Crawl-delay:」と書いても、Googleには効きません。Googleは2019年7月のブログで、robots.txtのnoindexなどの非公式なルールの処理を同年9月1日にやめると発表しました。

巡回を減らしたいときはGoogleが案内するクロール頻度を下げる方法を使い、401や403を返すやり方は避けましょう。noindex付きのページをrobots.txtで止めると、noindexが読まれず検索結果に残ることがあります。

隠したい場所を書くと誰でも読める

robots.txtは誰でもブラウザで開けるファイルなので、管理画面や未公開ページのパスをDisallowに書くと、かえってその場所を知らせることになりかねません。

IETF(インターネットの技術標準を決める団体)が定めたRFC 9309も、robots.txtはセキュリティ対策の代わりにならず、書いたパスは公開されると注意しています。見られたくない情報は、パスワード保護やアクセス制限で守りましょう。

Google-Extendedは検索の表示と別物

Google-Extendedは、サイトの内容をGeminiの学習や回答の根拠づけ(グラウンディング)に使わせるかを管理する名前です。Googleの一般的なクローラーのページには、Google検索への登録や順位に影響しないと明記されています。「User-agent: Google-Extended」の下にDisallowを書いて使い、専用のクローラーは来ません。

検索の「AIによる概要」などへの表示はGoogle-Extendedでは管理できず、AI機能とウェブサイトによるとGooglebot向けのrobots.txtやnosnippetなどで管理します。

Search Consoleでの確認とブロックの対処

robots.txtの効き方は、Search Consoleのrobots.txtレポートとURL検査ツールで確かめられます。「ブロック」の表示が出たら、検索に出したいページかどうかで対処を選びましょう。

robots.txtレポートで取得状況を確かめる

まずブラウザで「自社ドメイン/robots.txt」を開き、表示されるかを見ます。次にrobots.txtレポートで、Googleが最後に取得した日時と警告・エラーの有無を確かめましょう。エラーのある行は無視され、直したあとはこのレポートから再クロールをリクエストできる仕組みです。

クローラーが訪れたURLはサーバーの記録でも分かり、読み方はログ解析SEOを、全体の点検はSEOチェックリストをご覧ください。

「robots.txtによってブロック」の対処

ページのインデックス登録レポートのヘルプには、「URL が robots.txt によってブロックされています。」という状態の説明があります。robots.txtのためにGoogleが巡回できなかったという意味で、意図したブロックなら問題ありません。

検索に出したいなら、URL検査ツールでブロックを確かめ、robots.txtの該当行を外しましょう。出したくないなら、ブロックを外してnoindexを付けるのがGoogleの勧める方法です。サーバーの負担を減らすためだけなら、そのままで構いません。

ブロック中なのに登録されたときの対処

巡回は止まっているのに、リンクを手がかりにURLだけが登録されることがあります。同じヘルプでは「robots.txt によりブロックされましたが、インデックスに登録しました」という警告として扱われ、説明文がとても限られるおそれがあるとされています。

検索から外すなら、ブロックを外してnoindexを付けてください。ブロックを残すとGoogleはnoindexを読めません。出したいページなら、ブロックを解除すれば通常の巡回と登録に戻ります。

robots.txtのよくある質問

robots.txtで迷いやすい4つの点を整理しました。

robots.txtが無いとどうなりますか?

無くても問題はなく、その場合GoogleはすべてのURLをクロールするとrobots.txtレポートのヘルプで説明しています。気をつけたいのは /robots.txtでサーバーエラー(5xx)が返る状態で、Googleは最初の12時間サイトの巡回を止めます。置かないなら、404が返るようにしておくと安心でしょう。

書き換えはいつ反映されますか?

Googleはrobots.txtを通常最大24時間キャッシュ(一時保存)し、24時間おきに更新するため、反映まで1日ほどかかると考えておきましょう。ただし、robots.txtの取得に失敗しているときなどは、さらに長く前の内容が使われることがあります。急ぐときはrobots.txtレポートから再クロールをリクエストできます。

大文字と小文字は区別されますか?

「User-agent」などの項目名と、User-agentに書くクローラーの名前は、大文字・小文字を区別しません。一方でDisallowやAllowに書くパスは区別されるため、Disallow: /file.aspは /FILE.aspには効かない点に気をつけてください。

ファイルの大きさに上限はありますか?

Googleはrobots.txtの大きさの上限を500KiBとしており、超えた部分は無視されます。ルールが増えすぎたら、止めたいページを1つのフォルダにまとめて行数を減らすのがGoogleの勧める方法です。

まとめ

  • robots.txt はクロールの交通整理
  • 置けるのはホストの最上位だけ
  • 検索から外すなら noindex を使う
  • Search Console で取得状況を確かめる

robots.txtは巡回してよい範囲を伝えるファイルで、検索結果からページを隠す仕組みではありません。置けるのはホストの最上位だけで、長く具体的なルールが優先されます。検索から外したいページは止めずにnoindexを使いましょう。

まずは自社サイトの /robots.txtを開き、Search Consoleのrobots.txtレポートでエラーがないかを確かめてみてください。ページ数の多いサイトで巡回の配分に迷うときは、株式会社街中文学の資料や無料相談もご活用いただけます。

よかったらシェアしてね!
  • URLをコピーしました!

この記事を書いた人

株式会社街中文学 代表。DBSEO(データベース型SEO)・LLMO(AI検索最適化)・コンテンツマーケティングを専門に、東証上場企業や月間4,500万セッション級メディアのSEO支援を行ってきました。本メディアの全記事を執筆・監修しています。

目次