新しく公開した求人や商品のページがなかなか検索結果に出ず、「クロールバジェットの問題かもしれない」と言われても、自社に関係があるのか判断しにくいものです。対策の名前は知っていても、どこから手を付けるべきか迷う場面も少なくありません。
そこで本記事では、クロールバジェットを決める要素と、自社が気にすべきサイトかの見分け方を整理します。当社(株式会社街中文学)は、データベース型サイトのSEO支援を手がける会社です。
あわせて、Search Consoleの「クロールの統計情報」での確かめ方と、無駄なクロールを減らすための直す順番も、実務の流れに沿って解説します。
先に結論:クロールバジェットは対象サイトが気にする
まず最初に、結論からお伝えします。クロールバジェットは、Googleが1つのサイトをクロールできる量と、クロールしたいと考える量で決まる枠のことで、すべてのサイトが対策すべきものではありません。
- 自社が対象のサイトかを先に見分ける
- クロールの統計情報で現状を確かめる
- 無駄なURLを減らす順に整える
1つ目は、自社が気にすべきサイトかを先に見分けることです。Googleの公式ガイドは、主な対象を大規模で更新の多いサイトや、URLの大部分が「検出 – インデックス未登録」になっているサイトとしています。公開した日にクロールされている小さなサイトなら、ほかの改善を優先して構いません。
2つ目は、Search Consoleの「クロールの統計情報」で、サーバーの状態とクロールの中身を確かめることです。数字を見ずに対策を始めると、原因と関係のない設定を変えてしまうおそれがあります。
3つ目は、無駄なURLを減らす順に整えることです。Googleに頼んでクロールの量を増やしてもらう手段はありません。運営者にできるのは、不要なURLにクロールを使わせないことを中心に、サーバーが受け止められる量とページの質を整えることでしょう。
| サイトの状態 | 優先すること |
|---|---|
| 公開した日にクロールされる | サイトマップの更新と定期確認 |
| 大規模で更新が多い | クロールの統計情報の確認 |
| 検出のまま止まるURLが多い | サーバーと不要なURLの点検 |
| 絞り込みでURLが増える | 不要なURLを作らない設計 |
表の分け方は、Googleの公式ガイドとSearch Consoleヘルプの説明をもとにした目安で、正確な境目ではありません。以降は、クロールバジェットを決める要素、自社が気にすべきかの判断、クロールの統計情報の読み方、無駄になるURL、直す順番の流れで解説します。
クロールバジェットを決める2つの要素
クロールバジェットは、Googleがサイトを「クロールできる量」と「クロールしたい量」の2つで決まります。Googleは両方を合わせて、クロールが可能で、かつクロールが必要なURLのまとまりだと定義しています(Googleクロールインフラストラクチャ)。

クロール能力の上限はサーバーの応答で変わる
1つ目の要素は、サーバーに負担をかけない範囲としてGoogleが計算する「クロール能力の上限」です。すべてのサイトは同じ控えめな上限から始まり、クロールの需要があってサイトが健全なら、時間をかけて自動で調整されます。
応答が安定して速ければ上限は上がり、応答が遅くなったり、5xxのサーバーエラーや429を返したりすると下がります。クロールバジェットはホスト名ごとに割り当てられるため、wwwのサイトと別のサブドメインは、それぞれ別のサイトとして扱われる点も押さえておきましょう。クローラーの仕組みそのものは、クローラーとは何かを解説した記事で詳しく紹介しています。
クロールの必要性はURLの数・人気・新しさで変わる
2つ目の要素は、Googleがそのサイトをどれだけクロールしたいかという「クロールの必要性」です。人気の高いURLほど情報を新しく保つためによくクロールされ、Googleは内容の変化を反映できる頻度で再クロールしたいとも説明しています。
運営者が最も確実に管理できるのは、Googleが認識しているURLの数と中身です。Googleは指示がなければ、知っているURLのすべて、またはほとんどをクロールしようとします。重複や削除済みのURLが多いと、その分だけクロールの時間が無駄になってしまうわけです。
クロールは順位を決める要因ではない
クロールの量が増えても、検索順位が上がるとは限りません。Googleは、クロールはページを検索結果に出すために必要だが、ランキングのシグナルではないと明言しています(クロールに関する誤解と事実)。
また、クロールされたページがすべてインデックスに登録されるわけでもありません。クロールは「見つけて読む」段階であり、その後に評価と統合を経て、登録するかが判断されます。クロールバジェットは順位を上げる手段ではなく、検索結果に出るための前提を整える考え方だと捉えてください。
自社が気にすべきサイトかを判断する
自社がクロールバジェットを気にすべきかは、ページの規模と更新の頻度、そしてSearch Consoleの「検出 – インデックス未登録」の割合で判断します。ページ数が少なくても、URLの増え方しだいで対象になる点に注意が必要です。
公式の目安は規模と更新頻度と検出の割合
Googleの公式ガイドは上級者向けで、主な対象を次の3つのサイトとしています。
- 重複のない100万ページ以上で週1回ほど更新
- 重複のない1万ページ以上で毎日更新
- URLの大部分が検出のまま未登録
これらの数値は大まかな目安で、正確なしきい値ではないと明記されています。反対に、ページが公開した日にクロールされているなら、このガイドを読む必要はなく、サイトマップを最新に保ち、ページのインデックス登録レポートを定期的に確認すれば十分とされています(Googleクロールインフラストラクチャ)。Search Consoleヘルプも、ページ数が1,000未満ならクロールの統計情報レポートを使う必要はないとしています。
ページ数が少なくても無駄なURLが多いと響く
注意したいのは、目安の数字は重複のないページの数であり、Googleが見つけるURLの数とは違う点です。絞り込みや並べ替えの条件を掛け合わせられる一覧ページは、載っている情報が数千件でも、URLが何十万通りにも増えることがあります。
Googleの担当者は、2025年に寄せられた過剰クロールの報告のうち、絞り込みの機能(ファセットナビゲーション)に関するものが5割近くを占めたと話しています(Search Off the Record)。求人・EC・不動産のように、データから一覧や詳細のページを作るサイトは、ページ数が目安に届かなくても点検する価値があるでしょう。
登録されない原因がクロールかを切り分ける
ページが検索結果に出ないとき、原因がクロールにあるのかは、ページのインデックス登録レポートに出る理由で切り分けます。「検出 – インデックス未登録」は、GoogleがURLを見つけたもののまだクロールしていない状態で、通常はサイトへの過負荷が予想されたためにクロールを先送りしたものと説明されています(Search Consoleヘルプ)。
一方の「クロール済み – インデックス未登録」は、クロールを終えたうえで登録が見送られた状態のため、主に中身や重複を疑います。こちらの判断は、クロール済み – インデックス未登録の対処を解説した記事にまとめました。なお、Googleの担当者は2022年の配信で、「検出 – インデックス未登録」が大部分を占める原因として、サーバーの容量不足だけでなく、空の検索結果ページのような価値の低いURLも挙げています(Search Off the Record)。
クロールの統計情報で現状を確かめる
現状は、Search Consoleの「設定」から開ける「クロールの統計情報」で確かめます。このレポートはドメインプロパティなどルートレベルのプロパティでだけ使え、数値は正規のURLにまとめられず、Googleが実際にリクエストしたURLごとに数えられます(Search Consoleヘルプ)。

| 見る項目 | 確かめること |
|---|---|
| 合計リクエスト数 | 急な増減がないか |
| 平均レスポンス時間 | 応答が遅くなっていないか |
| ホストのステータス | サーバー側の問題がないか |
| レスポンス別 | 200以外の応答が増えていないか |
| 目的別 | 新しいURLが見つかっているか |
| Googlebotの種類 | 検索以外の急増がないか |
合計リクエスト数と応答時間の推移を見る
最初に、クロールリクエストの合計数と平均レスポンス時間のグラフを並べて見ます。合計数は成功したかどうかを問わず数えられ、サイト内の画像やCSSなどへのリクエストや、同じURLへの重複したリクエストも含みます。そのため、合計数はページ数と一致しません。
見るべきは、応答時間が延びた時期にリクエスト数が減っていないかという点です。Googleは応答が遅くなるとクロールを抑えるため、2本のグラフが逆向きに動いていれば、サーバー側の余力が足りていない可能性を疑えます。
ホストのステータスでサーバーの問題を探す
ホストのステータスは、robots.txtの取得、DNSの解決、サーバーへの接続の3つで問題がなかったかを示す欄です。理想は緑の表示で、過去90日間に重大な問題がなければ対応は不要とされています。
問題ありの表示が出ている場合は、各グラフの赤い点線を超えた日を探してください。たとえばDNSの解決に失敗したリクエストが、ある日に5%を超えると問題と見なされます。サーバーの問題は運営者の側でしか直せないため、表示が出たらサーバーの管理者や制作会社にその日付を伝えて確認を頼みましょう。
レスポンス別と目的別の内訳を読む
レスポンス別の内訳では、サイトの再編や移転の最中でなければ、ほとんどが200などの正常な応答であるのが基本です。5xxのサーバーエラーは可用性の警告につながるので、できる限り直す必要があります。一方、置き換えのない削除ページに404を返すのは正しい応答なので、404をすべてなくす必要はありません。
目的別の内訳には、初めてクロールしたURLを示す「検出」と、既知のページを再クロールした「更新」があります。新しいページを多く公開したり、サイトマップを送信したりしたあとは、検出が増えるのが理想とされています。新着の求人や商品を出しても検出が動かないなら、新しいページへの経路を見直す合図と考えられるでしょう。
急な増減はきっかけになった変更から探る
Search Consoleヘルプは、クロールの頻度は1〜2週間ほどは比較的安定しているはずだとしています。急に下がったときは、広すぎるrobots.txtのルールを足していないか、応答が遅くなっていないか、サーバーエラーが増えていないかを確かめるのが先です。サーバー側に問題がなく徐々に減り続けているなら、更新の少なさや内容の品質が理由のこともあると説明されています。
急に増えたときは、サイトの大部分のブロックを解除した、新しい大きなセクションを追加した、動的検索広告のターゲットを大量に足した、といった変更がきっかけになりえます。Googleの担当者も、クロールが多いことがそのままよい兆候とは限らず、乗っ取られてURLが増えたときや、無限に続くカレンダーを見つけたときにも急増すると話しています(Search Off the Record)。急増の中身が検索以外のクローラーのこともあるため、Googlebotの種類の内訳もあわせて見て、同じ時期に行ったサイトの変更と照らし合わせてください。
クロールを無駄にするURLの種類
クロールを無駄にするのは、検索結果に出す必要がないのに、Googleから見つかる状態になっているURLです。Googleは、絞り込みとセッションID、重複したページ、ソフト404、乗っ取られたページ、無限に続くページ、低品質なページなどを典型として挙げています(Google検索セントラル)。
絞り込みや並べ替えで増えるURL
一覧ページの絞り込みや並べ替えは、条件の組み合わせの数だけURLを生みます。Googleのファセットナビゲーションのガイドは、こうしたURLは新しく見えるため、役立つかどうかを判断する前にまずクロールが必要になり、過剰なクロールと新しい有用なURLの発見の遅れを招くと説明しています(Googleクロールインフラストラクチャ)。
商品ページに「カートに追加」や「お気に入りに追加」のリンクがパラメータ付きで置かれ、URLの数が2倍、3倍に膨らむ例も、Googleの担当者が報告の傾向として紹介しました。訪問者の操作のためのURLは、検索結果に出す必要がないURLの代表例といえます。
ソフト404と転送の連鎖
ソフト404とは、ページがないことを伝える内容なのに、正常を示す200で応答している状態のことです。空の検索結果や、データベースとの接続が切れたときの表示などで起こり、Googleは引き続きクロールするため時間を無駄にします。
サーバー側の転送(リダイレクト)は、クロールの統計情報では連鎖の1回ごとに別のリクエストとして数えられ、公式ガイドも長い連鎖を避けるよう勧めています。当社が運営する比較サイトでは、転送を設定したつもりのURLが、実際にはサーバー側の転送ではなく、自動で移動するHTMLのページを返していました(街中文学が運営する比較サイトでの実装記録、2026-07-10)。設定画面を見るだけでなく、実際の応答を測って確かめることが欠かせません。
内部検索や無限に続くページ
サイト内検索の結果ページや、日付ごとのページを際限なく作るカレンダーは、URLがいくらでも増える「無限のスペース」になります。Googleの担当者は2026年7月の配信で、サイト内検索の結果ページはキャッシュされないことが多く、表示のたびにデータベースの検索が走るため、サーバーの負担も大きいと話しました。
担当者は、検索結果ページをrobots.txtで止めるのが最も簡単な方法で、エラーの500を返して止めるのはサイト全体のクロールが下がるので避けるよう述べています(Search Off the Record)。自社サイトの検索窓やカレンダーが、どんなURLを作っているかを一度確かめておきましょう。
優先する順にクロールを整える
クロールを整える作業は、ホストのステータスでサーバーの問題がないことを確かめたうえで、不要なURLを作らない、止めたいURLをrobots.txtで扱う、重複と削除したページを正しく処理する、サイトマップを正しく保つ、の順に進めるのがおすすめです。Googleのトラブルシューティングの手順も、可用性の問題を最初に確かめ、そのあとにクロールされるべきページ、更新の速さ、効率の改善へと進む順になっています。

不要なURLはそもそも作らない
最初に取り組みたいのは、検索に出す必要のないURLを最初から作らないことです。Googleが認識しているURLの数と中身は、運営者が最も確実に管理できる要素だと、公式ガイドも位置づけているためです。
たとえば、並べ替えの順番や表示件数の違いをURLで持たない、条件の順番が違うだけのURLを作らない、結果が0件になる組み合わせには404を返す、といった方針を設計の段階で決めておきましょう。データベース型サイト全体の設計の考え方は、データベースSEOのガイドで解説しています。
今泉の視点:私は、サーバーの増強や表示速度の改善を考える前に、まず「Google に見せている URL の一覧」を作り、検索に出したいURLと出さなくてよいURLを分けるところから始めるべきだと考えます。URLの数と中身は運営者が自分で動かせる要素であり、サーバーの増強は、上限に頻繁に達している場合に1か月ほど試して効果を確かめる方法としてGoogleが示しているものだからです。
止めたいURLはrobots.txtで扱う
すでに増えてしまったURLのうち、検索に出す必要もクロールさせる必要もないものは、robots.txtでクロールを止めるのが基本です。Googleの担当者も、絞り込みのURLの良し悪しは大部分をクロールしてみないと判断できないため、運営者が不要と判断したパスをrobots.txtで止めるのが最も妥当だと述べました。
ただし、robots.txtは空いた分を重要なページへ回すための道具ではありません。公式ガイドは、Googleがすでにサイトのクロール能力の上限に達していない限り、ブロックで空いた分が他のページへ再配分されることはないとし、一時的な再配分の目的でrobots.txtを使わないよう求めています。robots.txtで止めたURLはnoindexが読まれないため、他のページからリンクされていれば検索結果に残ることがあります。また、止めたURLはクロールされなくなるので、変更前に対象のURLを一覧にして、重要なページが含まれていないかを確認しましょう。
重複をまとめ削除したページは404で返す
内容が同じ、またはほぼ同じページは、正規のURLを1つに決めてまとめます。Googleは正規化の目的の1つとして、重複したページではなく、新しいページや更新したページのクロールに時間を使えるようにすることを挙げています(Google検索セントラル)。
完全に削除したページは、404または410を返すのが基本です。404は、そのURLを再びクロールしなくてよいという強いシグナルになります。移転したページには転送を設定します。当社のメディアでも、2026年7月に記事一覧を作り替えた際の旧ページ送りのURLが、2026年10月時点で新しい一覧へ転送されていません(街中文学メディア(自社)の運用記録)。作り替えや移転のあとは、旧URLの応答を一覧で確かめる工程を入れておくと安心です。
サイトマップと更新日を正しく保つ
サイトマップには、検索結果に出したい正規のURLだけを載せ、新しいページを公開したら更新しましょう。検索に出したくないURLを載せるとクロールの無駄になるうえ、変わっていないサイトマップを1日に何度も送信することも避けるよう、Googleは案内しています。
更新日(lastmod)は、本文や構造化データ、リンクなど重要な更新をしたときだけ変えるのが原則です。Googleはlastmodを、一貫して正確だと確かめられる場合に使うとしているからです(Google検索セントラル)。重要なページへはホームや一覧からたどれる通常のリンクも欠かせないため、内部リンクの点検方法もあわせて確認してください。
クロールバジェットでよくある質問
クロールバジェットについて迷いやすい4つの点に、短く答えます。
まとめ
- すべてのサイトが対策すべきものではない
- 対象かは規模・更新頻度・検出の割合で判断
- クロールの統計情報で現状を確かめる
- 不要なURLを作らないことから始める
- robots.txtは再配分の道具ではない
クロールバジェットは、Googleがクロールできる量とクロールしたい量で決まる枠で、主に大規模で更新の多いサイトや、URLの大部分が検出のまま止まっているサイトが気にするものです。対象のサイトなら、クロールの統計情報で現状を確かめ、不要なURLを減らす順に整えましょう。
まずはSearch Consoleのクロールの統計情報を開き、ホストのステータスと目的別の内訳を確かめてみてください。URLの整理に迷ったときは、株式会社街中文学の無料相談で一緒に状況を確認することもできます。
