「SEOの記事でよく見る”クローラー”という言葉。正確にはどういう仕組みなのか。自分のサイトはちゃんとクロールされているのか」。そんなふうに、もやもやしたまま進んでいないでしょうか。仕組みが分からないと、対策が合っているかも判断できませんよね。
私たちは大量のページを持つデータベース型サイトのSEOを支援してきました。その現場で実感したのは、クローラーは気まぐれな相手ではなく、リンクをたどって淡々と巡回する仕組みであり、見つけやすいサイトにしておくことが何より効くということでした。
この記事では、クローラーとは何かから、ページを見つける仕組み、クロールされない原因と対策、大規模サイトの最適化までを、Google公式もふまえて解説します。読み終えるころには、自社サイトが正しくクロールされる状態の作り方が見えているはずです。
求人・EC・不動産など、大量のページを抱えるサイトのSEOは「設計」で成果が決まります。インデックスされない・カニバリ・競合に負ける——DBSEO（データベース型SEO）の設計でボトルネックを特定します。まずは無料でご相談ください。
先に結論：クローラーには「見つけやすさ」で応える
まず最初に、結論からお伝えします。クローラーについて押さえるべきポイントは、次の3つです。
- クローラーは、リンクをたどってページを巡回し情報を集めるプログラムです
- クロールは「クロール→インデックス→表示→順位」の最上流にあたります
- 大事なのは好かれることより、見つけやすく巡回しやすいサイトにすることです
1つ目は、クローラーの正体です。クローラーは、ページに貼られたリンクを次々とたどって巡回し、情報を集めていきます。難しく身構える相手ではありません。
2つ目は、SEOでの位置づけです。クロールは検索の入り口で、ここでページが見つからなければ、検索結果に出ることもありません。すべての土台になる段階だと考えてください。
3つ目は、対策の方向です。クローラーに好かれる裏技を探すより、リンクの導線を整え、見つけやすいサイトにするほうが確実です。仕組みを理解すれば、やるべきことは自然と見えてきます。
クローラーとは？検索エンジンの仕組み
最初に、クローラーとは何かと、検索エンジンの仕組みを整理しましょう。ここが分かると、このあとの対策が「なぜ効くのか」まで腹落ちします。意味と役割、検索の流れ、そしてSEOとの関係を見ていきましょう。
クローラーの意味と役割
クローラーとは、検索エンジンがインターネット上のページを自動で巡回し、情報を集めるプログラムのことです。ロボットやスパイダーと呼ばれることもあります。人が手作業で世界中のページを集めるのは不可能なので、この役目をプログラムが担うのです。
クローラーが集めた情報は、検索エンジンのデータベースに整理されます。私たちが検索したときに一瞬で結果が出るのは、クローラーがあらかじめ情報を集めておいてくれるおかげなのです。
クロールからインデックス、表示までの流れ
検索は、大きく3つの段階でできています。まずクローラーがページを巡回する「クロール」、次に集めた情報を登録する「インデックス」、そして検索されたときに表示する段階です。
私たちは、この流れをさらに「クロール、インデックス、表示、順位」の4段階で捉えています。大切なのは、クロールが一番の入り口だということです。クロールされなければ、インデックスも表示もされません。上流でつまずくと、その先の対策は効かないのです。
GooglebotとSEOの関係
Googleのクローラーは、Googlebotという名前で呼ばれています。GoogleのシェアがSEOでは大きいため、まずはこのGooglebotに正しく巡回してもらうことが基本になるでしょう。
クローラーは、ページの内容やリンクを読み取り、検索順位を決める材料を集めます。つまり、クローラーに正しく理解されることが、SEOの出発点です。どんなに良い記事も、クローラーに見つけてもらえなければ、検索結果には並びません。検索の基本的な仕組みは、Googleも公式のスターターガイドで案内しています（Google検索セントラル）。
クローラーがページを見つける仕組み
次に、クローラーがどうやってページを見つけるのかを見ていきます。この仕組みが分かると、なぜ内部リンクやサイトマップが大切なのかが理解できます。発見の方法と、クロールの頻度を順に確認しましょう。
リンクをたどってページを発見する
クローラーがページを見つける基本の方法は、リンクをたどることです。Googleも、Googlebotは主に、以前にクロールしたページに埋め込まれたリンクから新しいURLを見つける、と説明しています（Google検索セントラル）。
つまり、どこからもリンクが張られていないページは、クローラーにとって存在しないのと同じになりかねません。だからこそ、サイト内のページ同士をリンクでつなぐ内部リンクが、クロールの土台として重要なのです。
サイトマップで存在を知らせる
もう一つの方法が、サイトマップです。サイトマップとは、サイトにどんなページがあるかを一覧にした、いわば地図のようなファイルを指します。これを検索エンジンに送ると、ページの存在を知らせやすくなるのです。
とくに、新しく公開したページや、リンクが少なく見つかりにくいページを知らせるのに役立ちます。ただし、サイトマップに載せたからといって、必ずすべてがクロールされるわけではありません。あくまで発見を助ける補助的な手段だと考えましょう。
クロールの頻度とクロールバジェット
クローラーは、すべてのページを常に巡回しているわけではありません。Googleは、サーバーに負担をかけないよう、アクセスの頻度に配慮すると説明しています。1つのサイトに割けるクロールの量には、限りがあるのです。
この、サイトに割り当てられるクロールの量を、クロールバジェットと呼びます。ページ数が少ないサイトではあまり気にする必要はありませんが、数万ページを超えるような大規模サイトでは、この量の使い方が課題になってきます。
クロールされない・遅い主な原因
「ページを公開したのにインデックスされない」。その背景には、クロールの問題が隠れていることがあります。原因が分かれば、対策も見えてきます。よくある原因を、3つに整理しました。
クロール割当量の不足と無駄遣い
クロールがうまくいかない原因は、大きく2つに集約されます。1つは、クロールの割当量そのものが少ないこと。もう1つは、割当量はあるのに、無駄なページに使われてしまっていることです。
前者は、サイト全体の品質や評価を上げる長期戦になります。後者は、不要なページへのクロールを減らす整理で、比較的短期に効きます。まずは、どちらが原因なのかを見極めることが出発点になるでしょう。
内部リンクがない・階層が深すぎる
クローラーはリンクをたどるため、重要なページにリンクが張られていないと、見つけてもらえません。トップページから何回もクリックしないとたどり着けない、深い階層のページも同様です。
リンクの階層が深すぎると、クローラーがそこまで巡回してこないことがあります。大切なページは、なるべく浅い位置に置くか、関連ページから内部リンクで導線をつくることが対策になります。
robots.txtやnoindexの設定ミス
意外と多いのが、設定ミスによってクロールを自分でとめてしまっているケースです。robots.txtとは、クローラーに「このページは見なくてよい」と伝えるファイルのことです。ここで重要なページまで誤ってブロックしてしまう例があります。
また、ページに「noindex」という、検索結果に出さない指定を意図せず付けているケースもあります。新規ページがなかなか出てこないときは、これらの設定が邪魔をしていないか、まず確認してみてください。robots.txtとnoindexは混同されやすいので、下の表で違いを整理しました。
| robots.txt | noindex | |
|---|---|---|
| 役割 | クロールを止める | 検索結果に出さない |
| 制御するもの | クロール | インデックス |
| 検索結果から消えるか | 消えない（登録済みは残る） | 消える |
| 主な使いどころ | クロールさせたくないURL | 検索に出したくないページ |
混同すると、検索から消したいのにrobots.txtでブロックし、かえって消せなくなることがあります。クロールを止めるのがrobots.txt、検索から消すのがnoindex、と役割で覚えておきましょう。
クローラーに正しく巡回してもらう方法
原因が分かったら、対策です。クローラーに正しく巡回してもらうために、やるべきことは決まっています。派手な裏技ではなく、地道な土台づくりが効きます。3つの方法を順に見ていきましょう。
内部リンクとサイトマップを整える
まず取り組みたいのが、内部リンクとサイトマップの整備です。重要なページへ、トップページや上位カテゴリから直接たどれる導線をつくります。クローラーがリンクをたどって、迷わず主要ページに到達できる状態が理想です。
あわせて、インデックスさせたいURLを含んだサイトマップを用意し、検索エンジンに送ります。この2つは、クロールの土台になる基本の対策です。まずはここから固めていきましょう。サイト全体でSEOを進める体制づくりは、SEO記事制作の進め方もあわせて参考になります。
不要なURLのクロールを制御する
次に有効なのが、無駄なクロールを減らす整理です。並び替えや絞り込みで生まれるパラメータ付きのURLなど、検索結果に出す必要のないページは、robots.txtやnoindexで適切に制御します。
不要なページにクロールを使わせないことで、その分の余力を大事なページに回せるのです。とくにページ数の多いサイトでは、この整理がクロールの効率を大きく左右します。増やすことと減らすこと、両面から設計するのがコツです。
サーチコンソールで状況を確認する
対策を打つ前に、まず現状を知ることが欠かせません。Googleサーチコンソールという無料ツールを使うと、どのページがクロール・インデックスされているかを確認できます。感覚ではなく、数字で状況をつかみましょう。
「検出、インデックス未登録」などの項目が大量にあれば、クロールに課題があるサインです。どこにどれだけ問題があるかを定量的に把握してから着手すると、対策の優先順位を間違えずに済みます。構造化データなど他の技術要素は、構造化データの書き方もあわせて確認してください。
大規模サイトのクロール最適化の考え方
ページ数の多い大規模サイトでは、クロールの最適化がとくに重要になります。ここは私たちがデータベース型サイトのSEOで日々向き合っているテーマです。考え方と、避けたい誤解を確認しておきましょう。
ページ数とクロール割当のバランス
大規模サイトで意識したいのが、ページ数とクロール割当のバランスです。ページを増やせば増やすほど、限られたクロールの量が分散し、1ページあたりに回る巡回が薄くなります。
やみくもにページを量産すると、かえって重要なページのクロールが後回しになりかねません。検索需要のあるページに絞り、質の低いページを増やしすぎないことが、大規模サイトでは効いてきます。
4段階の最上流だからまず整える
先にも触れたとおり、クロールは「クロール、インデックス、表示、順位」の最上流にあたります。ここが詰まっていると、どんなに記事の中身を磨いても、そもそも土俵に上がれません。
だからこそ、大規模サイトの改善では、まずクロールの状況から確認するのが鉄則です。個別ページの手直しより、サイト全体のクロール導線を整えるほうが、はるかに大きな効果を生むことがあります。上流から順に整える意識を持ちましょう。
クロールでよくある誤解
最後に、クロールでよくある誤解を整理します。持ち帰り用のチェックリストも用意したので、あわせて確認してください。誤解を避けるだけでも、遠回りを減らせます。
- サイトマップに全URLを載せても、割当量の範囲でしかクロールされない
- robots.txtでブロックしても、インデックス済みのページは消えない（noindex併用が必要）
- クロールバジェットは固定値ではなく、サイトの品質と需要で変動する
- 重要ページに内部リンクの導線があり、深すぎる階層になっていないか
今泉の視点：クローラーの相談で多いのが、「どうすればクローラーに好かれますか」という質問です。けれどクローラーは、気まぐれな相手ではありません。リンクをたどって淡々と巡回する仕組みです。だから大事なのは、好かれる裏技より、見つけやすく巡回しやすいサイトにしておくこと。とくに、robots.txtでブロックすればインデックスからも消える、という誤解は本当に多いので、仕組みを正しく理解したうえで手を打ってほしいのです。
求人・EC・不動産など、大量のページを抱えるサイトのSEOは「設計」で成果が決まります。インデックスされない・カニバリ・競合に負ける——DBSEO（データベース型SEO）の設計でボトルネックを特定します。まずは無料でご相談ください。
クローラーのよくある質問
まとめ
- クローラーは、リンクをたどってページを巡回し情報を集めるプログラムです
- クロールは「クロール→インデックス→表示→順位」の最上流にあたります
- 内部リンク・サイトマップ・不要URLの制御で、見つけやすいサイトにします
クローラーは、気まぐれな相手ではなく、リンクをたどって淡々と巡回する仕組みです。だからこそ、好かれる裏技を探すよりも、内部リンクの導線を整え、不要なクロールを減らし、見つけやすいサイトにしておくことが確実に効きます。まずはサーチコンソールで自社サイトのクロール状況を確認し、上流のクロールから整えてみてください。それが、遠回りのようでいちばんの近道です。
大量のページを持つサイトのクロール改善やインデックスの最適化は、サイトの規模と構造によって最適解が変わります。自社サイトのクロール状況を診断し、設計から相談したい場合は、街中文学のデータベースSEO支援もお役に立てるはずです。
求人・EC・不動産など、大量のページを抱えるサイトのSEOは「設計」で成果が決まります。インデックスされない・カニバリ・競合に負ける——DBSEO（データベース型SEO）の設計でボトルネックを特定します。まずは無料でご相談ください。
