ログ解析SEOとは?クローラーの訪問を確かめる手順と見る観点

砂の上に続く足跡を上空から写した様子

新しく公開したページがなかなか検索に出ず、Search Consoleを見ても、Googleがどのページに来ているのかまでは分からないことがあります。「ログ解析をすれば分かる」と聞いても、何を頼み、どこを見ればよいのか迷う方は多いはずです。

そこで本記事では、サーバーのログでクローラーの訪問を確かめる手順と、見るべき観点を整理します。当社(株式会社街中文学)は、データベース型サイトのSEO支援を手がける会社です。

あわせて、本物のクローラーの見分け方やAIのクローラーの扱い、結果を改善につなげる方法も、Googleなどの公式情報をもとに解説します。

目次

先に結論:ログ解析はクローラーの訪問を確かめる

まず最初に、結論からお伝えします。SEOのログ解析は、サーバーに残る訪問の記録から、GoogleなどのクローラーがどのURLに・いつ・どんな結果で来たかを確かめる作業で、Search Consoleだけでは見えないURL単位の動きを知りたいときに使う方法です。

  • 検索に出したいURLへの訪問を確かめる
  • 本物のクローラーだけを数える
  • 総量ではなくURLの内訳で判断する

1つ目は、検索に出したいURLにクローラーが来ているかを確かめることです。Googleは、特定のURLがGooglebotにクロールされたかはサイトのログで確認できると説明しており(Google検索セントラル)、Search Consoleではクロールの履歴をURLごとに絞り込めません。

2つ目は、本物のクローラーの訪問だけを数えることです。ユーザーエージェントと呼ばれる名乗りは偽装できるため、Googleが案内する方法で、その訪問が本当にGoogleから来たものかを確かめます。

3つ目は、訪問の総数ではなく、どのURLに来ているかという内訳で判断することでしょう。総数が増えても、検索に出す必要のないURLへの訪問ばかりなら、改善にはつながりません。

確かめること 主な手がかり
重要なURLへの訪問 最後に来た日と回数
不要なURLへの偏り URLのパターン別の件数
応答の結果 ステータスコードの内訳
サーバーの余力 応答時間と急な増減
AIのクローラー 用途別の訪問の有無

以降は、ログ解析とは何か、ログの入手と準備、本物のクローラーの見分け方、確かめる観点、改善へのつなげ方の順に解説します。

SEOのログ解析とは

SEOのログ解析とは、サーバーが自動で残すアクセスの記録(アクセスログ)を読み、クローラーの訪問をURL単位で確かめることです。訪問者の行動を見るアクセス解析とは、見ている対象が違います。

波打ち際へ続く砂浜の足跡

サーバーに残る訪問の記録を読む

アクセスログには、ブラウザかクローラーかを問わず、サーバーへのリクエストが1件ずつ記録されます。Apacheの公式文書が示す標準的な形式では、1行に、訪問元のIPアドレス、受け付けた日時、リクエストされたURL、ステータスコード、返したデータの大きさが並び、よく使われる拡張形式では参照元とユーザーエージェントも加わります(Apache HTTP Server)。

Googleの公式ブログも、Googleがクロールしているリソースを分析する最もよい情報源は、サイトの未加工のアクセスログだとしています(Google検索セントラルブログ)。クローラーの仕組みそのものは、クローラーとは何かを解説した記事で紹介しています。

Search Consoleやアクセス解析との違い

GA4では、既知のボットの通信は自動で除外され、除外された量も確かめられません(アナリティクスヘルプ)。クローラーの訪問を見るには、アクセス解析ではなくログが必要になります。

Search Consoleのクロールの統計情報は、Googleが集計した全体の傾向をつかむのに向いていますが、示されるURLは代表例です。ページのインデックス登録レポートの例も1,000件までで、URL検査ツールが示す前回のクロールも1回分にとどまります(Search Consoleヘルプ)。数万を超えるURLを持つサイトで、どのURLにいつ何回来たかを全件で見るには、ログが欠かせないでしょう。クロールの統計情報の読み方は、クロールバジェットを解説した記事で紹介しています。

ログ解析が役に立つサイトと場面

ログ解析は、すべてのサイトに定期的に必要な作業ではありません。Googleの担当者は2022年の配信で、サーバーが受け止められるクロールの量を見積もる方法として、アクセスログからGooglebotがいつ・どれだけの接続数で・どれくらいの速さで来ていたかを見てSearch Consoleと突き合わせるやり方を紹介しつつ、誰にでも必要な作業ではないと述べました(Search Off the Record)。

定期的に見る価値が高いのは、データから一覧や詳細のページが大量に作られる求人・EC・不動産などのサイトです。規模が小さくても、新しいページがなかなか検索に出ないときや、AIのクローラーの訪問を確かめたいときには、その期間だけログを見る方法が有効です。Googleも、クロールが急に増えたときは、ホスティング会社に連絡して最近のアクセスログを調べるよう強く勧めています(Googleクロールインフラストラクチャ)。

ログを入手して準備する

ログは、サーバーを管理するエンジニアや制作会社、サーバー会社に、期間と項目を決めて依頼して入手します。あわせて、応答時間の項目と、IPアドレスを含む記録の扱いも先に決めておくと、受け取ってから困りません。

伝えること 内容の例
期間 直近1〜3か月
対象 本番サイトのアクセスログ
項目 日時・URL・ステータス・UA・IP
追加の項目 応答時間
配信網の記録 使っていれば元のサーバーと両方
受け渡し 形式・置き場所・削除の時期

期間は目安の一例です。確かめたい変化の前後を比べられる長さを含めて決めてください。表のUAは、ユーザーエージェントのことです。

期間と項目を決めて依頼する

依頼するときは、どの期間の、どの項目を、どの形式で受け取りたいかを具体的に伝えるのが基本です。Apacheの公式文書によると、アクセスログは普通の負荷のサーバーでも1万リクエストごとに1MB以上増えるため、期間を広げすぎるとファイルが大きくなり、受け渡しにも時間がかかります。

配信網(CDN)やセキュリティの仕組みを使っているサイトでは、クローラーの訪問が元のサーバーに届く前に止められることがあります。Googleの公式ブログも、配信網の防御機能がGoogleのクローラーを誤ってブロックし、検索に出なくなる例を紹介しています(Google検索セントラルブログ)。配信網の記録も取れるかを、あわせて確認しておきましょう。

応答時間の項目を足してもらう

応答の遅さをURLごとに確かめたいなら、処理にかかった時間の項目を記録に加えてもらいます。nginxは形式を指定しない場合に標準の形式を使いますが、この形式には処理時間が含まれず、別の項目として指定する必要があります(nginx)。Apacheでも、処理時間は別の書式で記録する仕組みです。

Googleはサイトの応答が遅くなるとクロールを抑えるため、どのURLの応答が遅いかが分かると、サーバーの改善の優先順位を決めやすくなります。項目の追加はサーバーの設定の変更になるので、早めにエンジニアへ相談してください。

IPアドレスを含む記録の扱い

アクセスログには訪問者のIPアドレスが含まれます。個人情報保護委員会のガイドラインは、他の情報と容易に照合して特定の個人を識別できるものも個人情報に含まれ、容易に照合できるかは事業者の実態に即して判断するとしています(個人情報保護委員会)。IPアドレスが個人情報に当たるかは、会員IDやログインの記録など社内のほかの情報と、ふだんの業務で簡単に照らし合わせられる状態かどうかで変わるわけです。

SEOの分析にはクローラーの行があれば足りるため、受け取る範囲を絞り、使い終わったら消す時期も決めておくと安心です。個人情報保護法は、利用する必要がなくなった個人データを遅滞なく消去するよう努めることを求めています。一方、JPCERT/CC はセキュリティの調査のために、1年分のログの保存を1つの参考値として勧めているため、SEO用に受け取る写しとセキュリティ用に残す記録は分けて考えましょう。なお、2026年7月に改正個人情報保護法が公布され、2年以内に施行される予定です。ガイドラインも見直されるため、扱いは最新の内容を社内の担当者と確かめてください。

本物のクローラーを見分ける

ログの中のクローラーは、名乗り(ユーザーエージェント)だけで判断せず、Googleが案内する方法で本物かを確かめてから数えます。AIのクローラーは会社ごとに用途が分かれているため、どの用途の訪問かも見分けておくと判断を誤りません。

青い台の上に置かれた虫めがね

ユーザーエージェントは名乗るだけ

ユーザーエージェントは、リクエストを送ったソフトウェアが自分で名乗る情報です。HTTPの標準仕様も、別のソフトウェアを名乗ることが起こりうると想定しています。Googleも、ほかのクローラーがGooglebotになりすますことはよくあるとして、ブロックする前に本当にGoogleからの訪問かを確かめるよう求めています(Google検索セントラル)。

Googlebotにはスマートフォン用とパソコン用があり、どちらかはユーザーエージェントで見分けられます。多くのサイトは主にスマートフォン向けの内容がインデックスされるため、クロールの大部分もスマートフォン用で行われるのが普通です。

逆引きと正引きで確かめる

本物のGoogleかどうかは、ログのIPアドレスを逆引きしてドメイン名がgooglebot.com・google.com・googleusercontent.comのどれかであることを確かめ、そのドメイン名を正引きして元のIPアドレスに戻るかで判断します(Googleクロールインフラストラクチャ)。件数が多い場合は、Googleが公開しているIPアドレスの一覧と自動で照合する方法も案内されています。

IPアドレスの一覧は更新されるため、一度書き写した値を使い続けず、照合のたびに最新の一覧を使うことが大切です。Bingなど、ほかの検索エンジンも確認の方法やIPアドレスの一覧を公開しています。

AIのクローラーは用途で分かれる

AIのクローラーは、会社ごとに用途別の名前が分かれています。たとえばOpenAIは、ChatGPTの検索で表示するためのOAI-SearchBot、モデルの学習に使われうる内容を集めるGPTBot、利用者の操作で訪れるChatGPT-Userを分け、IPアドレスの一覧も公開しています(OpenAI)。

用途 主なクローラーの例
検索での表示 OAI-SearchBot・PerplexityBot
モデルの学習 GPTBot・ClaudeBot
利用者の操作での取得 ChatGPT-User・Perplexity-User

利用者の操作による取得は、robots.txtが適用されない場合があると説明されています。また、GoogleのAIによる概要やAIモードは、Googlebotのrobots.txtで管理されます(Google検索セントラル)。Geminiの学習などに使うかを示すGoogle-Extendedには専用のユーザーエージェントがないため、ログに独立した訪問としては現れません(Googleクロールインフラストラクチャ)。

ログで確かめる4つの観点

ログを受け取ったら、重要なページへの訪問、不要なURLへの偏り、ステータスコードの内訳、応答時間と急な増減の4つを確かめます。Googleの担当者も2024年の配信で、多くの人がリクエスト数の推移だけを見ているが、知るべきはどのページに来ているかだと指摘しました(Search Off the Record)。

緑のランプが並ぶサーバーラック

重要なページに訪問があるか

まず、検索に出したいURLの一覧を用意し、ログと突き合わせて、各URLに最後に来た日と期間中の回数を確かめます。新しく公開した詳細ページや一覧ページに訪問がなければ、サイト内のリンクやサイトマップから見つけにくくなっている可能性を疑えます。

ただし、クロールされたことと、インデックスに登録されることは別の問題です。訪問があるのに登録されないURLは、ページの中身や重複を見直す対象になるため、クロール済み – インデックス未登録の対処を解説した記事も参考にしてください。

不要なURLに訪問が偏っていないか

次に、URLをパターンごとにまとめ、どのパターンに訪問が集まっているかを見ます。絞り込みや並べ替えのパラメータ、カレンダーの日付、カートに追加などの操作用のURLに訪問が偏っていれば、重要なページに回る分が減っているかもしれません。

Googleの担当者は、2025年に寄せられた過剰クロールの報告のうち、絞り込みの機能に関するものが5割近く、操作用のパラメータが25%近くを占めたと話しています(Search Off the Record)。これはGoogleに届いた報告の内訳ですが、ログで最初に疑うパターンの目安になるでしょう。

今泉の視点:私は、ログを読み始める前に、URLのパターンを「検索に出したい」「出さなくてよい」「判断がつかない」の3つに分けた表を作ることを勧めます。訪問の件数を数えてから意味を考えるより、先に分けておく方が、どこに手を打つべきかがすぐに見えるからです。

ステータスコードの内訳

ステータスコードは、訪問に対してサーバーがどう応えたかを示す数字です。置き換えのない削除ページに404を返すのは正しい応答ですが、5xxのサーバーエラーや429が続くと、Googleはクロールの速さを一時的に落とし、続けばURLがインデックスから外れることもあります(Googleクロールインフラストラクチャ)。

ページがないのに正常を示す200で応答するソフト404は、引き続きクロールされるため時間の無駄になります。転送が何段も続くURLや、robots.txtで止めたはずのURLへの訪問がないかも確かめましょう。Googlebotはrobots.txtで禁止されたURLにはリクエストを送らないため、本物のGooglebotの訪問があれば設定を見直す手がかりになります。ただしrobots.txtを変えてから1日ほどは、古い内容のまま訪問が続くことがあるため、変更した日と見比べて判断しましょう。

応答時間と訪問の急な増減

応答時間の項目があれば、どのURLの応答が遅いかを確かめます。Googleは応答が遅くなるとクロールを抑えるため、遅いURLが多いページの種類から改善すると効果を確かめやすくなるはずです。

訪問が急に増えたり減ったりした日は、その前後に行ったサイトの変更と照らし合わせます。Search Consoleヘルプは、クロールの統計情報の数がサーバーログより大幅に多い場合の原因の1つとして、robots.txtが長く取得できていないことを挙げ、取得の状況を確かめるよう案内しています(Search Consoleヘルプ)。ログとSearch Consoleを並べて見ることで、こうした障害にも気づけます。

結果を改善につなげる

ログで見つけた問題は、原因ごとに打ち手を選び、総量ではなく重要なURLへの配分で効果を測り、見る頻度と担当を決めて続けます。ログはクロールされた事実を示すもので、インデックスや順位を保証するものではない点も押さえておきましょう。

原因ごとに打ち手を選ぶ

不要なURLへの訪問が多いなら、そうしたURLを作らない設計やrobots.txtでの制限を検討します。重要なページに訪問がないならサイト内のリンクとサイトマップを見直し、5xxや応答の遅れが多いならサーバーの増強や処理の改善が候補です。

打ち手を決めるときは、影響を受けるURLの数、原因の確からしさ、作業の手間の3つで優先順位を付けると、エンジニアに説明しやすくなります。robots.txtの変更は、検索に出したいURLまで止めてしまうと影響が大きいため、変更前に対象のURLを一覧で確かめてください。

総量ではなく配分で効果を測る

改善の効果は、クロールの総量が増えたかではなく、重要なURLへの訪問の割合が増えたか、新しいページに訪問が来るまでの日数が縮んだかで確かめます。Googleは、クロールの頻度が上がっても検索順位が上がるとは限らず、クロールは順位を決めるシグナルではないとしています(クロールに関する誤解と事実)。

あわせて、Search Consoleのページのインデックス登録レポートで、未登録のURLが減ったかも確認します。ログでクロールの変化を、Search Consoleで登録の変化を見ると、どこまで改善が進んだかを分けて説明できるでしょう。

見る頻度と担当を決めておく

ログ解析は、一度で終わらせず、決まった頻度で見ると変化に気づけます。大規模なサイトなら月に1回、規模が小さいサイトなら大きな変更の前後や問題が起きたときに見るなど、サイトに合わせて頻度を決めましょう。この頻度は目安の一例で、変化に気づける間隔を基準にすると無理がありません。

担当も、ログを出す人、集計する人、判断する人を分けて決めておくと続けやすくなります。社内で集計や判断が難しい場合は、ログとSearch Consoleのデータ、検索に出したいURLの一覧をそろえたうえで、外部の専門家に相談する方法もあります。外部に渡すときも、クローラーの行だけに絞ったログを渡すと安心です。

ページ数の多いサイトで、ログの結果をクロールや登録の改善にどうつなげるかは、データベース型サイトのSEO完全ガイドにまとめています。

ログ解析SEOのよくある質問

SEOのログ解析について迷いやすい4つの点を、短く整理しました。

ログ解析に専用のツールは必要ですか?

必ずしも必要ではありません。数日から数週間分の小さなログなら、表計算ソフトでもクローラーの行を絞り込んで集計できます。数か月分の大きなログや、毎月続けて見る場合は、ログを扱う専用の仕組みを使う方が作業の手間を減らせるでしょう。

小さなサイトでもログ解析は必要ですか?

定期的に見る必要は低いと考えられます。Search Consoleヘルプも、ページ数が1,000未満ならクロールの統計情報レポートを使う必要はないとしています。ただし、新しいページが検索に出ないときなど、問題が起きたときだけ見る方法は役立つはずです。

ログに残らない訪問はありますか?

あります。DNSの解決や接続の失敗など、サーバーに届かなかったリクエストはログに残りません。配信網の手前で止められた訪問も、元のサーバーのログには出ないことがあります。こうした問題は、Search Consoleのクロールの統計情報もあわせて確かめましょう。

AIのクローラーは止めるべきですか?

一律に止める必要はありません。検索での表示用のクローラーを止めると、そのAIの検索回答に出にくくなるため、学習用とは分けて考えます。まずはログで、意図したとおりに訪問や制限ができているかを確かめてください。

まとめ

  • ログ解析はクローラーの訪問をURL単位で確かめる
  • 期間・項目・応答時間を決めて依頼する
  • 本物かは逆引きと正引きで確かめる
  • 総量ではなく重要なURLへの配分で判断する
  • AIのクローラーは用途ごとに見分ける

SEOのログ解析は、サーバーに残る訪問の記録から、クローラーがどのURLに・いつ・どんな結果で来たかを確かめる作業です。本物のクローラーだけを数え、総量ではなく重要なURLへの配分で判断すると、改善の打ち手が見えてきます。

まずは検索に出したいURLの一覧を用意し、直近1か月分のログをエンジニアに依頼してみてください。集計や判断に迷ったときは、株式会社街中文学の無料相談で一緒に整理することもできます。

よかったらシェアしてね!
  • URLをコピーしました!

この記事を書いた人

株式会社街中文学 代表。DBSEO(データベース型SEO)・LLMO(AI検索最適化)・コンテンツマーケティングを専門に、東証上場企業や月間4,500万セッション級メディアのSEO支援を行ってきました。本メディアの全記事を執筆・監修しています。

目次