http status 403とは?原因とGoogleの扱い

鎖と南京錠で閉ざされた木の扉

「http status 403と出て、自社のページが開けない」。自分の環境の問題なのかサイトの設定なのか、Googleの検索から消えてしまわないのか、不安になる方も多いはずです。どこから手を付ければよいのかという迷いも重なります。

そこで本記事では、403の正しい意味と401・404との違い、403が出る主な原因とその確かめ方を整理します。当社(株式会社街中文学)は、企業向けにデータベースSEO対策やSEOコンサルティングを提供する会社です。

あわせて、Googleが403をどう扱うかや、Googlebotを誤って拒否していないかの確かめ方も同じ流れでお伝えします。

目次

先に結論:403はサーバーがアクセスを拒否した合図

HTTPステータスコード403(Forbidden)は、サーバーがリクエストを理解したうえで、応じることを拒んだという意味です。ページが無いのではなく、権限や設定によって「見せない」と判断された状態だと考えると分かりやすいでしょう。

  • 403は理解したうえでの拒否を示す
  • 直す手がかりはサーバー側の設定にある
  • Googleは403のページを検索に載せない

1つ目は、HTTPの仕様書であるRFC 9110が、403を認証と関係のない理由でも拒否しうるコードと定めている点にあります。

2つ目は、403を返すと決めるのはサーバーなので、直す手がかりもサイト側の設定にあることです。

3つ目は、Googleが4xxのページをインデックスに登録しないため、403が続くページは検索からの流入を失うことです。

コード 意味 Google検索での扱い
401 有効な認証情報がない インデックスしない
403 理解したうえで拒否 インデックスしない
404 見つからない インデックスしない
429 リクエストが多すぎる サーバーエラー扱い
503 一時的に利用できない クロール頻度を下げる

意味はRFC 9110、扱いはGoogleの「HTTP ステータス コードが Google のクローラーに及ぼす影響」と「Google のクロール頻度を下げる」にもとづいています。

ステータス403の意味と401・404との違い

403は「リクエストは理解したが応じない」という拒否の合図で、認証をやり直せば通るとは限りません。似た番号の401は認証が足りない状態、404は対象が見つからない状態を表します。

青い扉に掛けられた小さな南京錠

RFC 9110が定める403の意味

RFC 9110は、インターネットの標準化団体IETFがまとめたHTTPの仕様書です。その403の定義を当社で訳すと、「サーバーはリクエストを理解したが、応じることを拒否する」となります。

リクエストにIDやパスワードなどの認証情報が含まれていれば、それでは足りないという意味です。ただしRFCは、認証情報と関係のない理由で禁止されることもあると明記しています。アクセス元やセキュリティ設定による拒否も、403に含まれるわけです。

拒否の理由を画面で説明する義務は無いため、画面の文言だけでは原因を決めにくい点も覚えておきましょう。

401との違いは認証で通る見込みの有無

401(Unauthorized)は、有効な認証情報が無いためにリクエストが処理されなかった状態です。RFC 9110は、401を返すサーバーに対し、認証の方法を示す付帯情報を応答へ付けることを必須としています。この付帯情報をWWW-Authenticateヘッダーと呼びます。

つまり401は、正しく認証すれば通る可能性があるという合図です。一方の403は、認証情報を変えても通るとは限らず、認証と無関係な理由でも返されます。

会員ページなら、ログイン前は401、ログインしても権限が足りないときは403と考えると整理しやすいでしょう。

404との違いと存在を隠す使い方

404(Not Found)は、対象のページが見つからない、または存在を明かしたくない状態を表します。403が「あるけれど見せない」なら、404は「無い、あるいは有無を言わない」という違いです。

RFC 9110は、禁止した対象の存在そのものを隠したいサーバーは、403の代わりに404を返してもよいとしています。場所を知られたくない管理用のURLで404を返す設計は、この考え方に沿ったものです。

ページを削除して戻す予定が無いなら、RFCは404より410(Gone)を勧めています。404の扱いは404エラーの解説で詳しくまとめました。

403が出る主な4つの原因

403の原因は、ファイルの権限、アクセス元の制限、セキュリティ設定、トップページの不在の4つに大きく分けられます。

鎖に掛けられた真鍮の南京錠
原因 出やすい場面 確かめる場所
アクセス権限 移転やアップロードの直後 ファイルの権限設定
アクセス元の制限 社外や海外からの閲覧 許可と拒否のルール
セキュリティ設定 保存や送信の操作 防御機能の記録
トップページの不在 フォルダのURLを開いたとき フォルダの中身

ファイルやフォルダのアクセス権限

サーバー上のファイルやフォルダには、誰が読めて誰が書き込めるかを決めるアクセス権限があります。ウェブサーバーに読み取りの許可が無いファイルを開こうとすると、中身を返せないため403が返ってくるわけです。

サーバーの移転やファイルの一括アップロードの後に、権限が意図せず変わって起きることがあります。直すときは、契約しているサーバー会社の推奨値に戻しましょう。誰でも書き込める設定にまで広げるのは、改ざんの入り口になるので避けてください。

IPアドレスやアクセス元の制限

ネット上の住所にあたるIPアドレスや、国・地域ごとにアクセスを拒否していると、その相手には403が返ります。社内からだけ開ける管理画面や、海外からの攻撃を減らすための国別の制限がその例です。

困るのは、許可したい相手まで制限の範囲に入っている場合でしょう。在宅勤務の社員や出張先の回線、Googleのクローラーが外れていないか、ルールの範囲を見直してみてください。

WAFなどセキュリティ設定の誤検知

WAFは、ウェブサイトへの攻撃に似た通信を見つけて止める防御の仕組みです。攻撃と判断した通信に403を返すことがあり、正しい操作まで止めてしまう誤検知も起こります。

管理画面で記事を保存したときや、特定の記号を含む文章をフォームで送ったときだけ403になるなら、誤検知を疑いましょう。WAFの記録で、止めた通信と理由を確かめられることが多いはずです。対処は防御を丸ごと切るのではなく、誤検知したルールだけを必要な場所で除外する形が安全です。

トップページの不在と一覧表示の禁止

URLがフォルダを指しているのに、そこにトップページとして表示するファイルが無いと、403になることがあります。サーバーがフォルダの中身を一覧で見せる機能を禁止しているためです。

一覧表示の禁止は、置いてあるファイル名を外部に知られないための設定なので、解除して直すものではありません。トップページのファイルの置き忘れや、ファイル名・置き場所の誤りが無いかを確かめましょう。サイトの移転で公開するフォルダを取り違えたときも、同じ形で403が出ることがあります。

今泉の視点:私は、403が出たら、まず人が開いたときと、Googleのクローラーが読みに来たときで結果が違わないかを確かめることを勧めます。セキュリティの設定がクローラーだけを止めていると、画面ではふつうに見えていても、検索結果から外れていくことがあるからです。

閲覧者と運営者それぞれの確かめ方

閲覧者ができるのは自分の接続環境を見直すところまでで、403そのものを直せるのはサイトの運営者です。運営者は、誰にどのページで出ているかと、直前に何を変えたかから調べると原因に早くたどり着けます。

白い扉の留め金に掛かった南京錠

閲覧者ができるのは接続環境の見直し

閲覧者の側では、まずURLに打ち間違いや余計な文字が無いかを確かめます。ログインが必要なページなら、正しいアカウントで入っているかも見直しましょう。

VPNや会社のネットワークを通すとアクセス元が変わり、制限に当たることがあります。会社のフィルター自体が403を返す場合もあります。別の回線や端末で開けるか試すと、自分の環境だけの問題かどうかが分かるはずです。ブラウザのキャッシュとCookieを消すのも手軽な確認になります。

それでも開けないときは、サイトの問い合わせ窓口にURL・日時・表示された画面を伝えると、運営者が調べやすくなるでしょう。

運営者は影響の範囲と直前の変更を見る

運営者は最初に、403が自分だけ、特定の回線や地域だけ、全員のどれに出ているかを切り分けます。スマートフォンの回線などから開くと、アクセス元の制限が原因かを絞り込めます。

次に、サーバーの移転やファイルの差し替え、セキュリティ設定や拡張機能の追加など、直前に変えたことを書き出しましょう。そのうえで、いつ・どこから・どのURLに来たかを残すアクセスログとエラーログを見れば、403を返した時刻とURLが分かります。ブラウザの開発者ツールでも、ページや画像ごとのステータスコードを確認できます。

プログラムからのアクセスで出る403

「リモートサーバーがエラーを返しました」と403が並ぶ表示は、プログラムからのアクセスで出るものです。自社のプログラムが他のサーバーへアクセスし、相手から403を返されたことを伝えています。

確かめたいのは、次の3点です。

  • APIの認証キーの期限や権限
  • 送信元のIPアドレスが許可されているか
  • 名乗りにあたるUser-Agentが拒否されていないか

相手のサイトが自動のアクセスを認めていないなら、利用規約や公式のAPIの有無を確かめ、取得の方法を見直しましょう。

Googleによる403の扱いとSEOへの影響

Googleは403を返すURLをインデックスに登録せず、登録済みのURLも外していきます。検索に出したいページで403が続くと、そのページからの検索流入は失われると考えましょう。

古い木の扉を留める南京錠

403のページはインデックスから外れる

Googleの文書「HTTP ステータス コードが Google のクローラーに及ぼす影響」によると、Google検索は4xxを返すURLをインデックスに登録しません。すでに登録済みのURLも、4xxを返すようになると削除されます。

同じ文書は、429を除く4xxをすべて同じように扱い、コンテンツが存在しないと判断すると説明しています。403のページに案内の文章を載せても、検索には使われないわけです。

削除までの日数は示されていません。設定ミスに気づいたら早めに直しましょう。インデックスの仕組みはGoogleインデックスの解説にまとめています。

Search Consoleでの403の表示

Search Consoleのページのインデックス登録レポートでは、Googlebotに403が返ったURLが未登録の一覧に入ります。表示される理由は「アクセス禁止(403)が原因でブロックされました」です。

ヘルプは403を「認証情報を出したがアクセスを許可されなかった」状態と説明しています。そのうえで、Googlebotは認証情報を出さないため、サーバーが間違って返していると述べています。RFCより狭い説明ですが、Googlebotに403が出たら設定を疑うべきだという趣旨と読めるでしょう。

インデックスさせたいページなら、ログインしていない人にも公開するか、本人確認のうえでGooglebotを許可する方法が案内されています。

robots.txtの403は制限なしと扱われる

クロールのルールを書くrobots.txtそのものに403を返すと、Googleはクロールの制限が無いものとみなします。Googleの文書「Google による robots.txt の仕様の解釈」が、429以外の4xxでは有効なrobots.txtが無いものとして扱うと定めているためです。

robots.txtへのアクセスを拒否しても立ち入り禁止にはならず、逆にすべてのページがクロールの対象になります。止めたい場所があるならrobots.txtを正しく公開し、その中で指定しましょう。書き方はrobots.txtの解説で確かめられます。

クロール調整とGooglebotの確かめ方

クロール頻度を下げる目的で403を使っても効かず、ページが検索から消えるだけです。減らすなら503か429を短い期間だけ返し、Googlebotを誤って拒否していないかも確かめましょう。

クロールを減らす目的で403を使わない

Googleは、クロール頻度を制限する目的で401や403を使わないよう明記しています。429を除く4xxは、クロール頻度に影響しないためです。

サーバーの負荷を下げたくてGooglebotに403を返しても、サイト全体のクロール頻度の調整には効きません。そのURLを見に来る頻度が徐々に下がり、インデックスから外れていくだけでしょう。クロール量の考え方はクロールバジェットの解説で整理しています。

減らしたいときは503か429を短期間返す

Googleの文書「Google のクロール頻度を下げる」は、緊急時に200の代わりに500・503・429のいずれかを短期間返す方法を案内しています。効果はホスト名全体に及び、エラーが減れば頻度は自動で戻る仕組みです。

期間の目安は、この文書では「数時間や1〜2日」です。一方でクロールの統計情報レポートのヘルプは「2〜3日程度まで」としているため、1〜2日以内にとどめるのが無難でしょう。なお、頻度の制限ツールは2024年1月8日に終わり、公式ブログはサーバーの応答で伝えるのが最も速い方法としています。

URL検査のライブテストで取得を確かめる

Googleがページを取得できるかは、Search ConsoleのURL検査にある「公開 URL をテスト」で確かめられます。「ページの取得」欄の成否と、返ってきたHTTPの応答を見ましょう。使い方はSearch Consoleの使い方にまとめました。

ただしURL検査ツールのヘルプによると、このテストはGoogle-InspectionToolという別のクローラーで取得されます。名乗りにあたるUser-AgentでGooglebotだけを通す設定だと、結果が実際と食い違う可能性があります。

逆引きDNSとIP範囲で本物か確かめる

記録に「Googlebot」と名乗るアクセスがあっても、本物とは限りません。Googleの文書「Google のクローラーとフェッチャーからのリクエストを確認する」では、逆引きDNSで確かめる方法が示されています。逆引きDNSとは、IPアドレスから持ち主のドメインを調べることです。

まず、調べたドメインがgooglebot.com・google.com・googleusercontent.comのどれかを確かめます。そこから正引きして元のIPアドレスに戻れば本物です。件数が多いときは、Googleが公開するIPアドレスの一覧との照合も案内されています。

http status 403のよくある質問

HTTPステータス403について、迷いやすい4つの点を短く整理しました。

サーバーエラー403とはどういう意味ですか?

サーバーが403を返して表示を拒んだ状態を指す呼び方です。ただしRFC 9110の分類では、403は500番台のサーバーエラーではなく4xxのクライアントエラーに入ります。サーバーの故障ではなく、設定によって拒否している状態だと考えるとよいでしょう。

403が出たページは順位が下がりますか?

順位が下がるというより、インデックスから外れて検索結果に出なくなります。直したあとはURL検査で取得できるかを確かめ、レポートで登録の回復を見守りましょう。登録数の見方はインデックス数の解説が参考になります。

会員限定ページの403は直すべきですか?

検索に出す必要がないページなら、403のままでも目的には反しません。検索に出したいときは、非ログインの人に公開するか、本人確認のうえでGooglebotを許可します。User-Agentだけで許可すると、なりすましで保護が実質なくなる点に注意が必要です。

サイトの一時休止に403を使ってよいですか?

使わないほうが安全です。Googleの文書「ウェブサイトを一時停止または無効にする」は、403や404などで閉じるとURLが検索から削除されると説明しています。1〜2日なら503の案内ページ、長期なら200で返す案内用のトップページが案内されています。

まとめ

  • 403はアクセスが拒否された状態
  • 権限やセキュリティ設定が主な原因
  • 4xxのページは検索から外れる
  • Googlebotを止めていないか確かめる

HTTPステータスコード403は、サーバーがリクエストを理解したうえで拒否した合図です。原因は権限、アクセス元の制限、セキュリティ設定、トップページの不在が中心で、直す手がかりはサーバー側にあります。Googleは403のページを検索に載せません。

まずは、Search Consoleのページのインデックス登録レポートに「アクセス禁止(403)」の理由が出ていないか確かめてみてください。検索に出したいページの点検や設計に手が回らないときは、株式会社街中文学の資料や無料相談もご活用いただけます。

よかったらシェアしてね!
  • URLをコピーしました!

この記事を書いた人

株式会社街中文学 代表。DBSEO(データベース型SEO)・LLMO(AI検索最適化)・コンテンツマーケティングを専門に、東証上場企業や月間4,500万セッション級メディアのSEO支援を行ってきました。本メディアの全記事を執筆・監修しています。

目次