Googleにとっての404ページの扱い
AI要約
検索結果が404ページだった場合の評価について
検索結果に表示されたURLをクリックしたら404ページだった、というケースがまれにあり、実際に経験されたという方も少なくはないと思います。検索ユーザーにとっては、見たいと思ったページを見ることができず、検索結果に満足ができないという状態になるかと思います。ここでユーザーの検索意図を満たしていないため、サイトの評価が下がってしまうのでは?と心配になる人もいるかと思います。
非常に気になるところではありますが、このように検索結果が404だった場合、順位評価へ何かしら影響を及ぼすのでしょうか。こうした懸念に対し、Googleのゲイリー・イリーズ氏は次のように回答しています。『「クリックしたら404だった」というのはそのときユーザーに見えているものであり、Google側へ『このページは現在404である』という情報はフィードバックされず、検索順位への影響はないものであると考えられます。』
これはGoogleボットのクロール(情報収集)の方法によるものです。Googleボットはリンクを辿ってサイトをクロールして情報を収集しており、Google検索エンジンは使用していません。
だからこそSEOを行ううえでは内部・外部ともにリンクをしっかり辿れるように設計することが必要であるとも言えます。前述の通り、検索結果として表示されているページが404になっていても直接順位へ影響することはないようですが、検索から入ってきたユーザーにとっては404ページとなっており何の利益も生まないので、対応は取っておくべきでしょう。
404ページをクロールするGoogleボット/クロールバジェットへの影響について
前述の通りGoogleボットはリンク情報を元にページからページ、サイトからサイトへとリンクを辿っています。この過程の中で、内部・外部ともにリンク情報が古く既に削除している404を返すページへクロールすることもままあり、クロールエラーが記録されます。
クロールバジェットという考え方
Googleボットによって収集されるクロール結果のデータについて、「クロールバジェット」と呼ばれるものがあります。そして、これを最適化するべきだという意見が国内外のSEO業者によって発表されています。
つまり1サイトあたりをクロールするために割かれる容量・時間には制限があり、404を返すページなど、エラーページがあるとGoogleボットの動きを阻害し、正しくサイトを見てもらえず、検索順位にもいい影響がない、悪影響すらあり得るといった考え方です。しかしながら、Googleにとっては「クロールバジェット」にあたる概念・指標はなく、ほとんどのサイト運営者にとっては気にかける必要のない、重要ではないものだということがGoogleから正式に発表されました。
https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot?hl=ja
記事内ではサイトの表示速度等によってクロール速度へ影響があることについては書かれていますが、クロールの速度が上がってもランキングへの影響はない旨が明記されています。
一方、404ページなどクロールエラーが起きている状態では正しくクロールができていないという事実に変わりはありませんので、エラーの修正とそれに伴うサイトマップ送信等、サーチコンソール上での対応が必要であることには変わりません。