クロールバジェットとは？SEOに重要な理由

定義

クロールバジェットは、クローラー（Googlebotなど）が一定期間にサイトからリクエストするページ数です。

小規模サイトでは問題ありませんが、大規模サイトでは重要です。

リンク切れがバジェットを浪費する仕組み

404ページへのクロールは無駄です。

リダイレクトチェーンがコストを倍増させます。

なぜ重要か

• 新コンテンツの発見 — 遅くなる。
• コンテンツの鮮度 — クロール頻度が低いと古い情報が表示される。
• 大規模サイト — 各クロールが重要。

最適化

1. リンク切れを修正 — スキャン。
2. チェーンを排除 — 最終目的地に直接リダイレクト。
3. robots.txt — 低価値ページをブロック。
4. XMLサイトマップ。
5. サーバー応答速度。
6. ソフト404を回避。

バジェットの確認

Google Search Consoleでクロール統計を確認。

Broken Link Scanで浪費URLを特定。