クロール統計レポートとは何ですか？
クロール統計レポートは Google Search Consoleの機能で、Googlebot がウェブサイトとどのようにやり取りしているかについての詳細なデータを提供します。
Googleがページをクロールする頻度、ダウンロードされるデータ量、サーバーが効率的に応答しているかどうかを把握するのに役立ちます。
このレポートをモニタリングすることは、クロールの予算が効果的に使われているのか、それとも重要でないページで無駄に使われているのかを明らかにするため、テクニカルSEOにとって非常に重要です。
クロール統計レポートが重要な理由
Googleは各サイトにクロール予算を割り当てています。GooglebotがクロールしたいURLの数と、サーバーが処理できる量のバランスです。
クロール統計レポートは、その予算が適切なURLに費やされているかどうかを示し、クロールの非効率性を明らかにします。
主なメリット
- クロールエラーやサーバーの問題を特定
- URLの肥大化や冗長なパラメータページを検出します。
- サイト構造やコンテンツの更新による影響を測定します。
- 大規模サイトや動的サイトのクロール効率を改善します。
アクセス方法
次の方法でアクセスできます：
Google Search Console → 設定 → クロール統計
主に3つのセクションがあります：
- クロールリクエストの概要- 総リクエスト数、ダウンロードサイズ、平均応答時間。
- クロールリクエストの内訳- レスポンスコード、ファイルタイプ、目的、Googlebotタイプ別のデータ。
- ホストステータス- DNS、サーバーの可用性、robots.txtの取得に関する健全性の指標。
クロール統計レポートの主な指標
| 指標 | 評価指標 |
|---|---|
| 総クロールリクエスト数 | 一定期間内にクロールされた URL の総数。 |
| 総ダウンロードサイズ | Googlebotがダウンロードしたデータ量。高い値は、大きなメディアや最適化されていないコードを示している可能性があります。 |
| 平均応答時間 | サーバーがGooglebotに応答するまでの時間。 |
| レスポンスコード別 | 成功（200）、リダイレクト（301/302）、エラー（404/500）レスポンスの内訳。 |
| ファイルタイプ別 | HTML、CSS、JS、画像、動画のコンテンツ。 |
| 目的別 | クロールの種類（リフレッシュかディスカバリーか）。 |
| Googlebot タイプ別 | デスクトップ、モバイル、画像、動画、AdsBot。 |
クロール統計レポートをSEOに活用する方法
1.クロール異常の検出
404や500エラーの突然の急増を探す - これらはリンク切れやサーバーの不安定さを示しています。
2.クロール予算の最適化
重要なページ（商品、記事、ランディングページなど）が頻繁にクロールされ、価値の低いページやパラメータページはクロールされないようにする。
3.パフォーマンスのボトルネックの特定
常に高いレスポ ンスタイムは、Googlebotがサーバーと格闘しているか、CDNやキャッシュレイヤーが必要であることを示唆している。
4.移行後の変更を追跡する
サイトの移行やURLの再編成後、Googlebotが新しいURLを効率的に検出し、クロールしていることを確認するためにレポートを使用します。
ベストプラクティス
- robots.txtファイルを常に最新の状態に保ちましょう。
- 永続的なURLの変更には301リダイレクトを使用しましょう。
- ファセットナビゲーションと クエリパラメータを管理し、クロールの無駄を省く。
- サーバーが主要なページに対して一貫した200 OKレスポンスを返すようにする。
- RanktrackerのWeb監査ツールを使ってクロールデータを照合し、問題を早期に発見する。
まとめ
クロール統計レポートは、Googlebotのクロール動作を理解するための強力な診断ツールです。
クロールの頻度、応答時間、エラーを監視することで、Googleがサイトをインデックスする方法を最適化することができます。
