GoogleがファセットナビゲーションURLのクロール管理について公開

ファセット URL の過剰なクロールによる問題点

ファセット ナビゲーションでは、多くの異なるファセット（例：色、サイズ、価格など）によって生成された多様な URL が存在します。過剰なクロールが発生すると、以下のような問題が生じます。

• サーバーリソースの浪費：過剰なクロールにより、サーバーが過負荷になり、他の重要なタスクに割けるリソースが減少します。
• クロールバジェットの浪費：検索エンジンにはクロールバジェット（クロールに割り当てられるリソースの限界）があり、過剰なクロールによって有益な新しい URL をクロールするためのバジェットが減少します。
• 検索パフォーマンスの低下：新しい URL の発見が遅れることで、サイト全体のインデックスが適切に更新されず、検索結果に悪影響を及ぼす可能性があります。

クロール管理の重要性

これらの理由から、ファセットナビゲーションを効果的に管理し、クロール効率を最適化することが非常に重要です。具体的な方法としては、以下が挙げられます。

• robots.txt の活用：不要なファセット URL をクロールから除外するために、適切な指示を記述します。
• 正規化の実施：重複コンテンツを持つ URL を一つにまとめ、クロールの重複を避けます。
• URL フラグメントの使用：クローラーが異なるファセットの組み合わせを持つ URL を別々にクロールする必要がないようにします。

サーバーリソースの最適化

ファセットナビゲーション URL のクロールを制御することで、サーバーリソースの無駄を削減できます。これにより、重要なページのクロールにリソースを集中させ、全体的なクロール効率を向上させることができます。

不要なクロールの防止方法

robots.txtの使用
robots.txtファイルを使用して特定のファセット URL をクロールから除外することが提案されています。これにより、サーバーリソースの使用量を大幅に削減できます。robots.txt は、クローラーに対してどのページをクロールしてはいけないかを示すファイルであり、効果的にクロールバジェットを管理するためのシンプルかつ強力なツールです。

URL フラグメントの利点

1. 検索クローラーに無視される
   URL フラグメントは、Google検索クローラーに無視される部分です。つまり、クローラーはファセットナビゲーションによって生成されたフラグメントを持つ URL を個別にクロールすることがありません。これにより、サーバーへの負荷を軽減し、クロールバジェットを節約できます。
2. 簡単な実装
   URL フラグメントを使用することで、複雑な構成を必要とせずにクロール管理を効果的に行うことができます。ファセットナビゲーションの状態を URL フラグメントで管理することで、クローラーの負担を軽減しながら、ユーザーには同じ利便性を提供できます。

ファセット ナビゲーションの処理方法

1. 重複する URL を統合するための rel=”canonical”
   rel="canonical" 属性を使用して、重複するコンテンツを持つ複数の URL を一つの正規 URL に統合することが推奨されています。これにより、検索エンジンが重複ページを別々にインデックスしないようにすることで、SEOパフォーマンスを向上させます。
2. フィルターされたページの検出を防ぐための rel=”nofollow”
   rel="nofollow" 属性を使用して、フィルターされたページが検索エンジンによってクロールされるのを防ぐことができます。これにより、不要なページのインデックスを避け、検索パフォーマンスを最適化します。

ただし、rel="canonical" と rel="nofollow" は長期的には効果が低減する可能性があります。そのため、定期的な見直しと更新が重要です。

追加の考慮点

1. URL パラメータ区切り文字
   カンマ (,) やセミコロン (;) などの文字は、URL のパラメータ区切りとして使用すべきではありません。これらの文字は、URL の解釈を複雑にし、予期しない問題を引き起こす可能性があります。
2. 404 HTTPステータスコードの使用
   存在しないページや削除されたページに対しては、適切な 404 HTTPステータスコードを返すことが推奨されています。これにより、検索エンジンが無効な URL をインデックスするのを防ぎます。