Index Workerの活用

さまざまな分析軸で複数のジョブを作成する

例えば、ECサイトの場合「商品ページ」と「一覧ページ」という具合にジョブを分けて作成します。大規模なサイトであれば更に「商品カテゴリー」のジョブを作成します。

新規記事の多いメディアサイトであれば、RSSフィードを使って新規記事がいつインデックスされたかを追うのがおすすめです。

Webサイトや商材、URL設計によってどのようにジョブを設計すべきかは変わります。

このようなジョブ設計の際は、ページの更新頻度やどこがインデックスさせたい重要なページかを考えることが大切です。また、ジョブごとにクロール頻度を調整することで、効率的なインデックス管理が可能です。

結果を分析する

URLのフィルターを利用することで様々な状態に絞り込みをかけられます。ステータスの行をクリックすることでもフィルターがかかります。これによって、「URLは検出されたがクロールされていないURL群」や「クロールされたが、インデックスされなかったURL群」を見ることができます。

重要なページがクロールされていない/インデックスされていない場合はその要因調査をします。

「URL が Google に認識されていません」ステータスだけを抽出して、URLが発見されない要因を調査する。
クロールされなかったページ群と、同時期にクロールされたページ群を比較する。
クロールされたにもかかわらずインデックスされなかったページ群と、同時期にクロールされてインデックスされたページ群を比較する。

上記のように分析や比較をして、クロール/インデックスされなかった要因を探っていきます。

🖌️ 例: インデックスされていないページだけを抽出して目視確認したところ、コンテンツのボリュームが少ないページ群だった

/icons/save_red.svg 詳細をCSVやExcelでエクスポートすることもできます。

クロールされたが、インデックスされていない場合、コンテンツの質が低い、類似のコンテンツがある、タグの問題などが考えられます。

大規模サイトで、クロールされていないまたはクロール頻度が低い場合、重要でないページでクロールバジェットが浪費されている可能性もあります。不要なパラメーターをrobots.txtで制御する、サイトマップの最適化による重要ページの優先クロールすることなどが有効です。

各ステータスの解説

送信して登録されました

クロール済み、インデックス済みです。問題ありません。

クロール済み - インデックス未登録

GoogleがURLをクロールしたものの、何らかの理由でインデックスに登録されませんでした。

コンテンツの品質: コンテンツが薄い、または価値が低い場合。ページの内容がユーザーにとって有益であるかを再確認し、必要に応じてコンテンツを充実させましょう。
重複コンテンツ: 同じまたは類似した内容のページが複数存在すると、Googleがどのページをインデックスするか迷う可能性があります。正規化タグやリダイレクトを使用して、どのページを優先するかを明示することが有効です。
メタタグやHTTPステータスコード: ページに「noindex」タグが設定されていないか、またはHTTPステータスコードが200以外になっていないかを確認してください。

代替ページ（適切なcanocicalタグあり）

URLがクローラーによって検出され、canonicalタグが正しく設定されています。Googleはこのページを代替ページとして認識し、canonicalタグで指定されたURLをインデックスの対象としています。基本的には問題ありません。

見つかりませんでした（404）

URLがGoogleのクローラーによって404エラー（ページが見つからない）を返したことを示しています。ページが削除された、移動した、またはURLが間違っている可能性があります。404エラーが意図的なものでない場合は、正しいURLへのリダイレクトを設定するか、ページを復元することを検討してください。

URLがGoogleに認識されていません

URLがGoogleのクローラーによって発見されていません。Googleのクローラーがまだ見つけられていないか、クロールする価値があると判断されていない可能性があります。内部リンクの改善、サイトマップへの追加を試してみてください。

ページにリダイレクトがあります

URLがGoogleのクローラーによって検出され、別のURLにリダイレクトしていることを示しています。301（恒久的）または302（一時的）リダイレクトが設定されている場合に表示されます。リダイレクト先のURLが適切にインデックスされているか確認し、不要なリダイレクトチェーンがないかを調査してください。

「URLの履歴」を活用する

URLテーブルの右側にある「URLの履歴」から、URLのステータス履歴を確認できます。

Untitled

「一度だけ実行」を活用して仮説検証を行う

「もしかしたら、◯◯という条件のページはインデックスされにくいのかも……？」

対象のURLを手動で集めてCSVを作成し、ジョブを「一度だけ実行」するのが有効です。

/icons/upload-document_orange.svg

CSVの場合、見出しは不要です。URLのみがカンマ区切りで羅列されたファイルをご用意ください。