クローラツールとは

クローラとは、リンクを通じてWEBサイトの情報を収集する仕組みです。スパイダーと呼称されることもあります。国内の検索シェアの9割（※）を占めるGoogleが世界中のWEBサイトのデータを収集するために活用しています。

※Googleの検索アルゴリズムを使用しているYahoo!と合算で9割

クローラは検索エンジンを提供しているサービスごとに挙動や性能、機能が異なり、まったく同一には扱えないのですが、

• 指定したURLをアクセスする
• HTMLの中身を読み取る
• HTMLで検知したリンクにアクセスする

といった挙動は共通しています。

また、基本的にクローラはHTMLのみ解釈（※）し、JavaScriptはレンダリングしません。 そのため、特にリンクに関わる部分はJSを用いずHTMLで静的に記載するのが望ましいです。

※最大手の検索エンジンであるGoogleは、クローラがWEBサイトの情報を集めたのちにcaffeinというレンダリングエンジンにかけてJSごとコンテンツを理解できるようになりました。ただし最新のモダンブラウザに比べるとレンダリング性能に差があるので、重要なコンテンツはHTMLを静的に用意するほうが無難です。

このように、検索エンジンにWEBコンテンツを最適化する「SEO」の観点では、検索エンジンのクローラに適切にWEBサイトの情報を渡すことが非常に重要です。

つまり、コンテンツを作る際は「ユーザーからどう見られるか、どう読まれるか」が最も重要なのですが、それに加え、「クローラから、検索エンジンからどう見られているか」もSEOの観点では重要な視点なのです。

こうした背景から、Googleのクローラに近い挙動をするクローラツールを用いてWEBサイトを分析することがSEOを強化、改善していくうえで有効といえます。

クローラツール Screaming Frog の特徴

Screaming Frog はPCにインストールして使えるクローラツールの中でも代表格。

特徴は、

• SEO観点で必要な機能が充実していること
• 無料で使えること（機能制限あり）
• 画像DL等はしないのでサーバー側の負荷が軽く動作が軽いこと

といった点です。無料ですので、はじめてクローラツールを使いはじめる、という方はぜひインストールしてみてください。

SEO観点での Screaming Frog の使い方

インストール方法は省略し、具体的な機能や使い方について説明してまいります。

そもそもインデックスできるURLか否かを確認できる

WEBサイトを運営していると、本来はインデックスさせたい（検索結果に表示させたい）ページが、なかなかインデックスされないといったことはありませんか？

そんなとき、原因を調べるためにクローラが活躍します。

WEBサイトは、URLが存在していても、

• robots.txtでクローラのアクセスを拒否している
• アクセスするためにはログインを求めている
• Basic認証を返す
• インデックスをメタタグで拒否している

といった理由でSEOに向かない状態になっていることがあります。

そうした原因についても Screaming Frog を使えばかなりの部分が明確になります。

「あれ、ページをリリースしたけどなかなかインデックスされないな」というときは、とりあえずScreaming Frogで当該URLをチェックするのがおすすめです。

URLごとのサーバーステータスがわかる

一般的に、存在しないURLをリクエストしたときは、「404ページ」が表示されます。

この404番というのはサーバーのレスポンスコードと呼ばれるもの。

「いまリクエストもらったURLに対応するコンテンツはないよ」とサーバーが判断したときに404をレスポンスします。ほかにも、たとえばサーバー側でエラーが発生した場合は5XX番を返すといったルールです。

• 200系（正常）
• 300系（リダイレクト）
• 400系（クライアント系エラー）
• 500系（サーバー系エラー）

Screaming Frogではこのレスポンスコードを用いたサイト改善が可能になります。

サイト内をクロールしてできたURLリストをこのレスポンスコードでソートすることで、エラーが発生しているURLを洗い出したり、404になっているデッドリンクを検知したりすることができるのです。

また当該URLに対してのリンク元も明確にできますので改修も容易です。

その際はアンカーテキスト（リンク文言）も明確になるので、アンカーテキストを最適化する観点でも非常に有用です。

メタタグのサイト横断的なチェック

SEOではtitleタグやdescriptionタグが非常に重要になりますが、ページを一つ一つチェックするのは相当な手間。Screaming Frog では一瞬でURLごとのメタタグを整理して表示してくれます。

titleタグの重複やcanonicalタグの設置状況確認なので大活躍です。

おまけ：sitemap.xmlの生成

CMSを導入せずにサイト制作する場合などはサイトマップXMLを作るのも多少の手間になるもの。

Screaming Frog ではクロールしたURLでワンクリックでサイトマップXMLが作れるので、

まとめ

ここまで、SEO業務におけるScreaming Frogの便利な使い方について解説しました。

今回はごく基本的な部分を主として説明させていただきましたが、細かい機能が目白押しで高度なSEOを推進するうえで非常に有用ですので、SEOを強化したい方はぜひご活用ください。

また、博報堂アイ・スタジオはSEOに限らずデジタルマーケティングに関するコンサルティングサービスを提供しております。

• 世の中の変化に合わせてデジタルマーケティング戦略を練り直したいがやり方がわからない
• ペルソナやカスタマージャーニーについて適切に設定できるか不安
• 検索市場を洗い出してみたが適切なのか、抜け漏れの有無などを判断できない
• すでに存在しているサイトをSEO観点で診断したい
• サイトリニューアルの予定が決まっておりSEO観点でも改善していきたいがノウハウがない

といった場合は、博報堂アイ・スタジオがご支援可能ですので、お気軽にお問合せいただけますと幸いです。

お問合せ

また、デジタルマーケティングやデータ分析について、博報堂アイ・スタジオのノウハウをまとめた無料eBookもご用意しておりますのでぜひご活用ください。

無料eBookのダウンロードはこちら