SEOで必須!無料クローラツール Screaming Frog のご紹介
クローラツールとは
クローラとは、リンクを通じてWEBサイトの情報を収集する仕組みです。スパイダーと呼称されることもあります。国内の検索シェアの9割(※)を占めるGoogleが世界中のWEBサイトのデータを収集するために活用しています。
※Googleの検索アルゴリズムを使用しているYahoo!と合算で9割
クローラは検索エンジンを提供しているサービスごとに挙動や性能、機能が異なり、まったく同一には扱えないのですが、
- 指定したURLをアクセスする
- HTMLの中身を読み取る
- HTMLで検知したリンクにアクセスする
といった挙動は共通しています。
また、基本的にクローラはHTMLのみ解釈(※)し、JavaScriptはレンダリングしません。 そのため、特にリンクに関わる部分はJSを用いずHTMLで静的に記載するのが望ましいです。
※最大手の検索エンジンであるGoogleは、クローラがWEBサイトの情報を集めたのちにcaffeinというレンダリングエンジンにかけてJSごとコンテンツを理解できるようになりました。ただし最新のモダンブラウザに比べるとレンダリング性能に差があるので、重要なコンテンツはHTMLを静的に用意するほうが無難です。
このように、検索エンジンにWEBコンテンツを最適化する「SEO」の観点では、検索エンジンのクローラに適切にWEBサイトの情報を渡すことが非常に重要です。
つまり、コンテンツを作る際は「ユーザーからどう見られるか、どう読まれるか」が最も重要なのですが、それに加え、「クローラから、検索エンジンからどう見られているか」もSEOの観点では重要な視点なのです。
こうした背景から、Googleのクローラに近い挙動をするクローラツールを用いてWEBサイトを分析することがSEOを強化、改善していくうえで有効といえます。
クローラツール Screaming Frog の特徴
Screaming Frog はPCにインストールして使えるクローラツールの中でも代表格。
特徴は、
- SEO観点で必要な機能が充実していること
- 無料で使えること(機能制限あり)
- 画像DL等はしないのでサーバー側の負荷が軽く動作が軽いこと
といった点です。無料ですので、はじめてクローラツールを使いはじめる、という方はぜひインストールしてみてください。
SEO観点での Screaming Frog の使い方
インストール方法は省略し、具体的な機能や使い方について説明してまいります。
そもそもインデックスできるURLか否かを確認できる
WEBサイトを運営していると、本来はインデックスさせたい(検索結果に表示させたい)ページが、なかなかインデックスされないといったことはありませんか?
そんなとき、原因を調べるためにクローラが活躍します。
WEBサイトは、URLが存在していても、
- robots.txtでクローラのアクセスを拒否している
- アクセスするためにはログインを求めている
- Basic認証を返す
- インデックスをメタタグで拒否している
といった理由でSEOに向かない状態になっていることがあります。
そうした原因についても Screaming Frog を使えばかなりの部分が明確になります。
「あれ、ページをリリースしたけどなかなかインデックスされないな」というときは、とりあえずScreaming Frogで当該URLをチェックするのがおすすめです。
URLごとのサーバーステータスがわかる
一般的に、存在しないURLをリクエストしたときは、「404ページ」が表示されます。
この404番というのはサーバーのレスポンスコードと呼ばれるもの。
「いまリクエストもらったURLに対応するコンテンツはないよ」とサーバーが判断したときに404をレスポンスします。ほかにも、たとえばサーバー側でエラーが発生した場合は5XX番を返すといったルールです。
- 200系(正常)
- 300系(リダイレクト)
- 400系(クライアント系エラー)
- 500系(サーバー系エラー)
Screaming Frogではこのレスポンスコードを用いたサイト改善が可能になります。
サイト内をクロールしてできたURLリストをこのレスポンスコードでソートすることで、エラーが発生しているURLを洗い出したり、404になっているデッドリンクを検知したりすることができるのです。
また当該URLに対してのリンク元も明確にできますので改修も容易です。
その際はアンカーテキスト(リンク文言)も明確になるので、アンカーテキストを最適化する観点でも非常に有用です。
メタタグのサイト横断的なチェック
SEOではtitleタグやdescriptionタグが非常に重要になりますが、ページを一つ一つチェックするのは相当な手間。Screaming Frog では一瞬でURLごとのメタタグを整理して表示してくれます。
titleタグの重複やcanonicalタグの設置状況確認なので大活躍です。
おまけ:sitemap.xmlの生成
CMSを導入せずにサイト制作する場合などはサイトマップXMLを作るのも多少の手間になるもの。
Screaming Frog ではクロールしたURLでワンクリックでサイトマップXMLが作れるので、
まとめ
ここまで、SEO業務におけるScreaming Frogの便利な使い方について解説しました。
今回はごく基本的な部分を主として説明させていただきましたが、細かい機能が目白押しで高度なSEOを推進するうえで非常に有用ですので、SEOを強化したい方はぜひご活用ください。
また、博報堂アイ・スタジオはSEOに限らずデジタルマーケティングに関するコンサルティングサービスを提供しております。
- 世の中の変化に合わせてデジタルマーケティング戦略を練り直したいがやり方がわからない
- ペルソナやカスタマージャーニーについて適切に設定できるか不安
- 検索市場を洗い出してみたが適切なのか、抜け漏れの有無などを判断できない
- すでに存在しているサイトをSEO観点で診断したい
- サイトリニューアルの予定が決まっておりSEO観点でも改善していきたいがノウハウがない
といった場合は、博報堂アイ・スタジオがご支援可能ですので、お気軽にお問合せいただけますと幸いです。
また、デジタルマーケティングやデータ分析について、博報堂アイ・スタジオのノウハウをまとめた無料eBookもご用意しておりますのでぜひご活用ください。
- 博報堂アイ・スタジオ藤本 貴章(ふじもと たかあき)2016年に博報堂アイ・スタジオに入社。プロデューサーかつプロジェクトマネージャーとして、複雑なシステムや多数のステークホルダーが絡む大規模案件に従事。顧客ビジネスへの貢献と、プロジェクトマネジメント観点を両立させたプロジェクトデザインを得意とする。PMBOKフレームワークをベースに、案件特性に応じたプロジェクト計画をオーダーメイドすることで、安定的なプロジェクト進行を実現し、高品質なソリューションを提供している。
デジタルマーケティング領域で支援できること
顧客体験設計
- WEBサイト改善の施策立案の発想方法、コツ
- BtoBマーケティングで重要な2つのポイント「デジタル活用」「組織の分業化」とは
- 顧客一人ひとりの体験を最適化するOne to Oneコミュニケーションの実現方法
- UX×データ分析アプローチ!DXには欠かせない理想的なサービス設計プロセスとは?
- 効果的な施策立案に役立つ、カスタマージャーニーマップの作り方と活用法
- CRMツールのシナリオ設計に使えるRFM分析とは?
- 定着ユーザー育成に役立つ「ブランドエクイティピラミッド」とは?
- WEBサイト改善におけるPDCAの考え方
- 失敗しないMAツールの選び方
- デジタルマーケティングにおけるカスタマージャーニー改善の重要性
- 営業部門の為のマーケティングオートメーション
- デジタルマーケティングにおけるSEOやグロースハックの重要性
- コロナ禍によってBtoBマーケティングに起きた変化と対策
- SEO(検索エンジン最適化)でビジネスを加速させる基本的な考え方