WEBサイトのページ一覧作成。URL、タイトル、メタタグを取得できるScreaming Frog SEO Spider Website Crawler

WEBサイトのページ一覧を簡単に作成。URL、タイトル、メタタグまでサイトの情報を取得できるScreaming Frog SEO Spider Website Crawler WEB制作・集客
この記事は約4分で読めます。

WEBサイトのページ一覧の作成はWEB制作会社にとって必須の作業

WEB制作に携わる方でしたら一度はWEBサイトのページ一覧を作成したことがあるかと思います。

  • サイトリニューアルの際に、現行サイトのページ一覧を作成
  • サイトを作成する際、競合サイトを分析する為に、競合サイトのページ一覧を作成

SEO対策するにもWEBサイトのページ一覧の作成は必須の作業

SEO対策に携わる方もWEBサイトのページ一覧を作成したことがあるのではないでしょうか。

  • 自社サイトにどのようなコンテンツが存在しているからを知る為に一覧を作成
  • 自社サイトのタイトルやメタタグの一覧を作成
  • 競合サイトにどのようなコンテンツが存在しているからを知る為に一覧を作成
  • 競合サイトのタイトルやメタタグの一覧を作成

サイトのページリストを作成するのは大変な作業

ページリスト作成は様々なタイミングで訪れますが、皆さんはどのようにしてサイトのページリストを作成していますか?

サイト上の全てのリンクをクリックして調べるなんて到底できません。
すべての方がサイトのページ一覧を作成する際はツールを使用しているはずです。
ツールを使わないと無理なほどページ一覧作成は大変な作業です。

私も今まで様々なツールを利用してきました。
ただ、URLを取得できるがタイトルの取得は別のツールが必要であったり、メタタグの取得は更に異なるツールが必要だったりでツールを使っても複数作業が発生してしまいます。
1つのツールで完結しないのかをずっと探していました。

WEBサイトの情報を取得するにはScreaming Frog SEO Spider Website Crawlerが最強

そんな中巡り合ったのが「Screaming Frog SEO Spider Website Crawler」です。
Screaming Frog SEO Spider Website Crawler
Screaming Frog SEO Spider Website Crawlerを使用すれば、WEBサイトに存在するページの様々な情報を取得することができます。
しかも500ページまでは無料で利用できます。
中小規模のサイトであれば無料で十分です。

Screaming Frog SEO Spider Website Crawlerで取得できる情報

Screaming Frog SEO Spider Website Crawlerで取得できる情報は以下となります。
(数が多い為、一部抜粋しています。)

  • URL(HTML、CSS、JavaScript、画像、PHPなどすべてのファイル)
  • Content Type
  • Status Code
  • ページタイトル
  • ページタイトルの長さ
  • Descriptionタグ
  • Descriptionタグの長さ
  • Keywordsタグ
  • Keywordsタグの長さ
  • H1タグ
  • H1タグの長さ
  • H2タグ
  • H2タグの長さ
  • Robotsタグ
  • Refreshタグ
  • Canonical Link
  • rel=”next”
  • rel=”prev”
  • ページサイズ(bytes)
  • 文字数
  • 内部リンク
  • 外部リンク
  • スペルミス(英語の)
  • 文章ミス(英語の)
  • Hash
  • 応答時間
  • 最終更新日時
  • リダイレクトURL
  • リダイレクト・タイプ
  • Cookies
  • HTTPバージョン
  • URLエンコード・アドレス
  • クロール日時

また、サイト構造も知ることが可能です。

Screaming Frog SEO Spider Website Crawlerの使い方

Screaming Frog SEO Spider Website Crawlerの使用方法を簡単にご説明します。
以下がScreaming Frog SEO Spider Website Crawlerです。
Screaming Frog SEO Spider Website Crawler

Screaming Frog SEO Spider Website Crawlerの使い方
①に情報を取得したいサイトのURLを入力します。
①の右の「Start」をクリックすると情報取得が開始されます。
サイトの規模にもよりますが数分から数十分で取得が完了します。

情報取得が完了すれば、②のタブによって表示する情報を選択することができます。
必要な情報が表示されるタブをクリックし、②の下の「Export」をクリックするとサイト情報CSVがダウンロードできます。

Screaming Frog SEO Spider Website Crawlerはサイト構造の情報も提供します。
③の「Site Structure」タブを選択し、③の下の「Export」をクリックするとサイト構造CSVがダウンロードできます。

ダウンロードしたCSVをExcelで開いてお好きなように加工すれば簡単に必要なページリストを作成することができます。
なお、ダウンロードしたCSVは文字コードがUTF-8です。
そのままExcelで開くと文字化けしますので、エディターでCSVファイルの文字コードをShift-JISに変換してからExcelで開くようにしてください。

投稿者プロフィール

masa
HTMLコーディングをはじめフロントエンド開発がメイン業務。
EC-CUBE、WordPressを勉強中。

猫好き。
野良猫を見かけたら、ついつい声を掛けてしまいます。
(ペットロスが嫌なので飼わない主義)

お気軽にご相談ください

お気軽にご相談ください

タイトルとURLをコピーしました