Grab All Files
← 用途別
✓方式の選び方

巡回ソフト、1ページ保存、ダウンロード管理、Grab All Files。方式ごとの得意なこと。

この4種類は役割が重なるので、選ぶ基準は「何ページか」「ログインが要るか」「JavaScript で描かれたページか」「繰り返すか」です。表は方式の一般的な性質で比べていて、製品によって違う点は「多くの場合」と書きました。製品名は出しません。Grab All Files は右端の列で、向かない行ははっきり書いています。

4つの方式を、行ごとに比べる

左の3列は、その種類の道具で多くの場合に言えることです。製品ごとに違うので、検討中の製品で確かめてください。

パソコン用のサイト巡回ソフト1ページを保存する拡張機能ダウンロード管理ソフトGrab All Files
ログイン後のページサーバーに直接ページを要求するものが多く、ログインには追加の設定が要るか、できないことがあります。取れます。ブラウザーが表示しているページを保存するからです。ファイルのリンクが中心です。ブラウザーのログインを使えるものもありますが、使えないものも多くあります。取れます。今のブラウザーのログイン状態を使います。パスワードは保存せず、CAPTCHA は突破しません。
JavaScript で作られたページサーバーが返した HTML をそのまま保存するものが多く、ブラウザーの中で作られるページはほとんど空になることがあります。取れます。表示された内容を保存します。目的ではありません。ページを描画しません。取れます。ブラウザーが表示した内容を保存します。
何千ページ向いています。この方式はそのためのものです。向きません。1回の操作で1ページです。ファイルが多いのは問題ありません。ページ丸ごとは目的外です。あまり向きません。ブラウザーの中で1ページずつ読むので、この規模では遅くなります。1回の巡回で読むのは最大100,000ページです。
コピーの更新(変わった分だけ取り直す)備えているものが多くあります。ありません。多くの場合ありません。ファイルを取ることが目的で、コピーの比較は役割ではありません。ありません。Markdown の差分レポートで同じサイトの前回の収集と比べられますが、変わった分だけを取り直すわけではありません。
ページの見た目リンクを書き換えて、サイトをフォルダの形で書き出すものが多くあります。スタイルと画像を入れて、1つのファイルにまとめるものが多くあります。ページは保存しません。「読みやすく整える」と「元の見た目のまま」の2つの見た目と、4つの保存の形。サイトのフォルダの形で書き出す形もあります(Chrome・Edge のみ)。
ページ内のファイルの検出多くは拡張子で指定し、含める・除く条件で絞ります。目的ではありません。ページのリンクを一覧にして、選んだものを保存するものが多くあります。38カテゴリ・708種類を検出します。iframe 内の PDF や、fetch/XHR・blob URL で読み込まれるファイルも探し、一覧で確かめてから保存します。
どこで動くかパソコンにインストールするプログラム。ブラウザーの拡張機能。パソコンのプログラム。ブラウザーと連携するものもあります。Chrome・Edge・Firefox の拡張機能。元のサイトからパソコンに直接保存します。
費用と買い方製品によります。製品によります。製品によります。無料で使えます。Pro は US$19.99 の買い切りで、3台までです。

Grab All Files が向く場面

  • ✓見るのにログインが要り、そのページを自分のブラウザーですでに開ける。
  • ✓ページが JavaScript で作られていて、そのまま取ると空になる。
  • ✓PDF や Office 文書を先に一覧にして、確かめてから一部だけ残したい。
  • ✓限られた数のページ、または数ページにまたがる長いファイルの一覧。

向かない場面

  • –何千ページものサイトを、1回でまるごとコピーする。
  • –毎週コピーを更新して、変わったファイルだけを取る。
  • –ファイルではなく、配信(ストリーミング)される動画。
  • –自分のブラウザーで開けないページ。

方式が違いを決める

表の違いの多くは、その道具がどこで動き、そこから何が見えるかで決まります。

ブラウザーの中で動くGrab All Files はパソコンのブラウザーの中で動きます。ログイン後のページや JavaScript のページが見えるのも、1ページずつの処理になるのも、このためです。
リンクをどこまでたどるか巡回の深さは「このページのみ」から無制限まで、1回で最大100,000ページ。その範囲の広い側は、パソコン用の巡回ソフトが得意です。

組み合わせて使う

方式は競争相手ではありません。たとえば、大きな公開サイトはパソコン用の巡回ソフトで、同じサイトのログイン後の部分や、数ページに散らばった PDF は Grab All Files で、という分け方があります。Grab All Files のファイル一覧は、各ファイルの URL つきで CSV に書き出せるので、ほかの道具に渡したいときの材料になります。

関連する使い方

よくある質問

Grab All Files はサイト巡回ソフトですか?

一般的な意味では違います。ブラウザーの中で1ページずつ保存し、サイトのフォルダの形をパソコンに書き出すこともできます。限られた数のページに向いています。何千ページもあるサイトは、パソコン用のサイト巡回ソフトのほうが向いています。

ログインが必要なサイトには、どの方式が向きますか?

ブラウザーの中で動く道具です。今のログイン状態をそのまま使えるからです。Grab All Files や、1ページ保存の拡張機能がそうです。パソコン用の巡回ソフトは、追加の設定が要ることが多くあります。

保存したコピーを更新して、変わった分だけ取れますか?

Grab All Files ではできません。同じサイトの前回の収集と比べる Markdown の差分レポートはありますが、ページはもう一度保存します。更新には、パソコン用のサイト巡回ソフトが向いています。

ダウンロード管理ソフトとの違いは何ですか?

ダウンロード管理ソフトは、ファイルのリンクの一覧を受け取って、うまく取ってきます。Grab All Files は、スクリプトで読み込まれるファイルも含めて先に見つけ、一覧で確かめてから保存します。ページを HTML に保存することもできます。

実際のページで Grab All Files を試せます。

無料プランは、ファイル一括ダウンロードでは1回のダウンロードで10件まで、ページのHTML化では1回に選んだ1ページを保存できます。そのページから直接リンクされたファイルは「次のファイル10件を保存」で10件ずつ保存します。Pro($19.99・買い切り、3台まで)は1回あたりの件数上限がなく、複数ページを1つのHTMLにまとめられます。