巡回ソフト、1ページ保存、ダウンロード管理、Grab All Files。方式ごとの得意なこと。
この4種類は役割が重なるので、選ぶ基準は「何ページか」「ログインが要るか」「JavaScript で描かれたページか」「繰り返すか」です。表は方式の一般的な性質で比べていて、製品によって違う点は「多くの場合」と書きました。製品名は出しません。Grab All Files は右端の列で、向かない行ははっきり書いています。
4つの方式を、行ごとに比べる
左の3列は、その種類の道具で多くの場合に言えることです。製品ごとに違うので、検討中の製品で確かめてください。
| パソコン用のサイト巡回ソフト | 1ページを保存する拡張機能 | ダウンロード管理ソフト | Grab All Files | |
|---|---|---|---|---|
| ログイン後のページ | サーバーに直接ページを要求するものが多く、ログインには追加の設定が要るか、できないことがあります。 | 取れます。ブラウザーが表示しているページを保存するからです。 | ファイルのリンクが中心です。ブラウザーのログインを使えるものもありますが、使えないものも多くあります。 | 取れます。今のブラウザーのログイン状態を使います。パスワードは保存せず、CAPTCHA は突破しません。 |
| JavaScript で作られたページ | サーバーが返した HTML をそのまま保存するものが多く、ブラウザーの中で作られるページはほとんど空になることがあります。 | 取れます。表示された内容を保存します。 | 目的ではありません。ページを描画しません。 | 取れます。ブラウザーが表示した内容を保存します。 |
| 何千ページ | 向いています。この方式はそのためのものです。 | 向きません。1回の操作で1ページです。 | ファイルが多いのは問題ありません。ページ丸ごとは目的外です。 | あまり向きません。ブラウザーの中で1ページずつ読むので、この規模では遅くなります。1回の巡回で読むのは最大100,000ページです。 |
| コピーの更新(変わった分だけ取り直す) | 備えているものが多くあります。 | ありません。 | 多くの場合ありません。ファイルを取ることが目的で、コピーの比較は役割ではありません。 | ありません。Markdown の差分レポートで同じサイトの前回の収集と比べられますが、変わった分だけを取り直すわけではありません。 |
| ページの見た目 | リンクを書き換えて、サイトをフォルダの形で書き出すものが多くあります。 | スタイルと画像を入れて、1つのファイルにまとめるものが多くあります。 | ページは保存しません。 | 「読みやすく整える」と「元の見た目のまま」の2つの見た目と、4つの保存の形。サイトのフォルダの形で書き出す形もあります(Chrome・Edge のみ)。 |
| ページ内のファイルの検出 | 多くは拡張子で指定し、含める・除く条件で絞ります。 | 目的ではありません。 | ページのリンクを一覧にして、選んだものを保存するものが多くあります。 | 38カテゴリ・708種類を検出します。iframe 内の PDF や、fetch/XHR・blob URL で読み込まれるファイルも探し、一覧で確かめてから保存します。 |
| どこで動くか | パソコンにインストールするプログラム。 | ブラウザーの拡張機能。 | パソコンのプログラム。ブラウザーと連携するものもあります。 | Chrome・Edge・Firefox の拡張機能。元のサイトからパソコンに直接保存します。 |
| 費用と買い方 | 製品によります。 | 製品によります。 | 製品によります。 | 無料で使えます。Pro は US$19.99 の買い切りで、3台までです。 |
Grab All Files が向く場面
- ✓見るのにログインが要り、そのページを自分のブラウザーですでに開ける。
- ✓ページが JavaScript で作られていて、そのまま取ると空になる。
- ✓PDF や Office 文書を先に一覧にして、確かめてから一部だけ残したい。
- ✓限られた数のページ、または数ページにまたがる長いファイルの一覧。
向かない場面
- –何千ページものサイトを、1回でまるごとコピーする。
- –毎週コピーを更新して、変わったファイルだけを取る。
- –ファイルではなく、配信(ストリーミング)される動画。
- –自分のブラウザーで開けないページ。
方式が違いを決める
表の違いの多くは、その道具がどこで動き、そこから何が見えるかで決まります。
組み合わせて使う
方式は競争相手ではありません。たとえば、大きな公開サイトはパソコン用の巡回ソフトで、同じサイトのログイン後の部分や、数ページに散らばった PDF は Grab All Files で、という分け方があります。Grab All Files のファイル一覧は、各ファイルの URL つきで CSV に書き出せるので、ほかの道具に渡したいときの材料になります。
関連する使い方
- できること・できないこと上限と保存できないものを、数字つきで。
- サイトを丸ごと保存数百ページのサイトを保存する手順。
- ログイン後のページと資料を保存ログインが要るページとファイル。
よくある質問
Grab All Files はサイト巡回ソフトですか?
一般的な意味では違います。ブラウザーの中で1ページずつ保存し、サイトのフォルダの形をパソコンに書き出すこともできます。限られた数のページに向いています。何千ページもあるサイトは、パソコン用のサイト巡回ソフトのほうが向いています。
ログインが必要なサイトには、どの方式が向きますか?
ブラウザーの中で動く道具です。今のログイン状態をそのまま使えるからです。Grab All Files や、1ページ保存の拡張機能がそうです。パソコン用の巡回ソフトは、追加の設定が要ることが多くあります。
保存したコピーを更新して、変わった分だけ取れますか?
Grab All Files ではできません。同じサイトの前回の収集と比べる Markdown の差分レポートはありますが、ページはもう一度保存します。更新には、パソコン用のサイト巡回ソフトが向いています。
ダウンロード管理ソフトとの違いは何ですか?
ダウンロード管理ソフトは、ファイルのリンクの一覧を受け取って、うまく取ってきます。Grab All Files は、スクリプトで読み込まれるファイルも含めて先に見つけ、一覧で確かめてから保存します。ページを HTML に保存することもできます。
実際のページで Grab All Files を試せます。
無料プランは、ファイル一括ダウンロードでは1回のダウンロードで10件まで、ページのHTML化では1回に選んだ1ページを保存できます。そのページから直接リンクされたファイルは「次のファイル10件を保存」で10件ずつ保存します。Pro($19.99・買い切り、3台まで)は1回あたりの件数上限がなく、複数ページを1つのHTMLにまとめられます。