網站複製工具、單頁儲存工具、下載管理程式或 Grab All Files:各種方法擅長什麼。
這四類工具的功能有所重疊,所以關鍵在於哪種方法適合您的工作:要處理多少頁、是否需要登入、頁面是否由 JavaScript 繪製,以及是否會重複進行。下表以一般情況比較各種方法,產品之間有差異之處則用「通常」表示。表中不提及任何產品名稱。Grab All Files 是第四欄,不適合它的項目也會直白地標示出來。
四種方法逐項比較
前三欄描述的是該類工具通常的情況。各產品之間有差異,請自行確認您考慮使用的那一款。
| 桌面版網站複製工具 | 單頁儲存擴充功能 | 下載管理程式 | Grab All Files | |
|---|---|---|---|---|
| 需要登入的頁面 | 通常直接向伺服器請求頁面,因此登入需要額外設定,有時甚至無法做到。 | 可以,因為它儲存的是瀏覽器已顯示的頁面。 | 大多是為檔案連結設計的。有些可以沿用瀏覽器的登入狀態,但很多不行。 | 可以。它沿用您所用瀏覽器的登入狀態。不會儲存密碼,也無法通過 CAPTCHA。 |
| 由 JavaScript 繪製的頁面 | 通常儲存的是伺服器送出的原始 HTML,所以在瀏覽器中才組出內容的頁面,儲存後可能幾乎是空白的。 | 可以,因為它儲存的是畫面上顯示的內容。 | 不是它的用途。它不會繪製頁面。 | 可以。它儲存瀏覽器所顯示的內容。 |
| 數千頁 | 很適合。這正是這種方法的用途。 | 不適合。每個動作只能儲存一頁。 | 大量檔案沒問題,但整個頁面不是它的用途。 | 不太適合。它在瀏覽器內一次讀取一頁,這種規模下速度較慢。單次爬取最多讀取 100,000 頁。 |
| 更新副本:只重新下載有變更的部分 | 通常有這項功能。 | 沒有這項功能。 | 通常沒有。它的設計是抓取檔案,而不是比較副本。 | 沒有這項功能。Markdown 變更報告會與您上次儲存的同一網站收集結果比較,但不會只重新抓取有變更的部分。 |
| 頁面的外觀 | 通常會改寫連結,並將網站以資料夾形式寫出。 | 通常會將頁面連同樣式和圖片放進單一檔案。 | 沒有儲存的頁面。 | 兩種外觀:「整理為易讀格式」和「保持原樣」,以及四種儲存形式,其中包括依網站資料夾結構寫出的形式(僅限 Chrome 和 Edge)。 |
| 找出頁面內的檔案 | 通常依副檔名,並可設定包含與排除規則。 | 不是它的用途。 | 通常會列出頁面上的連結,並儲存所選的項目。 | 可偵測 38 個類別、708 種檔案類型,包括 iframe 中的 PDF,以及透過 fetch/XHR 或 blob URL 載入的檔案,並在儲存前列出供您檢查。 |
| 在哪裡執行 | 安裝在您電腦上的程式。 | 瀏覽器擴充功能。 | 在您電腦上的程式,有時會與瀏覽器連動。 | 適用於 Chrome、Edge 和 Firefox 的瀏覽器擴充功能。頁面和檔案從來源網站直接傳到您的電腦。 |
| 費用與購買 | 依產品而異。 | 依產品而異。 | 依產品而異。 | 可免費使用。Pro 為 US$19.99,一次買斷,最多 3 台裝置。 |
Grab All Files 適合的情況
- ✓必須登入才看得到頁面,而且您已經能在瀏覽器中開啟它們。
- ✓頁面由 JavaScript 產生,一般下載會得到空白內容。
- ✓您想先列出 PDF 和 Office 檔案,檢查後只保留其中一部分。
- ✓工作內容是數量有限的頁面,或是分布在少數頁面上的一長串檔案。
不適合的情況
- –一次複製整個有數千頁的網站。
- –每週更新的副本,並且只抓取有變更的檔案。
- –以串流方式播放、而非以檔案連結提供的影片。
- –您無法在自己的瀏覽器中開啟的頁面。
為什麼方法很重要
表中的許多差異,來自工具在哪裡執行,以及從那裡能看到什麼。
同時使用多種方法
這些方法並非互相競爭。常見的分工是:大型公開網站用桌面版網站複製工具,同一網站的登入後區域,或分散在少數頁面中的 PDF,則用 Grab All Files。如果想交給其他工具處理,Grab All Files 的檔案清單也可以匯出為 CSV,內含每個檔案的 URL。
相關指南
- 能做與不能做的事上限與不支援的頁面,附上數字。
- 儲存整個網站逐步儲存幾百頁的網站。
- 儲存需要登入的網頁與檔案需要登入的頁面和檔案。
常見問題
Grab All Files 是網站複製工具嗎?
不是一般意義上的那種。它在瀏覽器內一次儲存一頁,也可以將網站的資料夾結構寫入您的電腦。它適合數量有限的頁面。若要處理數千頁,請使用桌面版網站複製工具。
需要登入的網站,哪種方法可行?
在瀏覽器內執行的工具,因為它會沿用您現有的登入狀態。Grab All Files 和單頁儲存擴充功能都是這樣運作。桌面版複製工具通常需要額外設定。
可以更新已儲存的副本,只下載有變更的部分嗎?
Grab All Files 無法做到。它有 Markdown 變更報告,會與您上次收集的同一網站比較,但仍會重新儲存頁面。桌面版網站複製工具才是為更新而設計的方法。
它和下載管理程式有什麼不同?
下載管理程式接收一份檔案連結清單,並能妥善地抓取。Grab All Files 則先找出檔案(包括頁面以指令碼載入的檔案),以清單顯示供您檢查,還能將頁面儲存為 HTML。
在瀏覽器中試用 Grab All Files。
免費版在檔案批次下載中每次下載最多儲存 10 個檔案,將網頁合併為 HTML時每次儲存 1 個選定頁面;該頁面直接連結的檔案可用「儲存接下來的 10 個檔案」每次儲存 10 個。Pro($19.99,一次購買,最多 3 台裝置)沒有每次下載的上限,並可將多個頁面合併為一個HTML。