网站复制工具、单页保存工具、下载管理器还是 Grab All Files:各种方式擅长什么。
这四类工具互有重叠,所以问题在于哪种方式适合这项工作:有多少页面、是否需要登录、页面是否由JavaScript绘制、是否会重复进行。下表对各种方式做一般性的对比,凡是各产品有差异之处就写“通常”。文中不点名任何产品。Grab All Files 是第四列,而它不适合的情形会用直白的话标出。
四种方式逐项对比
前三列描述的是这类工具通常的情况。各个产品有所不同,所以请确认您正在考虑的那一个。
| 桌面版网站复制工具 | 单页保存扩展 | 下载管理器 | Grab All Files | |
|---|---|---|---|---|
| 需要登录的页面 | 通常直接向服务器请求页面,因此登录需要额外设置,有时无法做到。 | 可以,因为它保存的是浏览器已经显示的页面。 | 大多是为文件链接设计的。有些可以沿用浏览器的登录状态;很多不行。 | 可以。它使用您所用浏览器的登录状态。它不会保存密码,也不会绕过验证码。 |
| 由JavaScript绘制的页面 | 通常按服务器发送的原样保存HTML,所以在浏览器中构建的页面可能几乎是空的。 | 可以,因为它保存的是显示出来的内容。 | 不是它的用途。它不渲染页面。 | 可以。它保存浏览器显示的内容。 |
| 数千页 | 很合适。这正是这种方式的用途。 | 不合适。每次操作只保存一个页面。 | 大量文件没问题。但整页并不是它的用途。 | 不太合适。它在浏览器内一次读取一页,因此这种规模下速度很慢。一次搜索最多读取100,000页。 |
| 更新副本:只重新下载有变化的部分 | 通常有这个功能。 | 没有这个功能。 | 通常没有。它是为获取文件而设计的,而不是对比副本。 | 没有这个功能。Markdown变更报告会与您上一次保存的同一网站的收集对比,但它不会只重新获取有变化的部分。 |
| 页面的外观 | 通常会改写链接,并把网站写成文件夹。 | 通常把页面连同样式和图片放进一个文件。 | 不保存页面。 | 两种外观“整理为易读格式”和“保持原样”,以及四种保存文件的形式,其中一种会写出网站的文件夹结构(仅限Chrome和Edge)。 |
| 找出页面内的文件 | 通常按文件扩展名,并带有包含和排除规则。 | 不是它的用途。 | 通常列出页面上的链接,并保存选中的链接。 | 能检测38个类别中的708种文件类型,包括iframe中的PDF,以及通过fetch/XHR或blob网址加载的文件,并在保存前列出供您检查。 |
| 在哪里运行 | 安装在您电脑上的程序。 | 浏览器扩展。 | 电脑上的程序,有时与浏览器关联。 | 适用于Chrome、Edge和Firefox的浏览器扩展。页面和文件从来源网站直接到您的电脑。 |
| 费用与购买 | 因产品而异。 | 因产品而异。 | 因产品而异。 | 可免费使用。Pro 为US$19.99,一次性付费,最多3台设备。 |
Grab All Files 是正确选择的情况
- ✓您必须登录才能看到页面,而您已经能在浏览器中打开它们。
- ✓页面由JavaScript构建,直接下载得到的是空白内容。
- ✓您希望先列出PDF和Office文件,以便检查并只保留一部分。
- ✓任务是有限的一组页面,或分布在几个页面上的一长串文件。
它不是正确选择的情况
- –一次复制有数千页的整个网站。
- –每周刷新、只获取有变化文件的副本。
- –以流媒体方式播放、而不是作为文件链接的视频。
- –您自己的浏览器打不开的页面。
为什么方式很重要
表格中的大部分差异,源于工具在哪里运行,以及从那里能看到什么。
同时使用多种方式
这些方式并不是对手。常见的分工是:大型公开网站用桌面版网站复制工具,同一网站需要登录的区域,或散落在几个页面上的PDF,则用 Grab All Files。如果想把文件列表交给其他工具,Grab All Files 的文件列表也可以导出为CSV,其中包含每个文件的网址。
相关指南
- 能做什么、不能做什么限制和不支持的页面,附具体数字。
- 整站保存逐步保存有几百页的网站。
- 保存登录后的页面和资料需要登录的页面和文件。
常见问题
Grab All Files 是网站复制工具吗?
不是通常意义上的。它在您的浏览器内一次保存一个页面,并且可以把网站的文件夹结构写到您的电脑上。它适合有限的一组页面。对于数千页,请使用桌面版网站复制工具。
哪种方式适用于需要登录的网站?
在您的浏览器内运行的工具,因为它使用您已有的登录状态。Grab All Files 和单页保存扩展就是这样工作的。桌面版复制工具往往需要额外设置。
能刷新已保存的副本,只下载有变化的部分吗?
Grab All Files 不行。它有一份Markdown变更报告,会与您上一次对同一网站的收集对比,但它会重新保存页面。桌面版网站复制工具才是为更新而设计的方式。
它与下载管理器有什么不同?
下载管理器接收一列文件链接并很好地获取它们。Grab All Files 则先找出文件,包括页面通过脚本加载的文件,以列表形式显示供您检查,并且还可以把页面保存为HTML。
在浏览器中试用 Grab All Files。
免费版在文件批量下载中每次下载最多保存 10 个文件,将网页合并为 HTML时每次保存 1 个选定页面;该页面直接链接的文件可用“保存接下来的 10 个文件”每次保存 10 个。Pro($19.99,一次性购买,最多 3 台设备)没有每次下载的上限,并可将多个页面合并为一个HTML。