|
|
发表于 2013-7-1 19:52:54
|
显示全部楼层
举头问天 发表于 2013-7-1 19:46 
能保持网站结构么?能抓取一个网站的所有链接么?能抓取网站所有的页面么
wget可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。
wget加上参数之后，即可成为相当强大的下载工具。
wget -r -p -np -k http://xxx.com/abc/
-r, --recursive（递归） specify recursive download.（指定递归下载）
-k, --convert-links（转换链接） make links in downloaded HTML point to local files.（将下载的HTML页面中的链接转换为相对链接即本地链接）
-p, --page-requisites（页面必需元素） get all images, etc. needed to display HTML page.（下载所有的图片等页面显示所需的内容）
-np, --no-parent（不追溯至父级） don't ascend to the parent directory.
另外断点续传用-nc参数 日志 用-o参数
更具体详细的内容可以参考其manpage |
评分
-
查看全部评分
|
发表于 2013-7-1 09:59:03
都不介绍下具体什么情况啊
发表于 2013-7-1 10:56:42
发表于 2013-7-1 11:00:25
楼主
