如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！
# b$ Q4 x4 Z: e+ V  Q, X& j

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
( c. ~0 n4 K! T0 _" w( w, m1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
3.直接通过内容id遍例抓取
( ^# H$ B; O& Y# H$ o4.通过rss订阅查找一些相对应的Id后再采集相关的内容
7 o/ @5 I. s' ?2 G: q5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

是这个命令？
sitemap.xml
3 T# B' [" o7 w) [我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
蜘蛛

请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
) `2 e) j) @4 _是这个命令？
, q; Z  {. Z7 ^5 usitemap.xml
. v3 x% D8 J/ A6 V7 o9 C) V我也是用的这个，但有的网站没有，它不起作用。 ...

4 h# @0 }) `* W; c: U+ }我想看一个网站的地图，如果他没有，你怎么能看到？
1 n% T; V' y# p3 w# B- s3 r用site:xxx.com 查看所有收录