如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！

' J" d4 l' `& ]; K2 s$ P, D

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
  ?3 J& J! e& J0 p, ]  E1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
* g, T' A- R$ b, \0 ]5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

  _( F5 }$ r" _: K' P1 i是这个命令？
sitemap.xml
( P  i( q% D4 ]5 r+ h/ i! L6 q/ O8 c+ f我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
* Z% n3 L3 A! u* Z蜘蛛

4 V/ [6 x; i- \! T- @( V$ K请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
- {9 V; T8 C* N" e是这个命令？
' q/ G3 e% Z* T2 V' Psitemap.xml
% k3 u2 M# o0 l我也是用的这个，但有的网站没有，它不起作用。 ...

我想看一个网站的地图，如果他没有，你怎么能看到？
! G- t0 ~; S6 t用site:xxx.com 查看所有收录