如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！
* Z. H# x) ?' u- W. X! S* ]
7 a& @& H6 G3 y

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
+ M- }1 B1 _: r* R1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
  u( ], H7 B* m$ H6 v3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
) ^/ s& S! N4 r4 C) `0 n, e4 O0 C5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

是这个命令？
sitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
' Z. k1 ^( [' o; D% Z蜘蛛

* t6 ^' d9 j) x; p) g1 S0 c: ?. X请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
是这个命令？
; I% ]9 ?4 u. ]% T2 Esitemap.xml
6 r. L6 x! n) w9 ^4 n4 n2 d  |我也是用的这个，但有的网站没有，它不起作用。 ...

1 U7 \, \# m# }$ W我想看一个网站的地图，如果他没有，你怎么能看到？
! m8 u2 ?# K+ k: n) G- z用site:xxx.com 查看所有收录