如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
$ A! Q$ d4 ]7 V: m; k! L1 G3.直接通过内容id遍例抓取
% r6 @( O! K! m$ I* N6 z+ Z  J4.通过rss订阅查找一些相对应的Id后再采集相关的内容
# S  t9 N5 s) k  L# C% F5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

是这个命令？
3 H$ R, {$ I( w- u) d+ @# i: asitemap.xml
. o  U9 B  x) o$ p# F+ [6 R' ~我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
( X( t) J3 i: q& s5 f5 }3 H蜘蛛

请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
# o  C' \" `; P5 E9 w是这个命令？
8 M# J# B# H. m3 Z+ Q5 f; B3 nsitemap.xml
我也是用的这个，但有的网站没有，它不起作用。 ...

; Q$ V4 [6 N+ Q# p8 Z9 A% g我想看一个网站的地图，如果他没有，你怎么能看到？
  ^1 ~( ?: j: R$ p- G* @用site:xxx.com 查看所有收录