如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
4 ^  I+ C" R. x( _, s! B7 [ 谢谢！
3 `3 {" ~7 z: \2 A( E4 M$ s% d

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
7 M" p4 G3 N- H1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
* R% g. a7 s: j& R! _2.直接获取内容列表后再获取详情页面
+ q3 a5 t2 N) F8 t% O) m" a, I, N3.直接通过内容id遍例抓取
! V+ c5 j4 n! Q, k$ |; q) w4.通过rss订阅查找一些相对应的Id后再采集相关的内容
( c' r5 H3 b& O: i  }5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
( f$ A8 Y$ K( K$ ?site命令

4 M" F& [3 r2 F, e4 Y3 ~. \是这个命令？
; \+ r4 g; O6 y7 Asitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
蜘蛛

请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
是这个命令？
# Y3 q6 J. l, Y6 n: t7 e0 \sitemap.xml
2 a0 A; _: i" I, k4 P我也是用的这个，但有的网站没有，它不起作用。 ...

我想看一个网站的地图，如果他没有，你怎么能看到？
6 E( f" z) @7 w8 U用site:xxx.com 查看所有收录