如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
0 X! S" e0 c+ c4 W& u 谢谢！

; p& Y3 }% o  l

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
1 d. X+ j2 a6 L& Q8 A1 g4 I2.直接获取内容列表后再获取详情页面
* r( x0 h3 R( J8 k& O3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
# S& P5 @* c" ]% u, w1 p! vsite命令

7 \' G% K, x9 v5 H  C1 S! N- p是这个命令？
, B* v5 s: [9 t4 P+ J! ositemap.xml
& t$ F+ T! h  u% E. M# Y- E, [我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
蜘蛛

, o! q$ M3 G4 N$ b3 ~9 S9 g请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
是这个命令？
sitemap.xml
/ R/ d( [8 O. F) r/ ~& [4 P6 |: U我也是用的这个，但有的网站没有，它不起作用。 ...

我想看一个网站的地图，如果他没有，你怎么能看到？
) G* W8 d2 B4 G* Z2 t用site:xxx.com 查看所有收录