如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！
. O$ X: W  q8 {3 A. ~

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
6 F% |1 G% C1 k2 D4 F9 M1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
: \# w' M0 {  b( M4 w4 v2.直接获取内容列表后再获取详情页面
3.直接通过内容id遍例抓取
7 j6 p3 E2 Y" e) v" ~8 Z) y% }4.通过rss订阅查找一些相对应的Id后再采集相关的内容
' @7 c8 ^* R0 M- |4 U0 V5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
- ^7 Z( O4 _$ {5 }site命令

5 q) M% q9 m. X是这个命令？
  u# o$ _; S2 u  F2 D5 m8 W. p$ W" hsitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
, o" k4 N+ r7 `" P蜘蛛

请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
是这个命令？
sitemap.xml
: t. D. }' l' N8 g, i, m! S7 H1 x& w我也是用的这个，但有的网站没有，它不起作用。 ...

  Z7 I6 n; }: o( Y我想看一个网站的地图，如果他没有，你怎么能看到？
: U% ]; v$ _7 @, Y# l用site:xxx.com 查看所有收录