如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
9 y# m1 `/ @/ V- \0 A: H 谢谢！
+ ^! o! s/ U$ g2 g: Z6 ~9 N1 Y

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
: N2 L7 g+ K6 c* a! c1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
7 j. Y7 ^9 Z8 ]. b3 z5 D7 p2.直接获取内容列表后再获取详情页面
: u2 f7 w- g  J' s# Y; _3.直接通过内容id遍例抓取
* j/ @) [. g* e3 Z: x( d* t/ u7 E' J4.通过rss订阅查找一些相对应的Id后再采集相关的内容
5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

: L3 j- {3 B% R5 k( P是这个命令？
! M) ?# X/ X% x, n/ `sitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
; q8 {/ z+ s- \& T( x蜘蛛

( x3 }2 l7 n) k请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
是这个命令？
1 k  p$ I# e, wsitemap.xml
0 C1 `. [: i' v" q" e我也是用的这个，但有的网站没有，它不起作用。 ...

9 g/ Z# C, T, ?( W  g我想看一个网站的地图，如果他没有，你怎么能看到？
用site:xxx.com 查看所有收录