如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
: \4 j8 N% V+ ]1 u, r1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
" B4 p  H" t5 C$ Y' }: J+ E3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
0 Y; w% Z! M* f  c- z5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

是这个命令？
sitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
" G$ U6 c3 Y2 s) V) l. i. a8 C5 m: ]蜘蛛

/ F$ v/ C& W2 p% P) \请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
8 P5 R5 K  I2 p) ]- w! i0 n& n是这个命令？
) D- ^& X% A9 i' z* xsitemap.xml
我也是用的这个，但有的网站没有，它不起作用。 ...

我想看一个网站的地图，如果他没有，你怎么能看到？
0 e3 [) }. d. }# m1 p9 n用site:xxx.com 查看所有收录