如果一个网站没有地图，我如何查看他所有的文章？

luck · 发表于 2015-4-14 18:32:19

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！

54clz · 发表于 2015-4-14 18:48:44

蜘蛛

billy · 发表于 2015-4-14 20:19:01

site命令

李小冲 · 发表于 2015-4-14 21:14:02

我一般采集网的入手的方法：
1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
5.看命，是否幸运从中找到可利用的点

luck · 发表于 2015-4-14 21:43:15

billy 发表于 2015-4-14 20:19
H3 p, u' t) j& [site命令

是这个命令？
sitemap.xml
我也是用的这个，但有的网站没有，它不起作用。

luck · 发表于 2015-4-14 21:45:37

54clz 发表于 2015-4-14 18:48
% u i9 h- n! D: G: ~. r, D4 z0 C蜘蛛

请详细说明。

billy · 发表于 2015-4-14 21:46:30

luck 发表于 2015-4-14 21:43$ N8 Z3 W1 W8 a" _
是这个命令？
# ~) L7 P% n3 [& |# |' K" M/ Csitemap.xml
4 k+ P K/ z# A$ W! K我也是用的这个，但有的网站没有，它不起作用。 ...

我想看一个网站的地图，如果他没有，你怎么能看到？
用site:xxx.com 查看所有收录

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户	IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户	PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP	FB个号1块一个	TikTok2审户/老户/国内外端口/加白	SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️	跨境债务催收/风险代理	高权重Google老户[卖户+筛户等级]	海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1	FB企业户海外户,授信户,TK加白户	广告位出租	8500万高质量住宅IP，助力各种需求
虚拟卡返佣1%，国内持牌机构

如果一个网站没有地图，我如何查看他所有的文章？

点评

点评

点评

评分

点评

浏览过的版块

社区QQ达人