找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 5652|回复: 10

如果一个网站没有地图,我如何查看他所有的文章?

[复制链接]

584

主题

2089

广告币

3844

积分

金牌会员

积分
3844
发表于 2015-4-14 18:32:19 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2015-4-14 18:48:44 | 显示全部楼层
蜘蛛                          

点评

请详细说明。  详情 回复 发表于 2015-4-14 21:45
回复 支持 反对

使用道具 举报

33

主题

3368

广告币

6605

积分

超级版主

酱油党

积分
6605

社区QQ达人

发表于 2015-4-14 20:19:01 来自手机 | 显示全部楼层
site命令

点评

是这个命令? sitemap.xml 我也是用的这个,但有的网站没有,它不起作用。  详情 回复 发表于 2015-4-14 21:43
回复 支持 反对

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2015-4-14 21:14:02 | 显示全部楼层
我一般采集网的入手的方法:, f+ e9 e* V1 @8 ^% ^# U6 C1 P1 T
1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
3 X" a& v- h/ T5 `! E% ~/ a2.直接获取内容列表后再获取详情页面
' U1 z1 i7 s; x3.直接通过内容id遍例抓取
2 k* s% g2 c+ v/ n8 N( c: Q4.通过rss订阅查找一些相对应的Id后再采集相关的内容
" i- H* i) n' K' n$ A6 U; p2 l5.看命,是否幸运从中找到可利用的点

点评

不错  发表于 2015-4-15 08:53

评分

参与人数 1广告币 +2 收起 理由
luck + 2 我不懂你说的方法,但很感谢你!.

查看全部评分

回复 支持 反对

使用道具 举报

584

主题

2089

广告币

3844

积分

金牌会员

积分
3844
 楼主| 发表于 2015-4-14 21:43:15 | 显示全部楼层
billy 发表于 2015-4-14 20:19
: w+ K) U% h3 m1 |( G0 F0 Hsite命令
$ i" p' G& \; A/ H
是这个命令?' j  c, e. H# r  U0 {
sitemap.xml
1 U, M/ R7 r9 D& {: T& E7 {, a9 f我也是用的这个,但有的网站没有,它不起作用。

点评

我想看一个网站的地图,如果他没有,你怎么能看到? 用site:xxx.com 查看所有收录  详情 回复 发表于 2015-4-14 21:46
回复 支持 反对

使用道具 举报

584

主题

2089

广告币

3844

积分

金牌会员

积分
3844
 楼主| 发表于 2015-4-14 21:45:37 | 显示全部楼层
54clz 发表于 2015-4-14 18:48' ?  X; {- p) [% K# w( ^, S
蜘蛛

& W3 }& p' a. {/ f( l请详细说明。                           
回复 支持 反对

使用道具 举报

33

主题

3368

广告币

6605

积分

超级版主

酱油党

积分
6605

社区QQ达人

发表于 2015-4-14 21:46:30 | 显示全部楼层
luck 发表于 2015-4-14 21:431 n  x3 P& ]0 e# i1 f, N% j$ t+ ]
是这个命令?
" _) X5 S+ n& v, ?: S1 O7 p4 Dsitemap.xml
4 ~% t( w3 _- s- T2 Z1 {我也是用的这个,但有的网站没有,它不起作用。 ...

0 q5 {7 m# T4 t3 P( ^* K$ R0 x% L# m我想看一个网站的地图,如果他没有,你怎么能看到?
9 A) [, c# b7 A) R5 G* C用site:xxx.com 查看所有收录
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 20:00 , Processed in 0.074826 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表