找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 14278|回复: 15

[讨论] 在知道域名的情况下,有没有可能采集这个网站所有的网页

[复制链接]

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

发表于 2014-8-17 00:54:28 | 显示全部楼层 |阅读模式
本帖最后由 白龙君 于 2014-8-17 16:22 编辑 $ }8 B6 [9 [0 d" j
# [% ^5 o% J2 h
额。。。找到一个放LP的域名,想SPY一下域名下可能存放的其他LP4 p; ]$ \% p0 v- s' I2 K
& X  a) A- d+ X
site高级搜索命令啥也搜索不到。。。火车采集好像也不行啊。。。
- k3 ]/ ^' u! s' h6 v. w1 n* p4 i& e' Y! Q# L; Z4 q
已知url格式是这样的 http://domain.com/lp/test/?s=275665523 q- e8 K8 T3 x) f  p* T4 ]9 ^1 _
相关帖子
Binom_AdvertCN
回复

使用道具 举报

4

主题

1813

广告币

2358

积分

高级会员

积分
2358

社区QQ达人

发表于 2014-8-17 01:37:32 | 显示全部楼层
如果相互有链接,或sitemap之类,肯定没问题。过滤其它信息,只要页面上有链接存在,就访问并保存,类似写个爬虫……如果没内链,我想不出来有什么办法能发现其它网页

评分

参与人数 1广告币 +2 收起 理由
白龙君 + 2 很给力!

查看全部评分

回复 支持 1 反对 0

使用道具 举报

83

主题

1798

广告币

4141

积分

金牌会员

积分
4141

社区QQ达人

发表于 2014-8-17 12:01:33 | 显示全部楼层
如果他们之间有互链的就可以。如果没有就没有办法了。

点评

谢谢  发表于 2014-8-17 16:28
回复 支持 反对

使用道具 举报

53

主题

617

广告币

1507

积分

高级会员

积分
1507

社区QQ达人

发表于 2014-8-17 15:00:26 | 显示全部楼层
要是我,我肯定把LP 隐藏的很深 。。不会轻易让你猜到的,用爬虫也无力,只能碰碰运气了。
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:23:42 | 显示全部楼层
akzovk 发表于 2014-8-17 01:37, N9 {7 {/ U0 t$ I! N6 T
如果相互有链接,或sitemap之类,肯定没问题。过滤其它信息,只要页面上有链接存在,就访问并保存,类似写 ...
7 A  P# ]7 z, C& Q
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
7 H& _: x5 C1 G) N: b6 f4 X( @- K6 }" v+ ~* V" \. j. I
我昨天尝试用火车头从s=1采集,不过貌似不行啊。。。
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:27:54 | 显示全部楼层
malong101 发表于 2014-8-17 04:22
" r1 W) s1 c/ W* u不知道其他文件名 就没法弄了 除非黑了他

+ {$ x, x8 k* p. ]9 ~9 ~已知url格式是这样的 http://domain.com/lp/test/?s=27566552
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:29:27 | 显示全部楼层
tmdsoft 发表于 2014-8-17 15:00) r! o: y" x$ d) I. g' l
要是我,我肯定把LP 隐藏的很深 。。不会轻易让你猜到的,用爬虫也无力,只能碰碰运气了。 ...
7 h; t1 f+ }" L1 B- l& V
已知url格式是这样的 http://domain.com/lp/test/?s=275665528 ?; ?5 w; H5 C0 }2 l6 |
* R! Q! F6 y6 {. Z2 |6 n
其实我是先找到他的一个LP,像看看他域名写下有没有其他LP
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-17 18:47:43 | 显示全部楼层
白龙君 发表于 2014-8-17 16:29, M* e% Q  d' }) Z5 z
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
+ `7 P' W* d) g( T9 l+ g) H( `) g
其实我是先找到他的一个LP,像看看他域名 ...
5 H/ N  f" f1 `; I! g) s
暴力猜解s参数

点评

嗯。。。谢谢  发表于 2014-8-18 15:25
回复 支持 反对

使用道具 举报

4

主题

1813

广告币

2358

积分

高级会员

积分
2358

社区QQ达人

发表于 2014-8-17 21:49:32 | 显示全部楼层
白龙君 发表于 2014-8-17 16:23  u' Z2 ~, Q0 z
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
7 j- T& a2 Z* e# s# s! w- C  c8 y3 W. f# W9 Z" v
我昨天尝试用火车头从s=1采集,不过貌似不 ...

" c6 P( L$ T; z! V8 m0 C如果你确定test这个是不变的话,那很好办好啊,就循环采集就好了啊
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

发表于 2014-8-17 21:50:49 | 显示全部楼层
我的第一个想法是到搜索引擎去看下是否被收录) i# j4 O) |4 V
  1. inurl:http://domain.com/lp/test/?s=
复制代码

! P  t8 f! g- M) z, Q- k如果没有就只能暴力猜解,暴力猜解最好自己写工具,执行效率要高,多线程。反正火车头什么的效率太低,不知道要猜解到什么时候。

评分

参与人数 1广告币 +2 收起 理由
白龙君 + 2 NB!

查看全部评分

空
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-18 15:25:58 | 显示全部楼层
akzovk 发表于 2014-8-17 21:49
" s4 _3 v9 J8 @8 k1 C如果你确定test这个是不变的话,那很好办好啊,就循环采集就好了啊
' E* b: z# A6 n& L4 ?
貌似是不变的。。。我又找到了一个
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-18 15:26:35 | 显示全部楼层
fatiery 发表于 2014-8-17 21:50
1 y% P, c* y8 x% f  D6 D! \我的第一个想法是到搜索引擎去看下是否被收录" `0 ]9 f6 g. C9 D  y; M! g7 g

; |; D9 Z. ^8 B0 K# c+ p8 u% x如果没有就只能暴力猜解,暴力猜解最好自己写工具,执行效率 ...
, L4 F2 G  V) m3 K! i/ D2 P- a
高手啊。。。。暂时还没有写采集工具的能力
回复 支持 反对

使用道具 举报

1

主题

114

广告币

220

积分

初级会员

积分
220

社区QQ达人

发表于 2014-8-18 18:16:05 来自手机 | 显示全部楼层
最简单迅雷下载,【1】~【xxxxxx】来自: iPhone客户端
回复 支持 反对

使用道具 举报

6

主题

1089

广告币

1118

积分

中级会员

积分
1118

社区QQ达人

QQ
发表于 2014-8-24 15:47:34 | 显示全部楼层
如果有內链就没有任何问题,如果没有的话,自能去猜参数暴力的了
收亚马逊美国AFF老账号,收过款的那种
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 21:16 , Processed in 0.101719 second(s), 27 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表