AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化⚡️E.PN 虚拟卡⚡️FB BM不限额,短id账单户BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户提供TK企业新户老户、谷歌新户老户
PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量优质住宅/移动代理/高匿名/高性能
TK白名单老户|兼职广告可投⚡比特指纹浏览器+云手机, 4.5折起T3NZU:定义应用网盟新时代FB个人号源头服务商
寻找顶级电商?AdsBranded等你!TK老户/国内外端口/预审/加白广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 13612|回复: 15

[讨论] 在知道域名的情况下,有没有可能采集这个网站所有的网页

[复制链接]

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

发表于 2014-8-17 00:54:28 | 显示全部楼层 |阅读模式
HuiTong虚拟卡
本帖最后由 白龙君 于 2014-8-17 16:22 编辑 ' c- B; L& K. o
+ _& b7 k- X+ ]" L) K8 ^% A
额。。。找到一个放LP的域名,想SPY一下域名下可能存放的其他LP% N# D" v. `6 j" l- }

4 A9 B& B8 c% M; M" Z( M0 u) H5 ]3 `site高级搜索命令啥也搜索不到。。。火车采集好像也不行啊。。。( ?/ }: Q% ~( Y& L) G- a

6 _3 p. e- V! z' p' [& j, \已知url格式是这样的 http://domain.com/lp/test/?s=27566552
" W/ ]8 H8 z; u4 U  Z
相关帖子
回复

使用道具 举报

4

主题

1758

广告币

2307

积分

高级会员

Rank: 4

积分
2307

社区QQ达人

发表于 2014-8-17 01:37:32 | 显示全部楼层
如果相互有链接,或sitemap之类,肯定没问题。过滤其它信息,只要页面上有链接存在,就访问并保存,类似写个爬虫……如果没内链,我想不出来有什么办法能发现其它网页

评分

参与人数 1广告币 +2 收起 理由
白龙君 + 2 很给力!

查看全部评分

回复 支持 1 反对 0

使用道具 举报

83

主题

1798

广告币

4141

积分

金牌会员

Rank: 6Rank: 6

积分
4141

社区QQ达人

发表于 2014-8-17 12:01:33 | 显示全部楼层
如果他们之间有互链的就可以。如果没有就没有办法了。

点评

谢谢  发表于 2014-8-17 16:28
回复 支持 反对

使用道具 举报

53

主题

617

广告币

1507

积分

高级会员

Rank: 4

积分
1507

社区QQ达人

发表于 2014-8-17 15:00:26 | 显示全部楼层
要是我,我肯定把LP 隐藏的很深 。。不会轻易让你猜到的,用爬虫也无力,只能碰碰运气了。
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:23:42 | 显示全部楼层
akzovk 发表于 2014-8-17 01:37
1 m1 C' v2 a" D6 H如果相互有链接,或sitemap之类,肯定没问题。过滤其它信息,只要页面上有链接存在,就访问并保存,类似写 ...
9 C; O# p4 T$ [8 C: U: ^# L
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
) G+ Q  R7 |, Q( d# @) V! ]
5 N3 K( s# R( m' U9 C我昨天尝试用火车头从s=1采集,不过貌似不行啊。。。
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:27:54 | 显示全部楼层
malong101 发表于 2014-8-17 04:225 ^# V- ~; ~" l
不知道其他文件名 就没法弄了 除非黑了他
5 F2 h# k7 I" N1 y' D$ `6 g
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-17 16:29:27 | 显示全部楼层
tmdsoft 发表于 2014-8-17 15:00: W, T2 `/ ~$ H- Z- W
要是我,我肯定把LP 隐藏的很深 。。不会轻易让你猜到的,用爬虫也无力,只能碰碰运气了。 ...
4 @: d4 t  V, O# O
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
. s1 P+ j5 N, B. N; F. Y2 {5 B- X' g+ y! i
其实我是先找到他的一个LP,像看看他域名写下有没有其他LP
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-17 18:47:43 | 显示全部楼层
白龙君 发表于 2014-8-17 16:29; N0 O! N# i" W1 S. g. I: d) p
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
& G* u; @- ~2 ]5 t7 j2 j+ @9 m7 {
% k5 }4 N' g( w! ]) ~) f其实我是先找到他的一个LP,像看看他域名 ...
* h+ i+ u3 x0 H$ D; Y: N2 c& [
暴力猜解s参数

点评

嗯。。。谢谢  发表于 2014-8-18 15:25
回复 支持 反对

使用道具 举报

4

主题

1758

广告币

2307

积分

高级会员

Rank: 4

积分
2307

社区QQ达人

发表于 2014-8-17 21:49:32 | 显示全部楼层
白龙君 发表于 2014-8-17 16:23+ {4 g  g! y  t7 P/ O
已知url格式是这样的 http://domain.com/lp/test/?s=27566552% o+ O  i3 ~" }0 r4 _
% n2 L3 M4 ], U* Z/ ^6 ]; J4 F
我昨天尝试用火车头从s=1采集,不过貌似不 ...
8 n5 G2 _2 K/ U6 J
如果你确定test这个是不变的话,那很好办好啊,就循环采集就好了啊
回复 支持 反对

使用道具 举报

119

主题

2012

广告币

2583

积分

版主

名利权情牢是非成败空大家可以叫我空或空空希望能跟大家成为朋友

Rank: 7Rank: 7Rank: 7

积分
2583

社区QQ达人

发表于 2014-8-17 21:50:49 | 显示全部楼层
我的第一个想法是到搜索引擎去看下是否被收录
  A+ }# Y6 x  L$ X( c0 m. r
  1. inurl:http://domain.com/lp/test/?s=
复制代码

, b/ \" i- Y% g如果没有就只能暴力猜解,暴力猜解最好自己写工具,执行效率要高,多线程。反正火车头什么的效率太低,不知道要猜解到什么时候。

评分

参与人数 1广告币 +2 收起 理由
白龙君 + 2 NB!

查看全部评分

承蒙骄阳当年提携 感谢河马现今不弃 能在广告中国做版主 我很感恩 | 我没有什么才能 更不是什么大佬 但我喜欢学习和分享 期盼在这里一起成长[我的日记]
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-18 15:25:58 | 显示全部楼层
akzovk 发表于 2014-8-17 21:49
% U2 Z& \- c0 @$ R; H, y( G& h如果你确定test这个是不变的话,那很好办好啊,就循环采集就好了啊

/ f0 |3 a# D! B: }% {0 a5 u6 C 貌似是不变的。。。我又找到了一个
回复 支持 反对

使用道具 举报

103

主题

483

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

 楼主| 发表于 2014-8-18 15:26:35 | 显示全部楼层
fatiery 发表于 2014-8-17 21:50
' H3 |! Q; ~) ~- i7 C( J* m我的第一个想法是到搜索引擎去看下是否被收录) c  f& F0 }6 O6 C  c

- e- G$ w) y, B$ `如果没有就只能暴力猜解,暴力猜解最好自己写工具,执行效率 ...
5 D. o1 ?8 W8 }; w+ S# B9 m  B
高手啊。。。。暂时还没有写采集工具的能力
回复 支持 反对

使用道具 举报

1

主题

114

广告币

220

积分

初级会员

Rank: 2

积分
220

社区QQ达人

发表于 2014-8-18 18:16:05 来自手机 | 显示全部楼层
最简单迅雷下载,【1】~【xxxxxx】来自: iPhone客户端
回复 支持 反对

使用道具 举报

6

主题

1089

广告币

1118

积分

中级会员

Rank: 3Rank: 3

积分
1118

社区QQ达人

QQ
发表于 2014-8-24 15:47:34 | 显示全部楼层
如果有內链就没有任何问题,如果没有的话,自能去猜参数暴力的了
收亚马逊美国AFF老账号,收过款的那种
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-12-20 15:16 , Processed in 0.055481 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表