在知道域名的情况下，有没有可能采集这个网站所有的网页

白龙君 · 发表于 2014-8-17 00:54:28

本帖最后由白龙君于 2014-8-17 16:22 编辑

额。。。找到一个放LP的域名，想SPY一下域名下可能存放的其他LP

site高级搜索命令啥也搜索不到。。。火车采集好像也不行啊。。。

已知url格式是这样的 http://domain.com/lp/test/?s=27566552

akzovk · 发表于 2014-8-17 01:37:32

如果相互有链接，或sitemap之类，肯定没问题。过滤其它信息，只要页面上有链接存在，就访问并保存，类似写个爬虫……如果没内链，我想不出来有什么办法能发现其它网页

spian2008 · 发表于 2014-8-17 12:01:33

如果他们之间有互链的就可以。如果没有就没有办法了。

tmdsoft · 发表于 2014-8-17 15:00:26

要是我，我肯定把LP 隐藏的很深。。不会轻易让你猜到的，用爬虫也无力，只能碰碰运气了。

白龙君 · 发表于 2014-8-17 16:23:42

akzovk 发表于 2014-8-17 01:37/ Z; t/ I; W1 w$ g: |9 A3 y
如果相互有链接，或sitemap之类，肯定没问题。过滤其它信息，只要页面上有链接存在，就访问并保存，类似写 ...

已知url格式是这样的 http://domain.com/lp/test/?s=27566552

我昨天尝试用火车头从s=1采集，不过貌似不行啊。。。

白龙君 · 发表于 2014-8-17 16:27:54

malong101 发表于 2014-8-17 04:22
' H' T- H' m* J1 x% @' y3 P不知道其他文件名就没法弄了除非黑了他

已知url格式是这样的 http://domain.com/lp/test/?s=27566552

白龙君 · 发表于 2014-8-17 16:29:27

tmdsoft 发表于 2014-8-17 15:002 ~' X+ t6 T! S' i# Z! L. @
要是我，我肯定把LP 隐藏的很深。。不会轻易让你猜到的，用爬虫也无力，只能碰碰运气了。 ...

已知url格式是这样的 http://domain.com/lp/test/?s=27566552

其实我是先找到他的一个LP，像看看他域名写下有没有其他LP

阿百川 · 发表于 2014-8-17 18:47:43

白龙君发表于 2014-8-17 16:29
9 s/ x4 J7 N- w; L6 w" u1 |已知url格式是这样的 http://domain.com/lp/test/?s=27566552+ A4 n5 Y! V7 T6 D
1 \7 J( c8 a5 C$ k/ [% C7 A+ x
其实我是先找到他的一个LP，像看看他域名 ...

暴力猜解s参数

akzovk · 发表于 2014-8-17 21:49:32

白龙君发表于 2014-8-17 16:23
# q/ y& h9 P8 R! L( ?* Y已知url格式是这样的 http://domain.com/lp/test/?s=27566552% I, ?0 z i' L7 j* j& J
% E+ l& S. Q7 e; m2 g3 q# [
我昨天尝试用火车头从s=1采集，不过貌似不 ...

如果你确定test这个是不变的话，那很好办好啊，就循环采集就好了啊

fatiery · 发表于 2014-8-17 21:50:49

我的第一个想法是到搜索引擎去看下是否被收录

inurl:http://domain.com/lp/test/?s=

复制代码

如果没有就只能暴力猜解，暴力猜解最好自己写工具，执行效率要高，多线程。反正火车头什么的效率太低，不知道要猜解到什么时候。

白龙君 · 发表于 2014-8-18 15:25:58

akzovk 发表于 2014-8-17 21:49
6 l/ G( t; ~# Q" G9 o/ O如果你确定test这个是不变的话，那很好办好啊，就循环采集就好了啊

貌似是不变的。。。我又找到了一个

白龙君 · 发表于 2014-8-18 15:26:35

fatiery 发表于 2014-8-17 21:509 e) t# A* ?& `% g# e$ x7 S
我的第一个想法是到搜索引擎去看下是否被收录6 p [% T9 A% W% W! ]: s( X6 I8 H

* S4 N* L; _) P: d2 c R如果没有就只能暴力猜解，暴力猜解最好自己写工具，执行效率 ...

高手啊。。。。暂时还没有写采集工具的能力

bobrey · 发表于 2014-8-18 18:16:05

最简单迅雷下载，【1】～【xxxxxx】来自: iPhone客户端

cdwyd · 发表于 2014-8-24 15:47:34

如果有內链就没有任何问题，如果没有的话，自能去猜参数暴力的了

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	皇家代理IP⚡️#1性价比⚡️	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
FB BM不限额，短id账单户	E.PN 虚拟卡	DuoPlus专注打造跨境电商云手机	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	Google、Bing官方总代联盟流量开户
FB资源，账单户，分享户，国内一手	FB企业户BM户账单户源头	海外CL企业户源头	PTM全球虚拟卡—进来交个朋友!
PTM虚拟卡⚡️费率透明⚡️额度随心	FB虚拟卡⚡️消费越多返现越多	虚拟卡 - Pay2.House	【找量】BA独家Nutra单找量
虚拟FB卡 ⚡️ 透明条件	国内外持牌，虚拟信用卡和收付款	->Tyver SPY汇聚海量广告创意	广告位出租
8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

[讨论] 在知道域名的情况下，有没有可能采集这个网站所有的网页

评分

点评

点评

评分

社区QQ达人