找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️✔Taboola海外户
广告位出租虚拟卡返佣1%,国内持牌机构  
查看: 21372|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
& m' {# }/ `; k/ @具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
7 K6 T0 A9 S: s3 G
抱歉,可能没说清楚。
+ P2 X: y5 K* f) S1 ~, J! b  Z' y6 \/ H1 E3 D
要搜集结果页那些网站的URL4 o/ k, N9 r" d: e$ A& X
0 p, C, E5 M& K7 B& R( ~
比如搜索“中国”
0 e0 h% h" _% A" S( g3 i& v% M6 a! U: }" Q# Y( d3 {, A4 `8 v; u( n

5 H1 _( ]  o6 m# e/ l! v要搜集的内容就是:
7 d* K3 W' v' T8 v# x0 mhttp://zh.wikipedia.org/zh/中国
" n/ R# J( _! |; @7 Ghttp://baike.baidu.com/view/61891.htm
0 ~. _) G1 M( z. h" ~* `http://www.baike.com/wiki/中国8 F( b# p6 w' {! }& |
http://china.huanqiu.com/7 a8 p% ?# X* @( O# y, N
http://world.people.com.cn/GB/57506/190965/
' s8 o( l. v, ^8 s8 U……: r- J9 ]* J" V+ L, D# f0 e" d2 }/ |6 {
……( _1 l5 Q' T" E9 S' K
……( w! m: |( ]" q) L- B0 [* }
% A3 |7 H, y+ x& z. T) W8 X) L

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
; V8 G5 {3 ?8 ~GetFromGoogle1 r$ q7 w1 Y& b# }
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。$ {& `/ G$ F) r
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
" r' g6 I* f/ d2 F3 g- rScrape Sonic & v6 c- `* o" a; X! f
GetFromGoogle" d4 Q' Z' F3 |6 }. U# R1 G
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...
& B. J  \4 {# R6 {2 X# Y
多谢!                    & n  \# f$ D" b( A
8 S. ?; }$ C2 K& f, u
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 * y( F8 @  V! b2 M( A3 F
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
# h) ?) ?6 c) M0 S2 v2 `" ]因为GG搜索结果有着一定的规律,这些URL在包含在 ...
, c# t6 N( M9 a8 R* L, W1 @
2 g$ m& ]! Q5 O$ M/ h! F, c! k" |
1 x  T- ]6 O6 L, t1 }& {8 ~6 o8 f9 f
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1347

广告币

2294

积分

高级会员

积分
2294

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

558

广告币

1220

积分

高级会员

积分
1220

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3367

广告币

6604

积分

超级版主

酱油党

积分
6604

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。9 ?3 l! {' u0 n3 |* v, ], Y, m0 R) }
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
& [- _6 U- x3 j% {5 X现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
: s  K: }$ c- G0 d6 P" E- ^8 kgoogle不行,换其他搜索引擎吧。
. k' \% G% v/ e7 d8 M5 M5 `以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

% k; B+ Z3 z4 L$ E  H/ _7 _其它搜索引擎都没有结果+ R, N7 u+ ^; S; E
8 c% ~2 B, X" q% u3 ~
某网站10万个会员的邮箱
' ?# z% E) q7 V4 B看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
- e* y3 |7 }. }  u其它搜索引擎都没有结果
3 X  h# ?4 M- Z: q3 D
) a1 h& b5 K4 F  }( @5 N7 W某网站10万个会员的邮箱
  B+ j2 B  a+ |* b' p0 K% T
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 " @  k0 W  f7 \( a) q7 }
楼主搜这邮箱做什么
! |2 ^5 q$ c# r2 m6 x# W: |
有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

45

主题

781

广告币

1433

积分

高级会员

积分
1433
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 / {! H0 {2 g/ a  ^3 h; D
有10万个邮箱 做什么都好
, E- y. [/ J% W
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37 * [/ F$ }3 c- k% K; a0 M$ K
不知道可不可以,去试试google的搜索API

8 |* f) g: r4 G9 IAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-15 09:13 , Processed in 0.077054 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表