找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 21643|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
9 w3 D5 d, ~0 z$ Y# x* m* E: _具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

+ {4 A* J8 T  j. t% d抱歉,可能没说清楚。! @; _; m! L$ j( L* w4 t( I3 R
, E. L$ u7 n- Z$ U
要搜集结果页那些网站的URL
7 ?. P2 Z# j" E7 K# ?
1 V* G0 M' w' j5 B比如搜索“中国”
+ N0 [4 m. p3 [5 U
6 ?2 [. u7 a* ]$ u* _# k
  Z! O( w7 O4 l9 ?) h' s; Y要搜集的内容就是:* D/ a# K- b! x$ M1 [' K2 s( a# X. G
http://zh.wikipedia.org/zh/中国/ R  E- Y( a9 k" I$ \1 U
http://baike.baidu.com/view/61891.htm$ s7 m/ Y0 e: P( k% ^& @
http://www.baike.com/wiki/中国5 y& a+ s$ E# O
http://china.huanqiu.com/3 c( c4 Z% M$ A; |2 J" q/ m
http://world.people.com.cn/GB/57506/190965/1 Y* `$ E1 K. k8 G5 T: N) Q
……
. F- e" Q6 y+ B7 q* v……* a& B& U( w9 N6 {7 k. W2 C# h" Q
……% p; U8 @5 Q* N+ ?' d4 o1 U
; _2 U8 \1 w+ i) U  f- C8 t

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic 0 y3 h' v% C5 G
GetFromGoogle
- a- U. B+ w/ I$ h+ ^; _6 u7 ]6 L' h这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
4 p8 g/ w4 u) }6 f4 q4 O1 A因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
. M, E+ O- E$ I# h0 x- G$ @6 NScrape Sonic $ H: T2 ^7 t# h3 @
GetFromGoogle1 D  L/ `2 {5 o! H$ t( @8 X9 X
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

1 o9 S* l) a  a( y6 i7 |多谢!                    
/ K/ p4 [, f9 t. S" j3 K' w: G& |9 a2 Z& D2 {! {" l
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
% e, ?8 m; I6 J5 I我以前曾经编过一个程序,从Google的搜索结果里提取网址。7 _, S. x7 w; V! A6 }
因为GG搜索结果有着一定的规律,这些URL在包含在 ...

2 k! m: r. V& m嗯* t, @' p9 v8 v8 Z; `2 }' {& z

& S. h# v+ H# z3 _$ R9 v数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1368

广告币

2313

积分

高级会员

积分
2313

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

558

广告币

1220

积分

高级会员

积分
1220

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3368

广告币

6605

积分

超级版主

酱油党

积分
6605

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。& W% m0 {$ i/ M4 q  K/ G
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
" L# k. [0 Q* T现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 * A0 Z5 i5 u" B, f+ r
google不行,换其他搜索引擎吧。; I/ Q( {/ @: Q. c7 A
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

8 W8 }& f/ k# n0 T3 }; |其它搜索引擎都没有结果5 {- L! i" `4 h9 j1 X2 h6 o
4 ~1 \6 a% d2 l  R
某网站10万个会员的邮箱
6 k1 C/ g' V( G看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
8 @$ q4 ]- s# T& O. [其它搜索引擎都没有结果
* c9 a, }% N- N
8 g- J$ E. _7 I% L某网站10万个会员的邮箱
$ Q6 n1 ?: X% Y* j% T1 b
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 5 L# u; e; r+ {3 h' `
楼主搜这邮箱做什么

, m. |1 G0 [( Q4 O  h有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

45

主题

781

广告币

1433

积分

高级会员

积分
1433
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23
) L# F; o/ o  y8 F2 T( f# Y有10万个邮箱 做什么都好

" U# R' Y1 f4 Z/ l& N0 A! Q群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37 . G' M0 o' b! V# Z; l8 E
不知道可不可以,去试试google的搜索API
/ o( i# @$ l3 |3 \& e( c2 a6 J
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 18:06 , Processed in 0.117721 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表