找回密码
 立即注册

QQ登录

只需一步,快速开始

Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】
FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线
【官方】❤️搜索套利买量投流开户独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️
BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理
全球虚拟卡, 支持U充值【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放
【神盾 AI】Meta 广告资产防护 永久免费FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISP
FB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头广告位出租
查看: 21560|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
% K' Y6 a; Y% @& x具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

4 z, I5 N" q& Q# c3 h抱歉,可能没说清楚。' a$ [) P- G2 r$ H6 g5 D4 {

- w* i  l# a# L) ?要搜集结果页那些网站的URL% z1 z: Q: |0 p7 k& C
0 q- z1 D6 G- m- h) t1 h
比如搜索“中国”
+ ^. o6 ^+ L7 C9 K$ H) X8 T* j: B/ y# k. s, y7 M+ T

# G( l# r/ }. a5 ~+ G: _要搜集的内容就是:: w, D" \) {) J$ Y) ^2 R5 }
http://zh.wikipedia.org/zh/中国
4 Y: D! Q- T& F/ w) b+ ?http://baike.baidu.com/view/61891.htm
. l: m* ]8 d. C  }. p" ^* Dhttp://www.baike.com/wiki/中国
7 [: W: K. H, ^4 Q4 E0 P" w" {http://china.huanqiu.com/
/ K* \( n1 U* s, L6 whttp://world.people.com.cn/GB/57506/190965/5 K2 N# H1 |9 J" g. g- u
……5 D; y9 R9 H7 I: L- a
……
% B$ P" e- f/ `+ ]  M2 y' `……
) [3 q. I/ \0 K* U6 {4 Q! ]0 @7 H9 O8 C# i1 E

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic & N9 c% R2 u3 ?; J5 f' m
GetFromGoogle. R( ^* T% s: c( o' J# B8 D! z# v
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。( y2 Z$ N( @$ R6 r  p! H' I
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
" Y0 S  X# `8 v, |+ f; K+ Z2 rScrape Sonic , j0 V& Z" h" w1 f5 q
GetFromGoogle. s, J- W. w! T+ k
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

1 q7 P' U  p0 `/ q! X多谢!                    
. l" T# p6 G: P3 M# B  c: _  _7 R0 Y, C' O1 V, \6 t4 h
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
# L; T  K" Z- c我以前曾经编过一个程序,从Google的搜索结果里提取网址。
  _  D/ o5 c) x! |因为GG搜索结果有着一定的规律,这些URL在包含在 ...
; b+ _2 T# `; t6 I9 I! ], B
嗯' I, g/ `- K7 F8 j; i8 |, @+ \- `
! `3 v/ J/ s- ]$ }3 |
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1365

广告币

2310

积分

高级会员

积分
2310

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

558

广告币

1220

积分

高级会员

积分
1220

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3368

广告币

6605

积分

超级版主

酱油党

积分
6605

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
+ Y4 m, _+ G4 q; A* z' }以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。+ l3 U. `/ s+ W/ A! `7 z
现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
6 L$ _, ~7 D2 V' m: a; Wgoogle不行,换其他搜索引擎吧。
: e6 Y4 F, G- X0 b以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

% o8 ?2 Z# ]9 ]/ X+ `其它搜索引擎都没有结果5 G# {; u2 p0 _) \7 W3 \
3 f+ s0 E$ w# ^$ A+ D! Q
某网站10万个会员的邮箱
0 q5 w, L) J. [/ Y* f2 M看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 8 V. L& Q" G' M( B4 X
其它搜索引擎都没有结果/ e( p9 O+ t1 r( |
6 h% V% r% H' N  k! \  \
某网站10万个会员的邮箱
5 Y4 j9 J) V; {5 a8 Y7 ?6 _
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
/ K! n$ U8 _3 Z, \+ d9 d& j' R: C楼主搜这邮箱做什么

* F* R: h1 d3 S- g& N; x1 P有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

45

主题

781

广告币

1433

积分

高级会员

积分
1433
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 / ^  |+ l7 G2 T" y' e
有10万个邮箱 做什么都好
+ D! R; P. _( \4 W  ?- O3 \4 \
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
0 q6 A& V; n$ t* h% v& L2 S$ h% t不知道可不可以,去试试google的搜索API
5 t& j+ E9 f; e. m+ b& F2 n0 c
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-1 15:46 , Processed in 0.123266 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表