找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇✔Taboola海外户9千万住宅IP-低至$0.3/gb✅静态$4/ip
广告位出租虚拟卡返佣1%,国内持牌机构  
查看: 21461|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
3 ]2 g; x. D; P5 }) H: w" N- }) v具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
4 R9 \' B# ]* b  I
抱歉,可能没说清楚。
2 p( s5 ~0 H3 Y. o! T7 x. g1 ]" p  e+ D& _: u
要搜集结果页那些网站的URL! ]9 p6 E. s) j( F3 T2 E( ~
( ~% h( _  q9 \
比如搜索“中国”* U" w, V& Q8 \6 w

( V8 h( U. D# N: A0 |5 D
6 s: y; P- U; _, x5 b要搜集的内容就是:
# N$ Q5 _0 i, T8 e; h! Khttp://zh.wikipedia.org/zh/中国- T" W' i4 A- s+ b/ A/ J. l: Z9 T. ~
http://baike.baidu.com/view/61891.htm4 S! i- L/ ^8 j8 H  o/ j
http://www.baike.com/wiki/中国. N: I7 h/ P6 f/ I
http://china.huanqiu.com/
$ ]" p# {( ?3 |$ I5 Thttp://world.people.com.cn/GB/57506/190965/, P( _' v7 U* p8 Q% N1 E! e
……% x; |& g1 O0 w0 O4 h
……
( ?, o  ]# T: M% H7 o……
/ n4 C+ s# ~& {- b, e0 ]
6 A! U( O* H  S! Z! z7 K8 u

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
( ]3 W% _8 F6 o: N- r2 q6 yGetFromGoogle
: o4 t, Y, u3 v6 v: L% d- }. Q/ e这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。' X' X- l/ `" t1 G7 c4 B) {
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
# M: }% U# ~& zScrape Sonic 9 j, J6 S$ n4 A+ U
GetFromGoogle
3 V0 c) e  T  X3 L5 d6 f/ V这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...
$ V  d% j2 R# }# i" q4 M5 I% Z0 ~
多谢!                    ( i, H' f- o' Q) _- {2 i: b

/ w4 s( W2 [" L' I' p1 ~
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 1 u8 {- b& X  e8 s6 T2 X" ]+ w
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
! e7 _3 U0 Q3 H' P* S  a因为GG搜索结果有着一定的规律,这些URL在包含在 ...

( [3 D; ]% _& @
& z7 F0 I9 W9 T0 J% L/ b
1 X) C8 U5 q* Y+ G数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1357

广告币

2303

积分

高级会员

积分
2303

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

558

广告币

1220

积分

高级会员

积分
1220

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3368

广告币

6605

积分

超级版主

酱油党

积分
6605

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。% q; x6 @& j2 f3 j4 ^4 J$ C& J
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
, f0 H6 k" j' R3 Y现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 * E9 |" a- s* R9 I6 S
google不行,换其他搜索引擎吧。
( z' h: q! I) I以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
# F- n8 l1 ^  n/ u, O
其它搜索引擎都没有结果! W2 G4 V& N8 e7 b! ^

3 ?2 _  S0 f! V* a某网站10万个会员的邮箱
) l; F% V- X7 U& `4 G看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
( }9 |  O6 w4 ?3 N7 R5 O# u其它搜索引擎都没有结果: T) x' Z1 M7 r% |2 L! Q

$ N2 ?# Q' R+ t. x1 \, @9 \( \某网站10万个会员的邮箱

& H! n6 p  [0 m4 F. j楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 * `1 [# y& L: t8 b
楼主搜这邮箱做什么

3 a2 J/ t5 E/ O5 w. k1 {有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

45

主题

781

广告币

1433

积分

高级会员

积分
1433
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 1 ]  H( e3 _. H9 w& r0 K7 A
有10万个邮箱 做什么都好
! U! W; \! _9 r. `# R
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
8 q  y4 M5 w( m  d不知道可不可以,去试试google的搜索API

; @7 {2 z) l; ^; [8 I% Q5 QAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-9-17 05:00 , Processed in 0.080848 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表