找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️比特浏览器+云手机 |防关联防封号
Facebook截流, 1 次点击 2 次曝光✔Taboola海外户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 21341|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
3 _/ e8 C& U! z" ~具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
. |* |, E! q. ]+ a4 I
抱歉,可能没说清楚。
2 s% S. ~7 n( D1 V
' e3 x4 m# j' O; `0 t" l0 ^3 E要搜集结果页那些网站的URL3 ]) t( _: c& F7 ?, C8 R2 Q
" w/ i: u. l# U6 }8 N6 d
比如搜索“中国”5 T+ A" L7 o2 K

) \% w4 ]. T- e8 ~+ z+ D& N0 G! s) A1 w8 g& l
要搜集的内容就是:
* j1 p% q9 M# d% y1 Whttp://zh.wikipedia.org/zh/中国
. E- G7 p- ]$ P3 Shttp://baike.baidu.com/view/61891.htm
6 d# C- k! D, ^3 T2 ahttp://www.baike.com/wiki/中国
5 j( ~' I1 I4 R+ I" W1 E* P1 ohttp://china.huanqiu.com/
8 c% `8 [& [  t" K& n9 G' f. @& Ihttp://world.people.com.cn/GB/57506/190965/
9 G  O( P5 J+ |: w……/ e8 M+ D- }* I7 f2 N
……3 x3 T8 T  ^. ]$ Q
……
# K5 Q; I, G* h5 q5 D. [8 X% C6 T, T

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic , Q7 J" ?  `' L; x& Y
GetFromGoogle( Z6 ?1 ]  [7 p. N; a3 O
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。* T  P9 m9 z; h% Z; h
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26 1 z. m5 J7 P1 Q0 F! z
Scrape Sonic 7 V7 F$ _2 K3 G1 i- G
GetFromGoogle
7 m( I# \9 K4 c+ U" ~, J* A9 {这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...
/ G' I: S# f% u( `- @. d4 {0 Z
多谢!                    5 Y$ a: `1 p% a1 L9 R

' A. [8 u$ l# m5 `
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 ( v* m( |; A1 g) S% z6 |& S
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
5 W6 A% j4 o" L. k因为GG搜索结果有着一定的规律,这些URL在包含在 ...
7 m  I( r$ Z2 r" ]
6 T8 g; E" l0 \' d

/ O+ C1 u' y5 m( K' @, E数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1347

广告币

2294

积分

高级会员

积分
2294

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

558

广告币

1220

积分

高级会员

积分
1220

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3367

广告币

6604

积分

超级版主

酱油党

积分
6604

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
8 Q. M& A- w* h7 x5 K以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。3 c! |% @% ?( Z  Q7 i7 q$ i1 Z
现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 , e  H! e  A- ^' Q6 N" X
google不行,换其他搜索引擎吧。
, M) h9 y5 P) r( o9 H0 t3 D: l以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
- s4 b! {5 W- ~4 o
其它搜索引擎都没有结果
. p" ~. l$ c4 X" E7 Z% N
5 s! h; z+ |& o6 B9 L- N8 g2 \某网站10万个会员的邮箱 - N1 ]: f% R! O; t6 f" _
看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
( `: k* p! {0 @0 L其它搜索引擎都没有结果
) H3 d. s! {  V, U6 ?" R, Y6 U
: P! }& d/ r/ Z$ T- d. b9 z/ ]1 E某网站10万个会员的邮箱

: H! X/ U  I' F2 H$ g1 J5 X楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 : X; u: L( M6 m: C' z# |
楼主搜这邮箱做什么

+ ~) H7 B3 {  m' I有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

45

主题

780

广告币

1431

积分

高级会员

积分
1431
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 4 e4 \+ z, ], @' f: Q1 C' N
有10万个邮箱 做什么都好

5 ]  `7 Y- T) N  h: d  O  ]群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
" r- e) s% w% l* ?; }. C: w; B不知道可不可以,去试试google的搜索API

' X1 S( u- V1 J* k4 d8 |3 g6 DAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-3 01:30 , Processed in 0.082125 second(s), 28 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表