AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️AdsPower:安全不封号,高效自动化广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理
开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放FB BM不限额,短id账单户
E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN
7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值Facebook 批量上广告
尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)
⚡️TikTok企业户,bm户,账单户FB企业户,TT老户,GG老户源头海外CL企业户源头PTM虚拟卡[全新卡BIN+高返点]
PTM虚拟卡[OPENAI+全场景通用]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量->Tyver SPY汇聚海量广告创意
高质量代理⚡️住宅⚡️移动广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构
查看: 20447|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10 7 c+ J$ J! _) j; I
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
7 x. a: N* k) X' X/ f7 }5 L
抱歉,可能没说清楚。
& j( }# m2 v; M& O/ C5 s3 H3 G3 z  w( X: e7 Z9 j6 w& m* I
要搜集结果页那些网站的URL7 U0 H) F! H$ E! B
, A- O3 R) B( t+ R, x+ g/ v
比如搜索“中国”, T8 Z* s" R7 d4 H

: n/ L4 Y) B; ~7 @8 Q( S9 O' {* l; c) k2 i0 H
要搜集的内容就是:
/ x1 e8 M# U8 L3 ?http://zh.wikipedia.org/zh/中国5 u0 F/ w) U1 o9 d9 r* ]
http://baike.baidu.com/view/61891.htm" \- v) a1 d+ ?- t
http://www.baike.com/wiki/中国
6 r& ^5 @; b- Q3 Y; ~http://china.huanqiu.com/* w4 N+ f$ J3 ^- H/ v
http://world.people.com.cn/GB/57506/190965/: v* d; W& X) l
……
* P) K) s6 S, F8 R0 \" s, V……
8 a( p3 @+ e8 O3 H" {……( ]) R5 h" m& w
4 l6 G* Y8 {6 z: x! |2 ?- [7 d

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic ( N* N/ o& T* n6 [7 ~2 P6 u8 B, K8 c
GetFromGoogle7 F  t6 t( d, I0 p2 [# C6 y  W0 r
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。. G2 A& f& f9 |$ [  R4 Z3 ?
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26 5 V6 ~3 K$ m2 t* w% ^% e
Scrape Sonic   w, p* L4 N& }# O$ v$ r  \
GetFromGoogle" g7 `2 D- D& C' j4 s7 d
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

( F7 [7 f7 C4 O  \多谢!                    
) W  p: }# A+ E+ w' K! J7 }2 V! d6 I* O7 I4 Y6 I3 k
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
9 r4 b$ m3 N! M8 N/ }% s5 V0 W: y我以前曾经编过一个程序,从Google的搜索结果里提取网址。
2 O5 n3 }. u( a$ f1 `因为GG搜索结果有着一定的规律,这些URL在包含在 ...
3 ]( ^' ^7 F/ n' X

9 }( o: h! ^& K, |, t& b( w/ M' T- }4 ~
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1295

广告币

2240

积分

高级会员

Rank: 4

积分
2240

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3355

广告币

6593

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6593

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
. T- O5 j* F/ D! X以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
. V7 X% @- y' Z: b9 R3 u, c0 @, R现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 / I" q' W6 I/ e5 f
google不行,换其他搜索引擎吧。
) M9 A1 C& U0 s$ {. A4 E! g; ~" N3 B以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
, e: n+ k9 J3 x6 K
其它搜索引擎都没有结果
" A& w& D3 L. P. M$ t4 V
* v% {$ [! o* p" x  Z8 m# N# i. m某网站10万个会员的邮箱
2 I: A; \7 p! M8 F# P8 u看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
- N3 B9 y, X( R& G0 a5 F% n! K其它搜索引擎都没有结果
6 t3 q5 Y7 ]7 [6 e5 ~1 [; B0 t/ M
# {9 Z) M: M* f某网站10万个会员的邮箱
- F+ i! @2 |. C9 m6 M
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
) O. Q" f  F! R9 k" c楼主搜这邮箱做什么

: U. @3 a. b* q! ]7 S9 N3 k3 i; V有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

771

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23
. ]) J3 M( p, p: J/ l有10万个邮箱 做什么都好

  ~5 Y0 I+ k- z% E. H) p4 Z7 ?- o群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37 2 `; J2 R: K# }
不知道可不可以,去试试google的搜索API

* [( ]. ^0 n8 s- bAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-11-1 23:52 , Processed in 0.057996 second(s), 18 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表