AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化⚡️E.PN 虚拟卡⚡️FB BM不限额,短id账单户BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户提供TK企业新户老户、谷歌新户老户
FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量优质住宅/移动代理/高匿名/高性能TK白名单老户|兼职广告可投
⚡比特指纹浏览器+云手机, 4.5折起T3NZU:定义应用网盟新时代FB个人号源头服务商寻找顶级电商?AdsBranded等你!
TK老户/国内外端口/预审/加白广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构
查看: 20596|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
) ~; C- ~4 n' w. i9 [具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

9 N1 u; W# i, _5 s6 ~! I, ~, B- g抱歉,可能没说清楚。4 j; ?, ]. v- b* g1 D
6 g) E  ]. \. v% \- y, x
要搜集结果页那些网站的URL7 L" ]7 g1 G& d: j7 H
) Y4 ]; ~6 y# L+ T
比如搜索“中国”. h( ~; x  g" {/ L' x' ]. F
9 P1 D  r  D( H9 b/ O1 p' Z3 p" v# Z. d

- r, a6 b' _$ G3 [; D要搜集的内容就是:
6 i; n& a# f$ r8 Ihttp://zh.wikipedia.org/zh/中国
6 m. y2 V1 j7 A/ C3 p* E  J7 nhttp://baike.baidu.com/view/61891.htm0 G8 H4 v% p# E: t
http://www.baike.com/wiki/中国7 D' j( q# p8 v+ \
http://china.huanqiu.com/1 r: I  j9 h$ U2 H+ s2 A. w9 B
http://world.people.com.cn/GB/57506/190965/8 O! ]; g) A( X7 k+ e$ U# J7 l
……
+ o; s1 B/ I0 q1 \/ M" O9 Q4 t……
' x% [+ {* g7 m$ W6 b) _/ r……* G; n9 _7 X$ g5 \' y

: F( t7 a7 ?0 l- g2 s

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
0 }0 A5 f6 e7 r6 Z( X5 ?, W9 qGetFromGoogle0 {& Q1 y! l7 x6 t8 `/ X
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
4 _& |- r8 G/ X因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26 ! V, K: `$ ]( W. }+ |5 I( o
Scrape Sonic
0 z+ C/ a9 h. f2 f" XGetFromGoogle, p  W+ h: e+ W+ o: N( c4 U
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

* o0 c8 P1 C& G8 K多谢!                    
1 d/ c* |: L" C2 \  _9 [
1 v3 U6 [* Z8 d) J
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 ) y$ [- W0 ?" K7 U+ e
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
: u* i- B8 L& b1 m/ [" a$ w* @6 W因为GG搜索结果有着一定的规律,这些URL在包含在 ...
4 {2 w: f# z& [3 ^
& V# A9 H4 U2 [% }4 c
. k4 p; f* d, H# l# g
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1299

广告币

2244

积分

高级会员

Rank: 4

积分
2244

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3360

广告币

6597

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6597

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。4 T* ~8 H  o7 C. i* U
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
" y; B2 G- A5 l, N( Y现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
8 v2 O! R( d6 u' a" b$ Ygoogle不行,换其他搜索引擎吧。
8 x* }8 H1 R$ t5 X/ y, r以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

# Y! O6 L5 @8 M: N其它搜索引擎都没有结果
1 m6 S. E" h+ c, j- E9 p* `/ _0 s8 E8 J. ]4 [+ m3 _* o& p: }
某网站10万个会员的邮箱
5 E8 h4 d' H* W* R  b9 Y$ E看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 6 b& Y! x2 u6 y1 `
其它搜索引擎都没有结果$ }4 d* A: X0 x0 q3 f  T  z

2 W# k% h0 |8 `: q! K某网站10万个会员的邮箱
& d, Z% C7 S( O; y6 z
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
! O3 N5 l) G5 h) ]% V( a, a+ I楼主搜这邮箱做什么
% p3 |$ g) y1 I  q% R
有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

771

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 0 r4 \7 D. g# J3 F0 k( f! w
有10万个邮箱 做什么都好

1 {- c. I) v0 `9 a0 Q1 |群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
5 A! X& B/ ?# e+ y, L/ n不知道可不可以,去试试google的搜索API
$ V, M3 W  j5 \7 ^! H/ g/ B
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-12-17 16:15 , Processed in 0.054263 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表