AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Adsterra China
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️AdsPower:安全不封号,高效自动化Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理
开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放FB BM不限额,短id账单户
E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN
7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值Facebook 批量上广告
尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)
⚡️个人户,bm户不限额,账单户Google、Bing官方总代  联盟流量开户FB企业户BM户账单户源头海外CL企业户源头
PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心FB虚拟卡⚡️消费越多返现越多虚拟卡 - Pay2.House
【找量】BA独家Nutra单找量虚拟FB卡 ⚡️ 透明条件 国内外持牌,虚拟信用卡和收付款->Tyver SPY汇聚海量广告创意
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 20124|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10 7 Z4 H5 n3 H9 f- T3 [% Q! ]
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
  F% P' h7 ^  K! z9 E5 N
抱歉,可能没说清楚。# P4 T, i9 T- }7 i
, H2 F% r7 v" I, v  H- B* r4 M
要搜集结果页那些网站的URL
" S! ]) f$ j1 s8 ^- P0 z1 ~, h) C8 U7 K6 e: q. }: P8 o  B0 M5 o
比如搜索“中国”
* n7 I0 R; {4 e) H, r6 u/ L0 A4 Y0 ^$ D, d- S

8 L* M  v- D8 j. `0 R要搜集的内容就是:
8 w6 g% z5 z9 Q0 dhttp://zh.wikipedia.org/zh/中国2 i. f( D2 p! x
http://baike.baidu.com/view/61891.htm
* M* t( x9 T4 B7 l' a6 J0 [! Jhttp://www.baike.com/wiki/中国$ Y% `5 I5 R2 v- u1 ^0 `7 K
http://china.huanqiu.com/
3 v) a. @! J7 V0 b# bhttp://world.people.com.cn/GB/57506/190965/
# x4 G, w9 \; j' j8 A) W……% t3 v  L$ b( h! Q/ f" P* K3 X
……
) |( o0 R6 Y* P$ x& {……. C' M3 L' _* D1 i. I8 C5 Q/ C9 n
; c  P. A6 R4 o3 i- I

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
0 [8 o7 C  O9 `: m! P/ P+ kGetFromGoogle! a. y; v3 T8 N3 n
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
* a4 f* Z0 P2 }4 p因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
, r% t  @# @* G5 W7 e1 E" eScrape Sonic 5 l) `* ^' d* j' T
GetFromGoogle* s& O/ C9 I  ~
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

! N8 b! C+ \  o7 }' f8 G% s0 V多谢!                    
" v3 {2 j/ h* ~, p( t; F& w- ?  F% x0 q9 @* J# W) b% D
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 ; W5 ?( x- F! A
我以前曾经编过一个程序,从Google的搜索结果里提取网址。9 q# a- p3 f3 h" M3 Q
因为GG搜索结果有着一定的规律,这些URL在包含在 ...
! e; l8 k% ~$ W* Q: [1 F

/ D* N+ ?9 h4 }3 o( v5 v
0 F3 n, Z8 R& j' c数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1277

广告币

2224

积分

高级会员

Rank: 4

积分
2224

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

531

广告币

1193

积分

中级会员

Rank: 3Rank: 3

积分
1193

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3347

广告币

6586

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6586

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
  s  d( Y7 N# V* x0 m  }. }以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
& X# d2 I1 t) {: V; U% v现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
7 B% B! t' s. k& Zgoogle不行,换其他搜索引擎吧。4 q" Z+ V' ^/ p6 _
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

0 \. Z" Y- E; N2 f其它搜索引擎都没有结果
% D. T/ s3 W3 w
9 f+ r' ^, V6 q# U  w6 ]! A3 h6 t某网站10万个会员的邮箱
7 D1 u) m6 C! l看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 . e/ N3 G; V+ J! _; u' k
其它搜索引擎都没有结果* ~: e! c. L' _

  d/ C8 a$ I. d, T# U5 y某网站10万个会员的邮箱

4 ]8 u6 E) b' W6 y楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
  q8 F$ ?- A' s8 g/ Y. r" B楼主搜这邮箱做什么
; Z; L1 e2 `5 k+ W
有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

771

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 6 y/ z+ w; {3 `: P: [
有10万个邮箱 做什么都好

. B+ `& z* U7 W群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
( e; b) `3 M% p5 ^3 l/ p不知道可不可以,去试试google的搜索API
8 j8 t, Q* Y  q6 l
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-8-2 11:13 , Processed in 0.059633 second(s), 19 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表