AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G需要代理IP?⚡️Proxysites.ai⚡️指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
FB BM不限额,短id账单户E.PN 虚拟卡DuoPlus专注打造跨境电商云手机BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$1.8/条双ISPGoogle、Bing官方总代  联盟流量开户fb耐用号0.01一个fb账号官方合作商
FB资源,账单户,分享户,国内一手FB企业户BM户账单户源头收FB代投工作室,收TrafficFactory账号IPWO全球住宅代理⚡️免费测试⚡️
FB海外三不限-户源多 费率低PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心FB虚拟卡⚡️消费越多返现越多
广告位出租虚拟卡返佣1%,国内持牌机构  
查看: 19962|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
+ r3 X$ c$ [- r- [7 B' V9 v具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
; u( O: H" C' f9 G, l# S
抱歉,可能没说清楚。
& v+ ~& n" t1 K# V! A+ l' S( G) I, u2 ^: x6 L+ O: I
要搜集结果页那些网站的URL8 Y2 n( m: _3 o* D6 O$ {% e( ?

+ y1 S6 ^! w5 {( \+ V- y比如搜索“中国”
- j( d; v4 L4 u. C) L+ x4 U: R2 u2 B" w
, U1 M1 {3 E+ E  l" {
要搜集的内容就是:, b; m1 s  x. I( ^
http://zh.wikipedia.org/zh/中国
7 u) _- K1 X; M: lhttp://baike.baidu.com/view/61891.htm
( F; A% R6 D8 e8 k! ~4 Rhttp://www.baike.com/wiki/中国
: I3 w2 B/ ?" I9 |2 k8 n& z7 x& X; K) phttp://china.huanqiu.com/
, ]) K& y5 R0 A, |http://world.people.com.cn/GB/57506/190965/
  A9 ]! y+ I; C9 K( C9 |# o……
; E9 q# I3 ~) a2 v+ H6 M9 x……+ N/ V0 u2 f$ p
……$ t# d0 p6 i+ u/ m% L1 S
+ s: b- h+ x: i" Z& n' A% K

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic 8 j% [. X3 R3 Y3 A
GetFromGoogle
& `/ |# n+ d* _9 G  ~这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4513

积分

超级版主

Rank: 8Rank: 8

积分
4513
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。3 n! U, d  @1 |' N
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
1 O5 `* U1 k  I% G# xScrape Sonic
1 Z4 E0 [( z2 ]7 w  vGetFromGoogle
- |2 w7 A+ I) D" Z" ^这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

. A( S, G1 R5 B8 n多谢!                      W0 E4 v* R1 c1 t2 h2 _
; l: p" `- Q  s0 u" E
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
9 G1 W; i. W! T我以前曾经编过一个程序,从Google的搜索结果里提取网址。
/ C' D6 s/ m3 z! R, s  z1 l7 O/ v# H* C因为GG搜索结果有着一定的规律,这些URL在包含在 ...
4 H/ M9 H& {+ D% d% d$ @4 e7 p

8 M0 \" k- I0 e- K8 ?% {; }3 d7 R$ q* |5 a, e6 L
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1259

广告币

2205

积分

高级会员

Rank: 4

积分
2205

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

528

广告币

1190

积分

中级会员

Rank: 3Rank: 3

积分
1190

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3338

广告币

6578

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6578

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。2 @  t/ e' J& |& R+ i# A# ?5 t$ a
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
4 ~, _/ ^  O% T% k现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
% X$ {. }' Q# c: \google不行,换其他搜索引擎吧。
( h) A, T' O0 H! m4 m' n8 i6 {以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

2 C! y) N$ `7 D; `3 @( }! B1 L, F其它搜索引擎都没有结果
! i1 q2 J8 Q( w2 S1 w" @2 y' S2 \/ C6 n$ q! g/ c
某网站10万个会员的邮箱
2 g  `2 a# W$ s4 P+ S看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
1 n) l& T: E) `) w  M其它搜索引擎都没有结果' L& B' n- j* p2 C: H! [3 S" C

! D1 V# P8 q& Z. C1 B% G. D某网站10万个会员的邮箱

2 g& |! Q' [% b1 X9 l. _楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 * i. @+ b1 Z3 P8 ^- V+ `. ]# d/ D
楼主搜这邮箱做什么

. G) {# O7 B( C  N# v5 y& w5 d: R$ c6 o有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

771

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 - W  E* ?5 U0 q2 J: H! Q0 K  J9 L- c
有10万个邮箱 做什么都好
8 s( ^" e! S/ q. K' c
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37 : O4 Z/ q& D6 W6 E4 c- s: f7 ~
不知道可不可以,去试试google的搜索API
- A8 o/ b% u+ ^: h1 m8 D% N
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-5-2 15:50 , Processed in 0.062301 second(s), 19 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表