AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISPFB海外户、GG老户、TK加白老户
海外CL企业户源头PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%DataImpulse⚡️纯净住宅代理仅 $1
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 20853|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
) B1 J4 w" A% o: ]) A' a0 m具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
# P3 i) ^" R% T; T$ B9 E5 t
抱歉,可能没说清楚。7 Y$ X: Y" y7 x6 Y8 S. I

0 d  l* B7 F, r' Z要搜集结果页那些网站的URL- G, D1 ~& S0 a% K9 N+ v' X
' z, C( A' ^: o  O/ S
比如搜索“中国”4 C* Z- q* U3 c# m- t

7 p+ h$ \1 C; r4 l# y% X
3 K6 h/ S( Y8 Q: E2 F9 H要搜集的内容就是:
# A+ [, t; o$ a2 L& A8 shttp://zh.wikipedia.org/zh/中国
) W* |$ `" u' o, n. vhttp://baike.baidu.com/view/61891.htm6 V# m% E$ j5 U
http://www.baike.com/wiki/中国
8 U9 w( {) l' i. X8 @, l& P6 fhttp://china.huanqiu.com/9 y+ ?' j- c7 x
http://world.people.com.cn/GB/57506/190965/& J# w$ o( p- |
……( g, @5 V6 M' M* W! }
……. C7 n' e3 W, r' K  m
……
! ]% M) L* X4 Q9 J; S1 ^1 S& R
* m3 w1 @5 w! t5 k& A

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic ; p( J# T  E$ }, U* ~, W* q
GetFromGoogle
; S7 u+ e" ^4 _7 i5 x这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
: k) a3 k+ ~& h6 D$ B! B, D, p9 H因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
; l: Q. M6 \; h' H! W# @# ?Scrape Sonic ! l7 y) R0 M# H1 t; v
GetFromGoogle3 e/ {, r- ~8 O4 E1 O) H
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

7 k0 o: q' L" C1 o: n多谢!                    
" ^8 l$ n' t+ g7 Y+ o* M1 t7 Z
" \3 S0 Q% ~8 }: d% Z0 O* z
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
3 F9 O) c# Z& l+ M$ O我以前曾经编过一个程序,从Google的搜索结果里提取网址。
/ P( X4 C* l2 e4 k! S: q因为GG搜索结果有着一定的规律,这些URL在包含在 ...

# d% n; N4 H; g2 r
3 y; }. _3 H- A- }; z
" R  f  w; B! C数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1308

广告币

2253

积分

高级会员

Rank: 4

积分
2253

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3363

广告币

6601

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6601

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
9 A& A" w) d7 o0 c  K. B# b8 v- H以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
7 X5 U% K" q& M; N现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 2 f1 t( j  U2 ^2 t; h# ]
google不行,换其他搜索引擎吧。
- N) u0 O. X1 N以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
) @# v" |' y0 _
其它搜索引擎都没有结果8 p3 {6 J$ v- l2 P/ m
. j; K; R6 [) j! o# Z
某网站10万个会员的邮箱
6 ]* Y' Z9 L% r1 B) f2 C$ A看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 ; x6 ?5 |4 h: M: Q+ ]5 s0 R* q# A
其它搜索引擎都没有结果9 y  _9 v+ T/ Q+ M  O
8 z0 @* G' X5 U" n7 R% Q
某网站10万个会员的邮箱

7 x& f3 S% i$ e1 s6 w; w, R8 \4 E9 r( ?楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
7 C! s% F1 x+ ]; n- ?! u' n* {1 J楼主搜这邮箱做什么
3 j+ F1 N( E, j/ q5 P
有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

772

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 , `3 S% G* P( A  H# Y5 q- B
有10万个邮箱 做什么都好

1 [2 r' c8 P+ S+ U  \. f/ m, k群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37   _/ X# Y2 J6 ~9 _1 O4 C
不知道可不可以,去试试google的搜索API

2 y" f" G  R* _6 O$ a. JAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-3-18 14:40 , Processed in 0.062897 second(s), 19 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表