AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB海外户、GG老户、TK加白老户
海外CL企业户源头PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
FB个号1块一个TikTok2审户/老户/国内外端口/加白GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理
Proxy4Free独家住宅IP池❤️免费测试联盟收款/海外资金下发/服贸结汇域名防红⚠斗篷工具/可试用3天广告位出租
8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构  
查看: 21062|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
# `( V$ m1 j* \! o2 C具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

, o7 Q% h; _4 c抱歉,可能没说清楚。& B* x" @% j: k$ W  m: {
1 j  ^; p. a% A0 k' T- G
要搜集结果页那些网站的URL, p& G' z# i, a, ^# L7 }
; D2 U: R; i2 L6 r9 P/ q* B. ]0 k
比如搜索“中国”4 u* B7 W- \$ a- J2 d

4 m+ e: G8 J: A0 K0 Z1 j
1 I  m, M7 m7 x$ a7 w1 ^0 y要搜集的内容就是:
1 J6 o: U! ^. y  J( w1 Jhttp://zh.wikipedia.org/zh/中国
6 w( ?3 f( S. J0 J+ [! `, e- ahttp://baike.baidu.com/view/61891.htm* b6 F4 Q' t# q9 ~+ ^( ^5 V
http://www.baike.com/wiki/中国
; p5 [" Q% |3 w4 ?. x, ?0 thttp://china.huanqiu.com/( Q/ t( X! k- A/ [/ p4 j# L$ f( I
http://world.people.com.cn/GB/57506/190965/  c8 b3 G) i! e
……
4 t5 L1 [0 W4 A9 z, E* X……; ]1 h! @+ N: v8 V( j7 q9 i
……1 k' j# `1 S) r

$ h$ a/ A1 q% Q3 s& ~8 w( D3 ?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic + Q' r  {. m3 E* _( `# j+ Y
GetFromGoogle. g1 O5 e: v! r
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
1 q) q$ M' ~& h" U9 Y( C4 T% f$ F因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
- Z0 {; M- h6 i. v; cScrape Sonic
! d* J  n; h- V" H% }" F/ HGetFromGoogle1 Z: w1 v/ E; Z9 z6 J$ d1 h
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

- ~7 O) h( r! Y4 U. |2 p( G多谢!                    
* C/ c, s  o, d- Q* {# b4 ]* Z* a  N3 m! J; e0 F+ h: b
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 ; }4 f5 i/ y2 y+ `$ A
我以前曾经编过一个程序,从Google的搜索结果里提取网址。0 @  S. h/ T6 `
因为GG搜索结果有着一定的规律,这些URL在包含在 ...
- r7 J) J1 J4 r& G, X" E0 `

0 l, ~" y( [4 {) x& P0 |
  W9 q) }$ z2 D1 I数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1328

广告币

2276

积分

高级会员

Rank: 4

积分
2276

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3363

广告币

6601

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6601

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。  U& B1 T4 N1 g4 T: R2 u' \3 c
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
1 p/ K: G1 M, X6 H现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52   y/ F3 @( p+ ^9 t9 L5 }
google不行,换其他搜索引擎吧。
! N5 @1 B3 M$ U2 H3 a  {( B" V% I2 }以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

. }% r  p7 M5 N( [- z6 C1 ^其它搜索引擎都没有结果
2 {' X# x. z" X3 o9 ?) g" W. ~8 x' g, `4 A9 f9 n2 i$ T
某网站10万个会员的邮箱
! z! v0 [3 ?2 }! G1 A看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00
7 l5 S- o6 k+ l2 V8 p其它搜索引擎都没有结果
% s# D1 U$ C3 O4 y8 P
8 K& j4 b% {2 V1 A8 b6 V0 F; @某网站10万个会员的邮箱

) O( ~  m& Q  w3 j楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 : J6 W* T+ \! Q0 u0 f$ {6 Q
楼主搜这邮箱做什么

) l  W3 |5 ^* ^: B有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

772

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 $ O0 a  R7 Q. n- x3 L4 @
有10万个邮箱 做什么都好
3 j5 Z9 p6 S2 K8 j/ I$ [* {( r; f
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37 3 Z! B* n  S5 @! i
不知道可不可以,去试试google的搜索API

/ H2 D' ~$ Z% d. R$ AAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-5-4 14:40 , Processed in 0.064933 second(s), 19 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表