AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化⚡️E.PN 虚拟卡⚡️FB BM不限额,短id账单户BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户提供TK企业新户老户、谷歌新户老户
FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量优质住宅/移动代理/高匿名/高性能TK白名单老户|兼职广告可投
⚡比特指纹浏览器+云手机, 4.5折起T3NZU:定义应用网盟新时代FB个人号源头服务商寻找顶级电商?AdsBranded等你!
TK老户/国内外端口/预审/加白广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构
查看: 20598|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
! K- Y8 d0 c. `' c1 t具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
4 D! g8 {8 n  ]. B7 L' B. |/ ?
抱歉,可能没说清楚。; C$ o0 X* C' l  c* x( W% G
# Y- H( ^" o; ]5 {6 m8 j
要搜集结果页那些网站的URL- y/ ]* Y  }( ~  T" _
. I4 T8 ^* m0 B
比如搜索“中国”* C# Z" {( G# H8 F) ]2 C
9 a3 p* |" f) b- `: P: R* X3 y

( O- Z1 C0 {7 W0 W% D3 ~. t  ^, n要搜集的内容就是:9 x% `& m, k  L  w
http://zh.wikipedia.org/zh/中国
6 m9 U0 Z6 |- \http://baike.baidu.com/view/61891.htm
/ R7 W7 q: T2 V1 }# W8 phttp://www.baike.com/wiki/中国
8 O" v3 ?5 P6 ^6 I# _) X0 yhttp://china.huanqiu.com/  d$ n+ e5 E5 i4 e
http://world.people.com.cn/GB/57506/190965/( C5 n: @4 B8 ^: L/ f2 Y( w
……# h0 V, ^% V  E( n) w
……
( c  A( l" O+ ?: @! z! A……
8 h$ _/ I- X/ p; g; n8 O! K3 J. n) i0 J- e, @, Z" E" R1 J

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic 6 p5 _( ?! p3 G6 H2 z
GetFromGoogle
/ j" E8 [8 k$ Y( \6 X& L" {2 n这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
: Q& b/ x2 T7 W. |7 C, k. R3 U因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
8 j7 d6 |' ~% G- |Scrape Sonic ( L& p1 @  D0 _1 N' o
GetFromGoogle
. i, t* s$ ~2 v1 g这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

. W6 ~6 Y" \( `. b多谢!                    
: i+ v* x2 S* N0 c
; J7 S1 ~, `. ^' E1 m, I! B
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
$ E0 K* P6 a  B8 {7 d% u6 ?, F, C我以前曾经编过一个程序,从Google的搜索结果里提取网址。
, \1 C8 w  g8 |1 u4 Y6 M因为GG搜索结果有着一定的规律,这些URL在包含在 ...

& J* t1 J" {3 ?2 q/ N& P: |4 j0 ?0 P7 B2 g% l

6 i& e+ L( `7 t$ Q, m' C! \+ U数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1299

广告币

2244

积分

高级会员

Rank: 4

积分
2244

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3360

广告币

6597

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6597

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。2 \  H" Z% o& @. b) d
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。
" L  q2 g! V; D+ k# I+ i现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52 4 _4 K) T7 H! z7 H' ~% U
google不行,换其他搜索引擎吧。
  I- y5 _% h5 v* I) k: N以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
+ `- z3 V/ x' ^5 U
其它搜索引擎都没有结果7 ]' E8 N# ^8 |/ P
; `( I0 U& m5 Y
某网站10万个会员的邮箱
  |- a3 Z* [7 X! s0 F8 T% S. I看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 $ ~3 T1 `4 t' E; u* q- e6 J
其它搜索引擎都没有结果. Z3 h/ V3 i8 h* P. F: [9 o
- G: \; Y( q7 c2 y- N
某网站10万个会员的邮箱

( r3 D+ Y( |& d2 {% [楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 0 I/ L9 b$ H4 k5 F
楼主搜这邮箱做什么

# ^2 H. B6 b* b" q  [( s有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

771

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23
9 R4 s, b+ o5 H( T有10万个邮箱 做什么都好
1 _* J' E' c; U: Q) l, S* }
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
/ m, f" b# `8 c! h3 m+ O' C* b5 H& ]不知道可不可以,去试试google的搜索API

1 V3 F) @8 d( |' o3 PAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-12-17 17:48 , Processed in 0.053558 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表