AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Binom
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理泰国仓储,本土仓发货2-3元/单
指纹浏览器,就用AdsPower谷歌/FB/Bing/Yahoo代理商开户7200W全球动态不重复住宅IP代理BINOM TRACKER 60% OFF!
【广户】
⚡️我们很有钱这些广告位都是我买的FB/Google/TK点我开户⚡️
FB/TT/KW 加白开户ADPLEXITY + ADVERTCN比Adplexity还好用的Spy工具MediaGo+Taboola+Ob开户
百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量百度国际MediaGo,独家原生流量虚拟信用卡+独立站收款
行业首创新型指纹Cloak, 谷歌奇效!Kookeey⚡️100%独享⚡️原生住宅IP全球虚拟卡, 支持U充值免账户投放 FB 广告(送项目)
2024做什么 - Media buy 项目库免费黑五教程(持续更新、欢迎交流)Facebook 批量上广告Bridgeway - 联盟营销网络
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户Adsterra 的CPA/CPM/CPC 网站流量EU KETO/CBD - Jumbleberry
FB二三解1元/个9Proxy ⚡️ $0.04/IP, 无限带宽 cloak斗篷/ss/nutra/cpa/DatingFB号商直销-24小时自动发货
Facebook个号0.01一个FB个号1块一个FB账号0.1一个FB顶级服务商
「Facebook广告账号/批量采购」IPCola原生住宅IP⚡️$2.1/条双ISP广告位出租全球低价纯净住宅/移动IP-免费试用
广告代投, 东南亚物流, 虚拟信用卡VMLogin指纹浏览器+多账号防关联  
查看: 16395|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
9 h7 ^0 n% U; J  X+ }具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
. Y" n. |9 N  E- A3 F0 S- V" Q
抱歉,可能没说清楚。
  f3 ~6 h7 n8 y. U' |: }/ k8 s3 f
& t. v5 \2 S$ s0 \* V要搜集结果页那些网站的URL
3 b& t- u/ {6 K0 a! i: K4 N
' w( ]4 Q. G# W. f" Y' m$ q9 e比如搜索“中国”% t- F" V, `5 `' R$ |2 B  c

0 c, R0 m" X8 z9 x( A" l) F3 n* O' n3 m8 u  ]2 {
要搜集的内容就是:
$ B  I9 E; L& h1 k4 T! F" e6 e% _3 Khttp://zh.wikipedia.org/zh/中国
/ _9 x* x! i4 Z1 Lhttp://baike.baidu.com/view/61891.htm/ G' L( s5 H% J7 O1 S' H0 ]/ H
http://www.baike.com/wiki/中国
6 J, O& _" N! Z) b* b$ Ahttp://china.huanqiu.com/
. N5 \. R: H; T2 Whttp://world.people.com.cn/GB/57506/190965/  X* z, U% R3 [# a) M# D
……
3 @0 e4 A5 v3 Y6 O2 L) r: {+ M3 N! t……2 g4 h) P9 r; H) d
……, I9 {3 Y( ], f5 v" ^
9 w4 z( a' P. K$ L: `& h

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
4 Z' B& t! q: e3 Q$ |* Y! c, |, \GetFromGoogle
. n  z, v8 ^- K% X这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4513

积分

超级版主

Rank: 8Rank: 8

积分
4513
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
# k0 s2 d5 C6 c6 `" |因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
0 U6 M* j. B' g( P' U0 vScrape Sonic
: w( a( M# z% i9 v7 ]) S) CGetFromGoogle
$ m2 O9 J" }. @: N这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

. a5 H% U+ G( b2 M* ]2 f" W" J多谢!                    % g) X5 ?% S" {: ?+ D. b
6 J; W% z: j# d
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30 9 U- g* y  h, _' v* a
我以前曾经编过一个程序,从Google的搜索结果里提取网址。# E( k$ q8 t8 z2 K" d/ \, m. J
因为GG搜索结果有着一定的规律,这些URL在包含在 ...
! ]' ^) m$ r+ r0 {4 y6 w, V

( d8 h1 K7 C* i5 |  \+ Z- H( Y; _* c. D% h, L
数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1204

广告币

2153

积分

高级会员

Rank: 4

积分
2153

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

110

主题

515

广告币

1174

积分

中级会员

Rank: 3Rank: 3

积分
1174

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3249

广告币

6495

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6495

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
5 v: y, P6 w+ ]- Y* K以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。. B; I( f  C" Y2 L
现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
, W! O& y, q4 r% u4 d2 o/ ]google不行,换其他搜索引擎吧。
: h2 P: s) P" Z3 i3 t5 y以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
  i, f* k9 g3 d* p: V; s( `8 T- a5 w
其它搜索引擎都没有结果
7 Q9 m9 h$ E- ]/ n, L
" n/ O& Z4 G+ z% ^4 V3 U9 l) v* l* z某网站10万个会员的邮箱
' B0 S! k1 f( R看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 0 ]) M6 u; h5 B/ E6 W
其它搜索引擎都没有结果
, M3 j! _8 @. A' |% T4 z$ i/ Y0 I: f( R3 [
某网站10万个会员的邮箱
- R" _, e; h+ f3 V
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19 ( z! Q4 g. s  s; z8 V7 q
楼主搜这邮箱做什么

+ j: r' E" E7 b; A% |4 M' Y有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

770

广告币

1422

积分

高级会员

Rank: 4

积分
1422
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 8 Q- f! p5 P# n" \0 e: Z7 _9 b/ O! P6 B
有10万个邮箱 做什么都好

2 W9 H* s0 f: d9 h群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
2 Z% q( @0 }( T不知道可不可以,去试试google的搜索API

! R& a; _1 ?7 i3 K3 I; ?" WAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Binom

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-6-5 05:59 , Processed in 0.053332 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表