如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
0 i. Z" h' _; s: `4 h7 T, w! c
+ r( V2 ^: E3 O& i

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

5 g3 i( d  L. l! p抱歉，可能没说清楚。
' o; D# B" t! j9 B7 F
! U# q5 H7 g% X/ A, u2 ]要搜集结果页那些网站的URL
: B( d9 f: b7 O; ^
比如搜索“中国”
$ L$ H) L- {+ g7 p: Q- m

, a( j# b; R8 }3 K要搜集的内容就是：
4 [- M% z7 Q/ s, Xhttp://zh.wikipedia.org/zh/中国
3 M  o) r7 m0 I" D" ^, I# Ghttp://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
  \4 h( K( q& I1 z/ h( |( k) E2 chttp://china.huanqiu.com/
& F6 S$ _8 @) e2 k! u& Ahttp://world.people.com.cn/GB/57506/190965/
……
……
……
4 A- X( F  W2 |) z5 O0 H
5 l* L% K' }% S# S0 o/ J

lhelhm

Scrape Sonic
GetFromGoogle
- F$ j+ z& Z+ v3 P这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
) q& O# i/ w! a1 L" g1 C! mScrape Sonic
: L) ~! Q$ W8 m& AGetFromGoogle
+ T% U3 T. S8 l  Q5 l, `这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

, ], h* m+ j( Y! B+ C多谢！                    
9 z  i1 \5 o4 [5 p$ X0 r& P+ y

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯
& O3 ^# H- i( Y4 M
数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
+ b* @4 f4 J: M$ `以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
1 j8 z% `1 e  E* x% V+ \# w现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
. {3 G; {/ p) O) i" i+ _# I以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

+ W4 E0 b0 ?$ s' {3 X; z其它搜索引擎都没有结果

某网站10万个会员的邮箱
$ ?  j( u9 @% G看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
其它搜索引擎都没有结果
! A5 _' h5 ~  u% j! x9 C  S) M
5 h: u: `7 `! N某网站10万个会员的邮箱

: l# \: X0 L- e) [0 ~楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
楼主搜这邮箱做什么

4 \. Y2 B' r9 D7 N+ f4 W有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
. ~) z0 X3 ?' y: i+ r/ X+ G# l8 X有10万个邮箱 做什么都好

' |" A7 a0 X# F; D  Q% Z群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
9 b  y# Q- J2 q- w5 P& s( W! z不知道可不可以，去试试google的搜索API

( O3 W: n; Y: LAPI返回的数量非常有限