如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？

0 o% E0 F6 s( \; s2 f

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
1 }* d* N2 O: ?9 e: J: L. O具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

: M/ U  x4 U; I4 F7 g抱歉，可能没说清楚。

要搜集结果页那些网站的URL

6 S: `- f5 i4 E0 [" e. U比如搜索“中国”
8 S! s3 d0 f, Y. X' o

要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
7 n: @; W& f. Vhttp://china.huanqiu.com/
5 N% {8 ]( K, v% b7 ihttp://world.people.com.cn/GB/57506/190965/
……
: C! u% h; [2 S……
……
- L2 W) `. F% k9 h: K

lhelhm

Scrape Sonic
  I& w2 q8 X# T, ?- K2 I- T% @GetFromGoogle
7 Q0 q4 b/ s/ X; N这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！                    
. c  t. z: a' D
  }; y, h8 ~' b% r* g5 n9 a- p

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
: n5 o$ i. C8 N因为GG搜索结果有着一定的规律，这些URL在包含在 ...

" y1 Q4 W( |6 U/ ?3 J6 ^嗯
4 }4 b3 Z4 B, K- j8 y& c  G) A$ m
数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

其它搜索引擎都没有结果
% L* \2 w! Z9 x& L+ X8 @' |/ M, c
  K" J+ p' C" p- {7 Q1 {( G. m8 b某网站10万个会员的邮箱
& r. w2 V' _  |看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
' C" x6 `# t# M' _3 G& k其它搜索引擎都没有结果
) _' G: s% H' o8 K
. x3 J( e- b% Q4 g$ `' Y% n4 ^4 K某网站10万个会员的邮箱

' H% u' z2 S+ N% }# ]楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
  N' [$ G9 s7 X8 N8 y楼主搜这邮箱做什么

有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
# j+ g: a1 u1 t: n/ U: w有10万个邮箱 做什么都好

' O5 f! S& ]; y0 W0 t4 ^; ?. f5 P群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
不知道可不可以，去试试google的搜索API

5 d1 C) h  E$ E% m" PAPI返回的数量非常有限