如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
3 o5 Y7 K' H4 n+ l% l4 @0 v9 j

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。
* f+ ~5 c9 m) l. B4 }# ^1 ~3 S
6 e9 a# h% k0 z; W$ V8 ]要搜集结果页那些网站的URL

比如搜索“中国”
+ m5 x) \  V6 R: G3 \0 p/ T

要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
, K2 L& y) S2 C1 G8 Hhttp://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
……
& s3 T& ^: H- D- d0 u+ \……
……
: h0 [; V: Z* x! M( ^

lhelhm

Scrape Sonic
9 i3 }2 o8 Q4 R! pGetFromGoogle
: N$ w2 p. o- g这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！                    

; I6 j9 t& b) \+ {4 P' Z, F

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
  @- o4 f# R; J( }9 H7 _0 Y5 K# D) R因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯

1 o. D  |% g) U  P" n+ O数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
  V% L0 x# H' n现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
) ^9 P2 G# X! W( m9 o9 R0 ^. h- mgoogle不行，换其他搜索引擎吧。
' Y! Q6 Z1 w+ s3 j$ N: K: W以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

其它搜索引擎都没有结果

5 t- W( c+ [8 X' j某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
* R, l* J/ a0 }4 U  {其它搜索引擎都没有结果
; |7 \2 y+ v4 |$ ~
某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
/ B% A" M" z1 U% Q楼主搜这邮箱做什么

有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
有10万个邮箱 做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
' r0 u: S& ?0 z* L0 ]% f不知道可不可以，去试试google的搜索API

# a1 m( }( B( F/ i; KAPI返回的数量非常有限