如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？

; J; t4 e$ u% C; [" m1 a/ @7 w0 z

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

7 M6 ^8 ?1 B/ e( l0 A7 Q抱歉，可能没说清楚。

要搜集结果页那些网站的URL
- s4 K* Q' X3 W) R
; `0 w+ N7 ~2 j2 `0 I比如搜索“中国”
  {" b9 M- e" M  Z" {, d
/ ~0 O6 m* @$ L' F
要搜集的内容就是：
; M( r6 R$ W; y* {: w* [+ q8 _http://zh.wikipedia.org/zh/中国
8 z% U  E0 d( w$ Dhttp://baike.baidu.com/view/61891.htm
# z# S" `: ~  Yhttp://www.baike.com/wiki/中国
http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
……
  v* s8 s9 \7 N4 L( a# c……
……
% ]" V) f+ y4 V4 s) [$ o
6 ]3 g- ]  I/ l: `

lhelhm

Scrape Sonic
2 }; _- x" N/ i( J& C) BGetFromGoogle
. L0 a) A: Y# r/ }( w  B这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
1 [& q+ F2 w9 [9 w* fScrape Sonic
! p8 U5 x7 V, g( p6 WGetFromGoogle
/ C$ O7 ?' z, K6 \) V! j, [7 y这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

8 o: w3 E+ c% l; j6 `9 H多谢！                    
9 W* v( t" M$ E0 ]' e! `1 B

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
7 g7 ^2 N0 t* o" Z1 F# m& u9 K因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯

数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
1 G$ [6 s7 h+ {+ f- U以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

0 I- ?, O2 h% b; i# i其它搜索引擎都没有结果

某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
  Q6 d4 T, o; x& a+ _3 `  \; D其它搜索引擎都没有结果
' [' @' R9 R( ?/ h3 w* h7 R
5 p. k0 O0 N  Q5 a$ }" {1 ?: X( S某网站10万个会员的邮箱

2 B1 W- X; \1 A; y# o7 Z楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
! a4 y7 \* C! }5 F0 U楼主搜这邮箱做什么

有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
7 b2 A7 i7 ?5 M$ U有10万个邮箱 做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
; z; x! o% `' l" P& f" M0 V& {. U不知道可不可以，去试试google的搜索API

1 U! U2 e! H0 k$ BAPI返回的数量非常有限