如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？

! J$ ~& m7 b2 A/ Y) V2 x

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
9 G- `; C* E0 P$ A( p+ _具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。
0 b; o& L" @- p  x0 W" F5 F; y  `$ s
1 d' c! Z- m& y3 W+ u要搜集结果页那些网站的URL
& A" b0 |+ E" y& w  n/ E
比如搜索“中国”


) F2 T& J6 K7 `) f2 M* {2 F) g, n6 A( }要搜集的内容就是：
& d, q+ l# ~0 i! a3 w; k; u/ Khttp://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
http://china.huanqiu.com/
  y+ k; T2 F6 `( S9 w8 Xhttp://world.people.com.cn/GB/57506/190965/
……
……
……

3 ?  ^0 ?* r0 h4 U

lhelhm

Scrape Sonic
GetFromGoogle
+ t& M6 {' b: h( X1 }5 k' c3 v这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
& f1 a( u3 L6 U. `& K: D+ _' vGetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！                    

( p8 f: C& |) G

whois360

yoo 发表于 2013-6-4 13:30
! q' Z# s2 w; s+ t0 _) Z0 U我以前曾经编过一个程序，从Google的搜索结果里提取网址。
2 }1 N. a: I. G& N9 Y! E因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯
2 w0 W/ }- u& s$ M1 i& H! _7 p
数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
' l  m' ^& D& Q8 P7 r以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

其它搜索引擎都没有结果

3 G5 d( y; @8 f: D1 z3 E/ R3 @某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
, p* i1 S$ ^% l0 d; l" k$ a其它搜索引擎都没有结果
- s& b9 Z1 X. w' H; _8 v
; m0 p+ j) s% H3 A某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
楼主搜这邮箱做什么

1 l. w- D& `# _. z) H- Y% X3 b有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
5 [3 T% a+ M1 h& D7 G有10万个邮箱 做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
不知道可不可以，去试试google的搜索API

5 ^9 {% o6 s* G+ o: y( h1 gAPI返回的数量非常有限