如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
  V, G+ r6 m# [* Q' X
+ ^. r! C  F; N8 x* p4 y

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。

" [# y( L3 \% h' P- ]要搜集结果页那些网站的URL

! G% W" X# ^. m+ a" m0 V比如搜索“中国”

9 X. l# E; ^8 H2 ]0 J
. z7 z4 F6 ^7 j' x/ ?要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
8 _  [" J" j7 }- }$ N' vhttp://baike.baidu.com/view/61891.htm
) K4 }: B5 a8 s) N6 O; ghttp://www.baike.com/wiki/中国
http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
- `$ @$ ?, W9 K2 B& W& t……
……
……

lhelhm

Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
% I( a  f/ f( F) g5 D4 fScrape Sonic
GetFromGoogle
- p- l$ F2 Z  a( l. y4 w这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！                    
$ S* J7 L: _5 T( G  B) E& f8 U

whois360

yoo 发表于 2013-6-4 13:30
2 @4 \! o4 d* Q我以前曾经编过一个程序，从Google的搜索结果里提取网址。
6 i# q% n; I5 t/ l9 {: V" x因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯
. U$ d3 d) G- ^! F! F' U
4 i+ r/ _: I! J" v; ~数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
  ^. C$ N- u! L5 k" T8 H% s以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
* [  E3 A! E8 c8 I: E2 J7 B现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
- ~4 _8 j" q3 y3 \7 Y1 E# M9 ]以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

其它搜索引擎都没有结果

! ^1 S: ^/ c7 H5 K& S某网站10万个会员的邮箱
( p$ W1 D/ z- E* N) ~3 s看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
7 I, v# r/ x$ |( q! x7 {* P其它搜索引擎都没有结果
  P2 p" `4 l9 A7 ]6 v6 F2 i# a+ K7 ?
9 o! m6 _+ b* E( ]" g) b某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
( N: U) n1 G8 g! z7 n9 P楼主搜这邮箱做什么

( [* ?4 {5 i1 `6 ~4 s* y# F有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
有10万个邮箱 做什么都好

% J9 B  c6 _) C: z* \+ x7 x群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
$ Y- N. t, Y2 s5 Q+ K3 d; Q不知道可不可以，去试试google的搜索API

API返回的数量非常有限