如何提取google搜索结果里，目标网页的URL？

cpoook

是一个关键词，提取目标网页的10W个URL？

whois360

cpoook 发表于 2013-6-4 16:30
% o+ ~" n; R5 x) \/ r是一个关键词，提取目标网页的10W个URL？

是         

cpoook

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e

ipv6

qwingmix

只有一个关键词搜索十万条URL是不可能的。

! ?' G! J  k8 Y4 R7 W9 V0 t要用到批量的关键词和软件必须能解决验证码的问题才行。
7 r, i" V5 r5 L; U- x' N
相关软件： scrapebox / gscraper

e剑行天下

yoo 发表于 2013-6-4 13:30
  m+ i$ ^0 j" F+ Z: w8 j8 I我以前曾经编过一个程序，从Google的搜索结果里提取网址。
5 B: _: b( P* y0 j. V' m因为GG搜索结果有着一定的规律，这些URL在包含在 ...

多线程+GAE代理
. q7 v3 E3 v8 Y你懂得~

loquat

scrapebox 单线程， 多线程就会触发验证码了

菲菲

。。。。已经有人解答了

阿百川

loquat 发表于 2013-6-5 12:28
% {8 n; x. c6 t+ p' r. G) Mscrapebox 单线程， 多线程就会触发验证码了

9 [8 Y2 A, T( a- `sb多线程+代理，100w无压力

loquat

阿百川 发表于 2013-6-5 15:37
4 }3 k' Y# K: O6 X, [sb多线程+代理，100w无压力

" X) B& j% a+ z2 k兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据吧

阿百川

loquat 发表于 2013-6-5 21:08
6 h5 `: s2 f; g" W兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据 ...

0 e  D& m: Q+ g/ S免费的就可以，最好使用vps
/ f! d8 e4 }2 h6 h
5 q+ u4 J- t8 u' y4 G一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
, c3 p$ ?2 ~3 a. o# x1 L/ nGetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

' k3 g" h9 A( T3 h$ m1 ?  `4 g+ N& _这些小软件现在都下载不到了呢。