如何提取google搜索结果里，目标网页的URL？

cpoook

是一个关键词，提取目标网页的10W个URL？

whois360

cpoook 发表于 2013-6-4 16:30
7 g+ d7 {; _2 a5 a6 l& _/ o" e是一个关键词，提取目标网页的10W个URL？

是         

cpoook

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e

ipv6

qwingmix

只有一个关键词搜索十万条URL是不可能的。
7 t/ m+ i( ~; w5 j
7 z, l' r6 \7 o/ O+ d% t9 k3 [$ N要用到批量的关键词和软件必须能解决验证码的问题才行。

相关软件： scrapebox / gscraper

e剑行天下

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
3 A  L+ G. q9 r0 A1 ~. {因为GG搜索结果有着一定的规律，这些URL在包含在 ...

; K/ m3 \3 |$ e# z3 K( C( F多线程+GAE代理
你懂得~

loquat

scrapebox 单线程， 多线程就会触发验证码了

菲菲

。。。。已经有人解答了

阿百川

loquat 发表于 2013-6-5 12:28
scrapebox 单线程， 多线程就会触发验证码了

; w1 Q' `- k4 A3 }sb多线程+代理，100w无压力

loquat

阿百川 发表于 2013-6-5 15:37
9 q; z5 a8 T& j) }- M8 X3 Xsb多线程+代理，100w无压力

2 _/ U1 x: x1 x% G+ e兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据吧

阿百川

loquat 发表于 2013-6-5 21:08
6 b" q( x0 O" v/ \% Q兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据 ...

6 N( }4 ?- f% c' Y免费的就可以，最好使用vps
9 ]+ t1 F9 x% \
7 |; G* v( ^% s; z' B; p" V% n一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys

lhelhm 发表于 2013-6-4 13:26
% I1 S" l. ~$ [. |Scrape Sonic
% W1 k4 K" k, P: H% a$ s0 IGetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

; }9 I& T1 ]# Z4 G3 J这些小软件现在都下载不到了呢。