如何提取google搜索结果里，目标网页的URL？

cpoook

是一个关键词，提取目标网页的10W个URL？

whois360

cpoook 发表于 2013-6-4 16:30
7 V/ W& L" x5 b! l! V* {是一个关键词，提取目标网页的10W个URL？

1 `# ?; y- J4 q2 J6 H( t. {是         

cpoook

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e

ipv6

qwingmix

只有一个关键词搜索十万条URL是不可能的。
9 u& }! q) J# z* r2 |% A  \
1 C* l1 L/ r3 F( s8 T要用到批量的关键词和软件必须能解决验证码的问题才行。

) i! ~3 W' U8 [' u相关软件： scrapebox / gscraper

e剑行天下

yoo 发表于 2013-6-4 13:30
3 f5 z! H4 V5 B9 J, }6 p& z) y我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

6 L+ k  O- |3 I  w4 s. W: r/ o) c  F多线程+GAE代理
9 D  A( r0 s: G' W- r7 ?0 p你懂得~

loquat

scrapebox 单线程， 多线程就会触发验证码了

菲菲

。。。。已经有人解答了

阿百川

loquat 发表于 2013-6-5 12:28
1 F- X2 O. E* Z( M, Y( o- u5 f4 F8 R' \- escrapebox 单线程， 多线程就会触发验证码了

sb多线程+代理，100w无压力

loquat

阿百川 发表于 2013-6-5 15:37
6 S4 k( n& ^! W$ wsb多线程+代理，100w无压力

9 N, F* a( y( r6 i- p兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据吧

阿百川

loquat 发表于 2013-6-5 21:08
4 w4 D9 k' k2 k$ o6 ?兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据 ...

. h6 e& Z0 |( F3 W免费的就可以，最好使用vps
, Q; o5 |' [2 S2 M
一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys

lhelhm 发表于 2013-6-4 13:26
5 I& B: _8 ~4 d) I7 h+ w% yScrape Sonic
GetFromGoogle
! R5 d1 U1 J8 I2 ]这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

这些小软件现在都下载不到了呢。