如何提取google搜索结果里，目标网页的URL？

cpoook · 发表于 2013-6-4 16:30:03

是一个关键词，提取目标网页的10W个URL？

whois360 · 发表于 2013-6-4 17:56:05

cpoook 发表于 2013-6-4 16:30. r7 t( ?7 W5 Z
是一个关键词，提取目标网页的10W个URL？

是

cpoook · 发表于 2013-6-4 18:15:09

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e · 发表于 2013-6-4 21:22:32

ipv6

qwingmix · 发表于 2013-6-5 10:50:20

只有一个关键词搜索十万条URL是不可能的。

要用到批量的关键词和软件必须能解决验证码的问题才行。

相关软件： scrapebox / gscraper

e剑行天下 · 发表于 2013-6-5 10:53:23

yoo 发表于 2013-6-4 13:30 / B. N" p3 r( j' b' u# \
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
T# v7 _9 a( m V因为GG搜索结果有着一定的规律，这些URL在包含在 ...

多线程+GAE代理
你懂得~

loquat · 发表于 2013-6-5 12:28:41

scrapebox 单线程，多线程就会触发验证码了

菲菲 · 发表于 2013-6-5 14:49:57

。。。。已经有人解答了

阿百川 · 发表于 2013-6-5 15:37:57

loquat 发表于 2013-6-5 12:28
* G' z2 }8 }+ L, gscrapebox 单线程，多线程就会触发验证码了

sb多线程+代理，100w无压力

loquat · 发表于 2013-6-5 21:08:32

阿百川发表于 2013-6-5 15:37 % M& P& e1 Q6 Q. U
sb多线程+代理，100w无压力

兄弟，你用的是收费的代理吗？搜刮的免费代理，一会儿就被封了。另外一个关键词应该搜索不到100W数据吧

阿百川 · 发表于 2013-6-6 05:38:27

loquat 发表于 2013-6-5 21:08
' {* M( T# C+ n0 {7 t0 P兄弟，你用的是收费的代理吗？搜刮的免费代理，一会儿就被封了。另外一个关键词应该搜索不到100W数据 ...

免费的就可以，最好使用vps

一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys · 发表于 2016-3-4 02:43:26

lhelhm 发表于 2013-6-4 13:26
. w3 c. k [1 I% }! k( v jScrape Sonic 3 E) J: {+ z3 ^% B; T
GetFromGoogle, }. f: \( H! `3 I
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

这些小软件现在都下载不到了呢。

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	泰国仓储，本土仓发货2-3元/单
指纹浏览器，就用AdsPower	谷歌/FB/Bing/Yahoo代理商开户	7200W全球动态不重复住宅IP代理	BINOM TRACKER 60% OFF!
出售Facebook,友缘号,FB广告号,ins	FB/TT/KW 加白开户	ADPLEXITY + ADVERTCN	比Adplexity还好用的Spy工具
广	告	开	户
FB/Google/TK	海外多媒体	极速	下户
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
行业首创新型指纹Cloak, 谷歌奇效!	⚡IPFoxy住宅代理全场88折⚡	全球虚拟卡, 支持U充值	各种主页、账单户、BM户（优势）
⚡️个人户，bm户不限额，账单户	Adsterra 的CPA/CPM/CPC 网站流量	在线注册美国/英国/香港等海外公司	FB二三解1元/个
9Proxy ⚡️ $0.04/IP, 无限带宽	cloak斗篷/ss/nutra/cpa/Dating	《全新虚拟卡+全球收付款》	广告位出租
全球低价纯净住宅/移动IP-免费试用	广告代投, 东南亚物流, 虚拟信用卡	VMLogin指纹浏览器+多账号防关联

如何提取google搜索结果里，目标网页的URL？

社区QQ达人