如何提取google搜索结果里，目标网页的URL？

whois360 · 发表于 2013-6-4 13:06:40

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？

lhelhm · 发表于 2013-6-4 13:10:11

具体需求没明白,是搜索结果搜集(最多1000条) 还是什么

whois360 · 发表于 2013-6-4 13:21:32

lhelhm 发表于 2013-6-4 13:10
) ~; C- ~4 n' w. i9 [具体需求没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。

要搜集结果页那些网站的URL

比如搜索“中国”

要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
……
……
……

lhelhm · 发表于 2013-6-4 13:26:54

Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo · 发表于 2013-6-4 13:30:10

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360 · 发表于 2013-6-4 13:32:54

lhelhm 发表于 2013-6-4 13:26 ! V, K: `$ ]( W. }+ |5 I( o
Scrape Sonic
0 z+ C/ a9 h. f2 f" XGetFromGoogle, p W+ h: e+ W+ o: N( c4 U
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！

whois360 · 发表于 2013-6-4 13:33:27

yoo 发表于 2013-6-4 13:30 ) y$ [- W0 ?" K7 U+ e
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
: u* i- B8 L& b1 m/ [" a$ w* @6 W因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯

数据有10万条，估计翻几页就要输入验证码了

qiqinjun · 发表于 2013-6-4 13:37:54

不知道可不可以，去试试google的搜索API

生鱼片 · 发表于 2013-6-4 13:39:40

现在不好使搜索几页后就会让你输验证码

billy · 发表于 2013-6-4 13:52:33

google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360 · 发表于 2013-6-4 14:00:04

billy 发表于 2013-6-4 13:52
8 v2 O! R( d6 u' a" b$ Ygoogle不行，换其他搜索引擎吧。
8 x* }8 H1 R$ t5 X/ y, r以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

其它搜索引擎都没有结果

某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx · 发表于 2013-6-4 14:19:04

whois360 发表于 2013-6-4 14:00 6 b& Y! x2 u6 y1 `
其它搜索引擎都没有结果$ }4 d* A: X0 x0 q3 f T z

2 W# k% h0 |8 `: q! K某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360 · 发表于 2013-6-4 14:23:03

sdwzzx 发表于 2013-6-4 14:19
! O3 N5 l) G5 h) ]% V( a, a+ I楼主搜这邮箱做什么

有10万个邮箱做什么都好

hudba · 发表于 2013-6-4 16:05:22

whois360 发表于 2013-6-4 14:23 0 r4 \7 D. g# J3 F0 k( f! w
有10万个邮箱做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic · 发表于 2013-6-4 16:22:02

qiqinjun 发表于 2013-6-4 13:37
5 A! X& B/ ?# e+ y, L/ n不知道可不可以，去试试google的搜索API

API返回的数量非常有限

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	⚡️E.PN 虚拟卡⚡️	FB BM不限额，短id账单户	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户	提供TK企业新户老户、谷歌新户老户
FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量	优质住宅/移动代理/高匿名/高性能	TK白名单老户\|兼职广告可投
⚡比特指纹浏览器+云手机, 4.5折起	T3NZU:定义应用网盟新时代	FB个人号源头服务商	寻找顶级电商？AdsBranded等你！
TK老户/国内外端口/预审/加白	广告位出租	8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

如何提取google搜索结果里，目标网页的URL？

本帖子中包含更多资源

点评

社区QQ达人