AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理泰国仓储,本土仓发货2-3元/单
指纹浏览器,就用AdsPower谷歌/FB/Bing/Yahoo代理商开户7200W全球动态不重复住宅IP代理全球优质流量,选TrafficStars
出售Facebook,友缘号,FB广告号,insFB/TT/KW 加白开户ADPLEXITY + ADVERTCN比Adplexity还好用的Spy工具
广
FB/Google/TK海外多媒体极速下户
BINOM TRACKER 60% OFF!MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量
百度国际MediaGo,独家原生流量虚拟信用卡+独立站收款行业首创新型指纹Cloak, 谷歌奇效!Kookeey⚡️100%独享⚡️原生住宅IP
⚡IPFoxy住宅代理全场88折⚡全球虚拟卡, 支持U充值免账户投放 FB 广告(送项目)2024做什么 - Media buy 项目库
免费黑五教程(持续更新、欢迎交流)Facebook 批量上广告Bridgeway - 联盟营销网络IPCola 全新住宅代理 ⚡️ 免费试用
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户Adsterra 的CPA/CPM/CPC 网站流量在线注册美国/英国/香港等海外公司
EU KETO/CBD - JumbleberryFB二三解1元/个9Proxy ⚡️ $0.04/IP, 无限带宽 cloak斗篷/ss/nutra/cpa/Dating
E.PN 虚拟卡Asocks代理服务器$3/GB高薪诚求实力FB投手(独立站)《全新虚拟卡+全球收付款》
广告位出租全球低价纯净住宅/移动IP-免费试用广告代投, 东南亚物流, 虚拟信用卡VMLogin指纹浏览器+多账号防关联
查看: 15266|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10 + Y3 ^$ d) Q  a- f+ `
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

5 o2 Q( l; J+ ?  P# o( C抱歉,可能没说清楚。
2 r! L8 b$ r/ K& k/ @6 c4 n  ^, f( E) ^5 {5 D; z  N3 v# \
要搜集结果页那些网站的URL2 H) }) ~) f, Q& _4 h

& }) ^* p7 y! s* ~' v+ k1 W比如搜索“中国”
3 E3 C2 j& D) ?4 c4 s
" ^# t9 l$ r) H3 M* X* ~9 ]
" Y9 Y+ G1 k' }) l/ ^7 I* B要搜集的内容就是:
/ b( {% O2 K# r9 b' \http://zh.wikipedia.org/zh/中国
0 }' B, h4 @4 I( uhttp://baike.baidu.com/view/61891.htm
% p2 y! ~. j" ~( D6 q/ Fhttp://www.baike.com/wiki/中国" ?+ C/ d! e" l7 p& L) n
http://china.huanqiu.com/0 l! b/ F' j( N3 D
http://world.people.com.cn/GB/57506/190965/
' [  L3 {. n6 _! A……: \5 m( \, D2 ?$ K
……% ]1 i! H+ ~1 w3 k
……
# H8 g, r0 @  x+ X( m! |
2 D* q7 r5 a9 L7 d- J

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic
" L0 I2 ?& c5 O: [6 @GetFromGoogle# F& ~# a8 S- T; L+ O; r; X
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4513

积分

超级版主

Rank: 8Rank: 8

积分
4513
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。
- \9 [3 i" r9 W# W因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26
# E+ l7 u9 v+ p- l: |3 BScrape Sonic
  s' |$ m! _' t: |1 IGetFromGoogle# A5 E8 s4 S* u
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

6 j8 O$ E/ a( G1 x多谢!                    & `4 T2 _' C7 g5 N9 D, A8 `

2 s3 ~- A. C  }8 {% H! N
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
& j9 V8 A/ j! Z) T, i, {我以前曾经编过一个程序,从Google的搜索结果里提取网址。( A' d% M! \# u6 m1 Q
因为GG搜索结果有着一定的规律,这些URL在包含在 ...

5 k8 q9 z; A7 U: t$ Q7 |
9 X" y7 g6 y3 ?! u$ B+ c
+ j2 [) ?) {9 j- f数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1190

广告币

2139

积分

高级会员

Rank: 4

积分
2139

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

110

主题

515

广告币

1174

积分

中级会员

Rank: 3Rank: 3

积分
1174

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3242

广告币

6488

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6488

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。. C; _$ R% k8 ~3 ^+ q
以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。7 J' R( P$ z& z1 f' |/ z5 z  O6 t
现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
! p% [; F. v. S  [google不行,换其他搜索引擎吧。
4 h- W8 I5 |* h  ?! u2 o: Q以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...
) M( K7 p9 @+ V2 L8 I2 i, i; S
其它搜索引擎都没有结果
$ l! l  @+ b- a9 L1 {4 \) i  A7 R  @- U+ t$ c
某网站10万个会员的邮箱
2 f+ l5 z! r* a# F看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 0 b4 A6 O. O$ {! u- n* L/ p
其它搜索引擎都没有结果
: e# ?2 [% I$ P
" C$ P% [+ a$ r. C' v1 Z9 Q, V2 u某网站10万个会员的邮箱
4 D9 ^' {5 W' l1 i/ m
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
9 G- |3 n" [; Z; t! m楼主搜这邮箱做什么

6 w( d* O5 S" J) t. ~5 F3 z有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

770

广告币

1422

积分

高级会员

Rank: 4

积分
1422
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23 : s( ^/ i- S) K6 T7 [# Z/ b6 g6 f
有10万个邮箱 做什么都好
$ |  K2 q; a5 u% E
群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
! c, [& G9 Z; C2 n8 f) [不知道可不可以,去试试google的搜索API

4 M( w$ q7 C6 j6 xAPI返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-4-29 11:51 , Processed in 0.056178 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表