找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️✔Taboola海外户
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 27133|回复: 23

[吐槽] 网站没有流量,爬虫的到是不少

[复制链接]

6

主题

202

广告币

241

积分

初级会员

积分
241
发表于 2020-9-28 19:43:03 | 显示全部楼层 |阅读模式
回复

使用道具 举报

79

主题

4100

广告币

5867

积分

版主

积分
5867

社区QQ达人

发表于 2020-9-28 20:05:36 | 显示全部楼层
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

点评

还是需要的。。。。服务的资源,绝大部分都给无量爬虫占据了。。。。 没事的时候,设置一个access log。。。就能看到了 爬虫太狠了  详情 回复 发表于 2020-9-28 21:04
回复 支持 反对

使用道具 举报

1665

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
27945

社区QQ达人

发表于 2020-9-28 21:04:15 | 显示全部楼层
建网站以后,很大一部分资源都给爬虫搞走了+ b2 {$ o. A) f) }  V# b3 |2 q

; |! X& w# x4 ~; f/ _5 c我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写nginx 规则要简单和省事的多

点评

要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点  详情 回复 发表于 2020-9-29 09:11
谢谢 河马  详情 回复 发表于 2020-9-29 08:55
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1665

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
27945

社区QQ达人

发表于 2020-9-28 21:04:58 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 20:05' j' S) E0 \7 V. L
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

# V: G9 Y2 b6 H/ \, _还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
: p  g  c% V0 u% M' U: n7 {) W; S' Z1 F5 z
没事的时候,设置一个access log。。。就能看到了
2 Q8 L1 D* B$ y$ z, z3 p0 _4 j% H( N- Q  s! I6 n+ }
爬虫太狠了

点评

这样就没有收录了,更不好  详情 回复 发表于 2020-9-29 08:56
偷懒用虚拟主机的我 还是算了 对我访问没有啥影响  详情 回复 发表于 2020-9-28 21:06
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4100

广告币

5867

积分

版主

积分
5867

社区QQ达人

发表于 2020-9-28 21:06:38 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
' R# N) r3 L% p- W1 R" |6 v5 n& H& T还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
/ a& k) ^( j+ S  z
- A$ `6 @# [* I; v" q& I" t没事的时候,设置一个access log ...
: f% Z! S1 O, j3 h' ]; u
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

点评

虚拟主机,一般都直接屏蔽了  详情 回复 发表于 2020-9-28 21:09
回复 支持 反对

使用道具 举报

1665

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
27945

社区QQ达人

发表于 2020-9-28 21:09:27 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 21:06
% Q, n( U1 D, u) g偷懒用虚拟主机的我  还是算了 对我访问没有啥影响
6 k9 B- K& |$ B, D' C
虚拟主机,一般都直接屏蔽了

点评

那就省事快捷了  详情 回复 发表于 2020-9-28 21:13
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4100

广告币

5867

积分

版主

积分
5867

社区QQ达人

发表于 2020-9-28 21:13:42 | 显示全部楼层
河小马 发表于 2020-9-28 21:09% ], i+ ]- d" p' y; y# M
虚拟主机,一般都直接屏蔽了

/ b+ |( `& Q7 @+ T$ k那就省事快捷了
回复 支持 反对

使用道具 举报

6

主题

202

广告币

241

积分

初级会员

积分
241
 楼主| 发表于 2020-9-29 08:55:25 | 显示全部楼层
河小马 发表于 2020-9-28 21:042 X+ a+ ]+ Q7 I8 r: M
建网站以后,很大一部分资源都给爬虫搞走了( s  }5 m! y% V/ q$ E2 d" W- n
# D5 [6 S. A+ Q( x; p- ]; B% ]0 ^
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...

! v7 B+ x- p: i6 J9 D, }谢谢 河马
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

积分
162
发表于 2020-9-29 08:56:57 | 显示全部楼层
河小马 发表于 2020-9-28 21:04. V/ l/ k* n$ G
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。. x  ]! N: M& f! k( z# @

8 f, Z* J! W' \2 a没事的时候,设置一个access log ...
( U' @5 i7 @9 A! r/ h# H
这样就没有收录了,更不好

点评

爬的,我看主要都是php 路径的,关键我网站不是 php的呀  发表于 2020-9-29 09:27
回复 支持 反对

使用道具 举报

94

主题

2269

广告币

3209

积分

金牌会员

积分
3209

社区QQ达人

发表于 2020-9-29 09:05:14 | 显示全部楼层
强迫症表示, ~*  "(php|wget)" 不香么
回复 支持 反对

使用道具 举报

94

主题

2269

广告币

3209

积分

金牌会员

积分
3209

社区QQ达人

发表于 2020-9-29 09:11:36 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
+ }- Z4 w$ j$ ^: p. b3 q9 ^+ _建网站以后,很大一部分资源都给爬虫搞走了
5 `0 s$ i# o7 F7 X! n$ Y# q0 h  z9 }. L+ x2 B" {; T4 t4 z8 l6 w2 b
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
9 {6 ]/ U6 G0 C6 N9 j
要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点

点评

CF的防火墙,自动默认允许世界知名的搜索引擎的蜘蛛  详情 回复 发表于 2020-9-29 16:12
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

积分
162
发表于 2020-9-29 09:32:01 | 显示全部楼层
我才不搞这些花里胡哨的屏蔽爬虫,一不小心搞降权了就亏大了,配置不够就升级,有投入才有收入
回复 支持 反对

使用道具 举报

584

主题

2089

广告币

3844

积分

金牌会员

积分
3844
发表于 2020-9-29 11:03:42 | 显示全部楼层
用的是VPS,不懂代码,网站内容也被能去不少,干着急,没办法。
回复 支持 反对

使用道具 举报

15

主题

676

广告币

1027

积分

禁止访问

QQ:1582939837

积分
1027
发表于 2020-9-29 11:52:23 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
$ x! d/ V3 X: v: ?建网站以后,很大一部分资源都给爬虫搞走了; z) z: L: D' M* t
$ y# l) T8 @/ ]" K* s
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...

7 @9 h' I7 i- f3 D& x1 [9 @请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?$ y/ s. F; P! f' e; O  M) S& V
9 [$ _  C& _; p' ]; z' l# g
如果是免费的,可以知道下具体怎么操作么?

点评

免费的 CF的文档写的很清楚,自己看下文档就好了  详情 回复 发表于 2020-9-29 16:09
代收联盟款(PP或ACH)。物美价廉主机。 ieasyweb.com 着陆页设计。weebly pro版月费仅官网半价。aivoicer.com文字转语音。ufoforest.com低成本网店
回复 支持 反对

使用道具 举报

1665

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
27945

社区QQ达人

发表于 2020-9-29 16:09:42 | 显示全部楼层
加拿大华人 发表于 2020-9-29 11:52
. t5 m4 ?, u& T) \请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?1 R$ G  m' |! ^9 i+ ~

9 q7 |; k+ g% b* v如果是免费的,可以知道下具体怎么操 ...
7 r2 G$ [1 b- X- M- K
免费的
) p" s% A1 h" |& q7 G+ C5 S3 d/ o
- O- i- S: b+ Z7 u$ ICF的文档写的很清楚,自己看下文档就好了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-14 13:39 , Processed in 0.216596 second(s), 35 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表