网站没有流量，爬虫的到是不少

cangheng · 发表于 2020-9-28 19:43:03

这么多爬虫

朝阳风雨 · 发表于 2020-9-28 20:05:36

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马 · 发表于 2020-9-28 21:04:15

建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马 · 发表于 2020-9-28 21:04:58

朝阳风雨发表于 2020-9-28 20:05- v0 X# T$ N( J5 i% W4 x
你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log。。。就能看到了

爬虫太狠了

朝阳风雨 · 发表于 2020-9-28 21:06:38

河小马发表于 2020-9-28 21:04
9 h4 @2 h( ]: B' X+ V6 v6 g还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
6 Z2 | j _! W, K; e4 g3 R9 f/ F) a" \+ ^) G, `) p. `9 t
没事的时候，设置一个access log ...

偷懒用虚拟主机的我还是算了对我访问没有啥影响

河小马 · 发表于 2020-9-28 21:09:27

朝阳风雨发表于 2020-9-28 21:06' Q, f4 S7 F/ f ^
偷懒用虚拟主机的我还是算了对我访问没有啥影响

虚拟主机，一般都直接屏蔽了

朝阳风雨 · 发表于 2020-9-28 21:13:42

河小马发表于 2020-9-28 21:09
4 b& k3 J2 o7 b- j/ m/ n虚拟主机，一般都直接屏蔽了

那就省事快捷了

cangheng · 发表于 2020-9-29 08:55:25

河小马发表于 2020-9-28 21:04
, j* \3 v1 {/ u) p建网站以后，很大一部分资源都给爬虫搞走了, O3 H3 O* z" Y3 U; \! k# @. k

" s- r$ f+ N r我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

谢谢河马

d6mmsm71 · 发表于 2020-9-29 08:56:57

河小马发表于 2020-9-28 21:04
9 |4 D/ {$ @* k) |+ p0 E还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
1 O% h/ K* u0 ?, j, Y) h( `) F* \! C2 b! Y
没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead · 发表于 2020-9-29 09:05:14

强迫症表示，～* "(php|wget)" 不香么

sead · 发表于 2020-9-29 09:11:36

河小马发表于 2020-9-28 21:04& g5 x7 c! e- F. r; G( U( U
建网站以后，很大一部分资源都给爬虫搞走了
+ M, Z+ C H( U* p, ^6 m$ @# M. D. d" K* m% e0 }( w! @3 r
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71 · 发表于 2020-9-29 09:32:01

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck · 发表于 2020-9-29 11:03:42

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人 · 发表于 2020-9-29 11:52:23

河小马发表于 2020-9-28 21:04
" h9 I* C' x9 \; x' T. H% ]3 ~建网站以后，很大一部分资源都给爬虫搞走了
8 M0 t, L0 i4 B% O( M N3 r0 q/ w* m ^# {# p" x# `6 W1 t
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

如果是免费的，可以知道下具体怎么操作么？

河小马 · 发表于 2020-9-29 16:09:42

加拿大华人发表于 2020-9-29 11:52' l2 @+ q- f' \4 I# r! R/ C! h
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
) ^( S, L0 G" l4 } E
- ^6 Q! F2 `2 h5 O如果是免费的，可以知道下具体怎么操 ...

免费的

CF的文档写的很清楚，自己看下文档就好了

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】
FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️	Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**
【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️
BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理
全球虚拟卡, 支持U充值	【15 年团队 - 广告自动化系统、定制开发】	【ActionKey】Meta API 桥接令牌	尤里改 - FB 稳定投放
【神盾 AI】Meta 广告资产防护永久免费	FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	IPCola原生住宅IP⚡️$1.8/条双ISP
FB资源，账单户，分享户，国内一手	TK加白户/二解户/FB海外户/GG老户	最大欧洲Nutra网盟BA找量	FB高权重耐操个号⚡️稳定过审
FB企业户海外户,授信户,TK加白户	联盟收款/海外资金下发/服贸结汇	✔Taboola海外户源头	广告位出租

[吐槽] 网站没有流量，爬虫的到是不少

本帖子中包含更多资源

点评

点评

点评

点评

点评

点评

点评

点评

社区QQ达人