网站没有流量，爬虫的到是不少

cangheng

这么多爬虫

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了

3 t+ j# B: }. B9 A  s8 m# _我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
2 z1 {# i$ Q& a/ R5 J你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

4 T+ h% I! v1 ?( d  n: [没事的时候，设置一个access log。。。就能看到了
+ P* q( C$ a- Y+ b+ g/ p
$ A: J/ A, S2 G) J爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
! `3 y0 U% L% O( ~& ]还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
/ E2 E+ _+ B4 i. x5 A8 c
/ T0 |5 W# H, f+ e6 C% t没事的时候，设置一个access log ...

; h# z8 Q7 d, Q% z5 Q偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
: n' _& D% L. \1 R偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
虚拟主机，一般都直接屏蔽了

那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
2 p$ V! K* \% p6 y9 P
# B( q+ R( `' {2 b, M  q5 p我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
/ z3 e+ p" l& d还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
2 U+ L  x$ @  Z  @. m
没事的时候，设置一个access log ...

0 [, v$ s8 t& c* M, @6 W这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
. Z$ _; O! s, g# ]3 N: g' q3 b建网站以后，很大一部分资源都给爬虫搞走了
1 h, d$ a- Y5 }- G+ i% R
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
) d' P9 m5 q9 ?/ e) V建网站以后，很大一部分资源都给爬虫搞走了
' l# {( T/ ?/ {7 [! g
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

% _/ t5 d. ]! m/ l3 g请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
! K3 h* S' ~5 v  J: K2 n
如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
" B0 v0 {  k: {7 P1 S" m7 m2 B
如果是免费的，可以知道下具体怎么操 ...

- G! k) E9 D8 t: b免费的

, \" N' m1 T0 f! u9 u" j+ OCF的文档写的很清楚，自己看下文档就好了