网站没有流量，爬虫的到是不少

cangheng

这么多爬虫

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了
& }9 z+ h  O* F2 _6 F- P9 v
1 H. m, O# ~+ S我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
/ Y  }0 @/ y7 L你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
9 b( c2 D$ Z+ H6 x! ^+ U2 I- i
( H' n7 F) ^- i" N6 U+ |没事的时候，设置一个access log。。。就能看到了

- t) C' f/ M9 |爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
* B8 Z, }) F3 g* i
没事的时候，设置一个access log ...

偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

+ u; L: ^. v7 o2 \9 l! u6 j虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
& h5 m# k0 C% d' |: \1 p虚拟主机，一般都直接屏蔽了

) D9 u" {2 y+ a3 w, t. Q7 @那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
2 K6 @% v$ D4 r; |
/ }1 {- R/ c$ I( n  l. W% V( a我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

$ ]/ V9 D& ?/ f$ A谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

2 L( w6 u( W% O. Z/ I! K没事的时候，设置一个access log ...

' k& }# s; j2 K2 c6 M( K0 c这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
1 A, q1 h/ i- g4 F8 |# b
" x) U# S5 y- B. f我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
  B3 a5 V0 d% {建网站以后，很大一部分资源都给爬虫搞走了

, M1 I) _- U$ F% w  B我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
1 q. l) c1 x) O; N2 t8 E8 g( K( J  B
如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

. |# z$ h5 j1 m* v' k0 F4 z% U) c如果是免费的，可以知道下具体怎么操 ...

0 l  \9 o" d9 N* S1 ~/ E: L免费的
0 ~5 k; K* B- ]/ ]
CF的文档写的很清楚，自己看下文档就好了