网站没有流量，爬虫的到是不少

cangheng

这么多爬虫

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了
" i" q0 k% d$ F( ~0 b
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
4 V$ \- y* v; A" _) c+ W( u
没事的时候，设置一个access log。。。就能看到了

7 f. d& M8 g. }! I7 q爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
9 `2 H0 ]/ i4 P! I4 ^$ @还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
% W/ ]9 Q/ Y6 B* t
没事的时候，设置一个access log ...

! G9 t) l9 [8 Y偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
' _2 n+ K4 I; h4 K偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

9 f7 W7 \" ~' J0 }3 |7 ^! _5 q虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
3 \% @$ f! n. t虚拟主机，一般都直接屏蔽了

: y- G1 H5 c) S6 c( p+ i" ~5 t那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
; T& ^6 W7 ?; u( |/ J) l) @2 T建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

4 T" I: B5 ]9 L9 q0 S谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

2 v* x! p' T; w没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
2 `$ P6 f0 R8 ~建网站以后，很大一部分资源都给爬虫搞走了
; I3 y' ?' @. w
7 U" k2 E( X! o) b* v- ?& ^我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
: t: V5 e# y8 X" b建网站以后，很大一部分资源都给爬虫搞走了
3 Y/ `' Q6 J4 [% X/ e
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

7 ]4 f$ h/ _# b" L! m" g5 h# a请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

. t8 _0 _: S% c$ b, D' ]如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
& {7 _5 t7 @' e) y# i, G
) i% c# E) e! b- ?! G+ b3 Z如果是免费的，可以知道下具体怎么操 ...

免费的
+ V9 R/ ?3 E/ _- R# q( x8 w
. y; h' h; u0 l6 u$ ]CF的文档写的很清楚，自己看下文档就好了