网站没有流量，爬虫的到是不少

cangheng

这么多爬虫
& v/ ~/ q$ `4 G; U2 x# ^

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了
# v( N' C/ Z0 u, ]. H9 H
( j* q% |+ o2 B6 y, J( \我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

& h2 ]* c; n* Q没事的时候，设置一个access log。。。就能看到了

5 f; G7 Y- m% L9 P8 s; @, @爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
2 T' I$ p7 [0 ?还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

3 }- m3 X* D4 O  @  z* b1 o没事的时候，设置一个access log ...

偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
/ a1 o2 T" A- C( F' k6 h偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

: r2 Q# D" a0 T/ N* T$ R虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
虚拟主机，一般都直接屏蔽了

4 S' B- G$ I0 W1 [) G  y6 w: @那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
6 V7 o* Z+ C# A5 S建网站以后，很大一部分资源都给爬虫搞走了
7 `4 O3 G, e/ v: Q) Y8 L2 v& R
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

4 S: a" l, g6 a" E& M) l谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
; s: q/ A5 d8 `  X+ ^
没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
# f  D; n6 \, C: v( E1 \2 G
/ |/ [, V2 F- c" n我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

& g* d3 l9 S# ]! U3 ]要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
3 Q+ k  s4 M3 z; j. y建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

7 M: e8 b: X+ X! r# w' U/ j0 j3 [请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
! G0 {6 C. W; \2 M) s1 ^+ d# }
如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
( R0 {# ~/ U; a% |8 @1 T请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

如果是免费的，可以知道下具体怎么操 ...

免费的
9 h% b8 g- o; V' \6 F: Y
CF的文档写的很清楚，自己看下文档就好了