iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

3 P3 n: g& G# biptables -I INPUT -s 123.125.71.0/24 -j DROP

. }4 D6 v+ n$ E. L5 W& l# t( O这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

* ?1 ]- o# Z) P1 h4 ^3 P. W. g9 X应该怎么禁止百度蜘蛛来爬呢？

davidc

2 d- [3 Q% j) H2 N3 Z4 H" A用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
$ y7 _& f2 P+ M; H# v; K我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

$ b% i$ A2 b+ S; S( O蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

& ]9 y  d  m; U5 N# j  e( t

davidc 发表于 2015-4-20 00:49
. X/ k0 R" t0 B# L2 E5 T7 P& ~% z/ h7 }蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

( U0 b6 b" s9 _% W2 H那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
8 |9 U1 q0 R2 _1 A& Q- v那你确定蜘蛛来自于这个段？

- A9 i; _3 j0 y7 E是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到



: Q$ ]( }+ C0 `( b7 k9 j4 z类似的该段ip一堆一堆的
% l% I) j, I- H& O. Q) V* V; P
  x  k9 A! Y1 f' ^# k, h/ V# oiptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
' ]+ A5 i8 D9 p2 E" R

123jj

sanp 发表于 2015-4-20 10:12
: p  `8 U$ w# f4 d1 L( Hiptables保存了没？
. Z- \, V* A9 A4 P2 z4 R: Y# ]再执行一下这个命令 iptables-save 看看

' h2 [$ J8 `  P, s应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
; Y9 L4 |" |; O! E& g) n
0 i6 e# ]! V' Z( [我现在都是直接用csf了

iptables 的命令都忘的差不多了

$ [- Z5 i6 X: k6 E% s你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

我现在都是直接用csf了

7 f5 X7 o6 i6 }# }; t" Z' z+ a谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
% S# `) w0 H6 F/ s7 a) s- D2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配