iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP
4 f  D% R  P- E$ `1 t* h' A; m* {
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

/ w7 v6 D- j! a3 v) H6 d9 |3 h2 O" V" k" H应该怎么禁止百度蜘蛛来爬呢？
! v6 d$ X2 Y7 {

davidc

4 w, J7 z+ x6 r4 R用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
, w; \: c' c2 r1 D( G/ ?$ T用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
$ C0 G; t" j, A# i我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
6 S" ^6 m. ~9 R蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

, A+ a  b1 [/ l0 F# W谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

: X- U7 D/ u5 b- x2 l那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
( v: w, Z& W$ z( \再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
7 A( @% O& d$ j9 N6 x; o那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
1 T' J' H0 Q& I" n0 t
  f) w  O$ @0 p" M) u

( h2 t7 Y- W2 @+ [类似的该段ip一堆一堆的
9 J$ d* p2 ~  |9 `- V
6 o7 F( m! u/ F4 I7 i$ B: O/ eiptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
5 W, ?2 P& q6 u5 a

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
# ~5 U0 c' a# n是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

我现在都是直接用csf了

iptables 的命令都忘的差不多了

3 h3 z( X" m$ \2 v你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
* s' t6 x* N0 a: E: aiptables 还是很准的
! t; N- o, ]3 Y( U
+ }4 C" {8 G2 J- U( J我现在都是直接用csf了

% I3 k. N" Q7 `- G; i; p谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
: c6 z" F# s3 Y$ X7 F4 a0 I2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配