iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
) X4 }( K. W" F3 I4 s9 w% z
" r: ]) M1 j: V( \& }" S' B/ biptables -I INPUT -s 123.125.71.0/24 -j DROP

. U7 Z5 A3 k* u9 O: V7 Z1 j这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

% {7 M0 ?' w6 V. R$ f! ^  [+ [应该怎么禁止百度蜘蛛来爬呢？

davidc

6 W" R) I: b5 v  G" m$ O用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
! S( s2 H' i& L' b用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

$ [. M: b, a! U* j$ m6 W蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

) B9 A! j/ h; o" z

davidc 发表于 2015-4-20 00:49
& _& I4 [- M$ {2 ?, G  `1 i蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

5 O" R4 O0 |9 e1 t5 B3 f谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
8 t+ H+ I- Y2 z4 `0 H  Q# K谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
7 F7 a- r3 y4 J* J0 ]) y0 t再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
5 K& G, C  Y5 F, U5 e9 Y$ }  W那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
) ]" }7 V2 w5 Y# Z* F) ?( N

/ A/ l, b9 M& H! d" e5 J
6 Y9 E$ e7 F* u* g$ Y  |9 t& q" q类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
, A1 O# q( K' X9 P; z

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

我现在都是直接用csf了
& J( c9 ]3 \( _/ f8 x8 U
0 O$ O" J1 H' q  Tiptables 的命令都忘的差不多了

- `# r3 g: [3 k' J8 Q你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

我现在都是直接用csf了

4 {. D0 `9 i4 Z( S, ^谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
% n1 e- k' e8 O9 F, u# ^2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配