iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
2 R& J0 M1 ?9 ^1 d' @% t
iptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
# X# q8 E! c2 f5 d: a
应该怎么禁止百度蜘蛛来爬呢？

davidc

6 m( Y' o/ [3 l9 Q0 q8 T用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

  m7 V0 K7 ^5 B8 }; p我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

/ m5 T" [* M5 I* C# B6 B/ P! y

davidc 发表于 2015-4-20 00:49
8 F1 a% }4 V3 _2 Y蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

) `5 K: b9 ?  p# y谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
$ V9 Q  U8 H5 d! O% f- y1 A" h& O谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

% e+ ~( f* U" s3 q那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

# T# L/ c" J2 H: H3 H1 `是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
! ^8 {4 R  T; Z) [# `% ?+ K1 i


类似的该段ip一堆一堆的

. n2 T8 ]1 J; c( miptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
0 O; q$ G' r  n9 O
, M7 F( c' o% B8 A我现在都是直接用csf了
$ O& |7 B3 x$ L  M+ c
, `1 W3 _, J  T. N) p2 f# @6 ]iptables 的命令都忘的差不多了
0 x% E8 d) X6 R5 @2 X8 E0 `; a
0 k0 c; s  I; N8 T& C9 q你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
8 L7 g( N1 t4 _4 [iptables 还是很准的
; [" `5 h! I3 l* A# Q
# l' E  ^" D8 S8 ^; T我现在都是直接用csf了

6 q, J% C3 p( h4 Q4 r谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
- H: \0 D9 i1 x& w( ~- I5 W; L+ n2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配