iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

- |6 h0 U. R1 Q' [$ O* |7 c6 \iptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

/ k; h( G+ A# p: S7 c8 w应该怎么禁止百度蜘蛛来爬呢？

davidc

5 d( R- |+ R& q8 T0 R7 I用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
, L; o2 [% w* m5 M' f用robot.txt直接禁

9 R9 u8 d( X; s2 x" G& W我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
& @4 q  O* c$ ~2 M( L! V/ d我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

! D4 _  w& Y) B& l- T5 \蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

; {5 ^/ y+ }& Z4 R& p

davidc 发表于 2015-4-20 00:49
) i% B5 W+ K* H( m/ a蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
; n2 a3 h, o4 D. t  J* ~2 S! k谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

$ `( o9 h+ w, ?5 a$ u4 |那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

6 d9 ^2 l$ L3 A/ q
# ^0 Z- Z7 ^5 l' e6 |5 V% B
类似的该段ip一堆一堆的
8 @. k! w0 V* _: w; a3 j
0 J7 h9 o- j( s; f3 L) A, B  Hiptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
7 j0 u/ }5 t- z- ~  x, Viptables保存了没？
8 ~: ~0 \" z; P$ @  d再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

- K+ z4 n. N6 |' ^+ t8 w' u" giptables 还是很准的

! n% m+ F8 i+ e& h1 Z  K8 c! _我现在都是直接用csf了

; ?( a1 q  T5 M) J% iiptables 的命令都忘的差不多了
1 b; G- E; ~* i, X
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的
: @2 t7 \0 A7 }5 D$ w
我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配