iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

7 [* U' J$ X) G* |4 t! hiptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

应该怎么禁止百度蜘蛛来爬呢？
9 i, Q3 c2 V  }, ~6 Y

davidc

8 \* ]) S. c6 a3 j9 {" k5 t用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

# [' x0 q( O* Z8 T9 J7 y/ U* @6 a, y我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
6 w  B: {, I3 \  z; X7 s我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

3 Z1 K) C6 N  q3 M2 H! u9 R! d

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

  m% |5 j1 ?6 g( ]' R谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
1 M2 a2 P- U$ F4 g, ~谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
  ]" W* t! s3 d6 u5 o
0 x; C/ X& C* t+ }5 L
) _. |4 J0 R6 ]7 n' y7 c9 _+ B2 N3 y
  [' ^  [6 X' x4 S# W5 S) @' `4 A9 y类似的该段ip一堆一堆的

; N% H+ W  o3 Ziptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
/ F9 a7 S& _+ V& }$ iiptables保存了没？
再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
0 [/ W+ ^8 s- Z# I是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

8 j3 Z. m9 ?. B$ N) biptables 还是很准的

$ C6 @( O- x/ G5 w0 y4 a6 E( v- E9 r我现在都是直接用csf了

$ L8 W9 D& V! c+ Biptables 的命令都忘的差不多了

3 [5 ~2 q+ F/ L6 G1 H# m你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
( ?3 ~& F& [( ]3 P+ l4 K: biptables 还是很准的
  k( B4 ~: N$ s
我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配