iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP

" T& m6 [! }- k& y8 w! }1 `这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

应该怎么禁止百度蜘蛛来爬呢？

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

- C, k4 b, X7 f  x8 A我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

! H! Y- W& |4 [! z8 N6 a4 X1 V9 U蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
2 q9 u; V5 m/ J' h  L: S) I蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

0 q; h! A5 O4 `) d- u; m( ?谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
7 e4 }; G! S. i9 Q4 U% O, U7 B( z4 }谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

" E3 B  B6 ~. A) d. v8 h7 ~0 ~那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
( R8 t" w, j$ i那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到



类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
! w6 K, g* ~0 y, }; X+ a* y

123jj

sanp 发表于 2015-4-20 10:12
6 N) A. N/ t- n$ Piptables保存了没？
9 y) e) Z# H2 K7 I再执行一下这个命令 iptables-save 看看

: j# b# {& H; G$ ^. V+ K$ m( `9 D应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
6 n  w' w- M& I是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

5 J; `- F! x+ {# J3 K- t我现在都是直接用csf了
# ~+ z7 i, M  i" f
iptables 的命令都忘的差不多了
. E/ A5 q- j5 S( V* T0 C
: `" n) n, n; M8 X! h" \你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
; e9 g$ Z8 H1 j* Oiptables 还是很准的

5 e+ s7 h9 U2 t$ \2 Y- N  N( b我现在都是直接用csf了

2 W8 f" ~1 K" Z6 M谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配