iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
9 N  o1 y9 q$ w2 N& `% ~. E
- B0 Q- G- Q% q) e# C' |* _iptables -I INPUT -s 123.125.71.0/24 -j DROP
; M9 |, d! g# E& K/ n  f, ]. }
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

应该怎么禁止百度蜘蛛来爬呢？

davidc

! U' u* q, ]# N/ i2 M! |用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
3 z9 l# B% g* e% b4 G! |4 D我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

4 B# ^3 G' X5 K' O蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

  c5 D7 y- o% r! m* x

davidc 发表于 2015-4-20 00:49
) C# p% e: X0 D3 G蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
7 s) m/ Q; J; k* Z+ f3 e再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

  h7 i% J* O; T( q3 t# B' R# \是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
. R& N7 O. o: @% G& J; G& \- |
( v3 ]  W% h0 r
9 t9 b" p6 d  u
5 N6 g* g4 S& B  [- A类似的该段ip一堆一堆的
; j( Y) c8 ~) I9 \/ ^. e: t3 ]1 c
iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
+ J  G$ @2 d0 p6 n* f

123jj

sanp 发表于 2015-4-20 10:12
! o- C  x! X( k2 d5 d1 a( Piptables保存了没？
2 k. `" U) W2 h( l7 H再执行一下这个命令 iptables-save 看看

# Z0 Y* g& ^8 B$ s+ @应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

我现在都是直接用csf了

6 }4 ^  p+ v* Z5 }9 i  r& [  biptables 的命令都忘的差不多了
5 i1 u0 d+ e  Y4 u
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
* @# F0 l) c! ~' P+ c$ ?( J; Jiptables 还是很准的

我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
0 t% x8 i$ X) \. ~4 u) U5 W0 D* V- H2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配