iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
, d2 ]) i+ U. u9 N8 H
+ t! X6 I0 a4 U2 P' G5 _7 w. c  ]应该怎么禁止百度蜘蛛来爬呢？

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
  V4 K: a6 p4 l用robot.txt直接禁

6 z" i" Q( k/ ^; T: \我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

. z' ]# R6 q' X& ?( i$ D蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
9 y! R, k$ I7 l$ \- ?" o% L% n蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
2 }7 \& W( o  s9 E4 m谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
: T4 U1 L6 V, j0 B! G再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

4 M: @6 K8 O  ]5 v# v; ?是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
* z6 L6 L/ j( ^! Z& A: ^! G; V# ]


! _6 j( [7 t0 ]8 w$ J类似的该段ip一堆一堆的

* Y( f$ J4 M' |iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
! n7 D) \. S! y' K9 X, b再执行一下这个命令 iptables-save 看看

( V4 w1 E8 C* a4 D  S( {! p# a应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
$ @/ ^/ v; G# W' M* b
我现在都是直接用csf了
0 G) o9 v$ b7 k$ @
/ ]- N" i4 W; Y3 A; l& aiptables 的命令都忘的差不多了

你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
* ~/ K$ o3 K1 o5 P; @iptables 还是很准的
4 |/ X& O: m: ~0 V/ N
我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
' T; n6 \+ G: D' @% |2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配