iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP

+ X: q6 Z  P* o1 a% r7 \0 j& d3 `这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
- S$ q, n! o+ u  Y* }- W
应该怎么禁止百度蜘蛛来爬呢？

davidc

  r2 s0 ~5 |0 P. r" s用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
/ s2 z5 G  H: I  C' a. K, D! A用robot.txt直接禁

2 i" F+ p  \; p9 H* ~, N我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
& a) q2 p7 Q! a6 j2 {) i我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

2 x. _! R8 w8 s: @蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

; s* {# t* ^9 f9 e+ D! F

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

8 U: A( N+ X& r/ k5 f) e! V谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
, d4 ?" l* p% c3 [" W; u谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
& s4 x- G4 ^9 U- K$ ~那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
7 d- a! q. D  W7 t8 c0 {
, }5 `; |, B1 z

类似的该段ip一堆一堆的

& n9 B# \* Q, K7 `1 R  q3 liptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
* j$ v9 Y/ }. E! h" J

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
* T) m' X: Y4 C1 Y1 B! _# D7 J- O2 P3 w再执行一下这个命令 iptables-save 看看

5 o" D; G  P" v/ e3 _应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

; I: G/ C) [1 |/ z# V/ m8 p- m' B7 diptables 还是很准的

# \& j9 y% a' ^, a. N- r9 Z我现在都是直接用csf了

0 X: Z# E# W- a3 k" R$ ziptables 的命令都忘的差不多了

你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

我现在都是直接用csf了

% D7 `& g" q  |* F( ~# k& E谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配