iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
- N2 l& ~/ b6 L6 c- ~+ a
3 x/ i, k5 u# I0 {8 S& v5 ?iptables -I INPUT -s 123.125.71.0/24 -j DROP
& R0 f0 ?7 }1 U" Q
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
) I% M9 T" l* i$ |
$ ^& B7 J0 o0 V3 u应该怎么禁止百度蜘蛛来爬呢？

davidc

; Y- I* c# U3 }' m) L; `用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

6 D6 W5 a4 P2 _# X$ n我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
1 ]2 {3 `- F) f9 ?( H我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

% Y6 x7 w5 J  t9 s8 N蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

6 ~/ N& I  v& X/ B/ B0 j5 M8 X

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

* b4 @* ]; d% ]8 m2 Q' G谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
) M6 H* a3 Q2 h) _- S那你确定蜘蛛来自于这个段？

  P( ]' c5 {, }: s是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到


$ [0 k3 B; k5 m
类似的该段ip一堆一堆的
3 {: D5 j7 J2 ], L4 _
$ w6 C8 F  X, M$ Ciptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
4 L+ a+ b: r9 q* X" Q% h1 q是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

0 H8 i" b  }8 @iptables 还是很准的
; B  Z. q6 c1 Z3 d. _
' S' a2 X5 g" S# _; y% P我现在都是直接用csf了
! s" ]. O& E4 X& Z9 w+ w1 [0 T# Q
iptables 的命令都忘的差不多了
6 W$ L0 I$ v/ z% S
" w! Q5 T8 O) D: ^8 y你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
, l+ \* L; y1 P, t$ S$ yiptables 还是很准的
; N% Z, l& G  }
我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配