iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP
' J: s# }  ]# ?8 Y% y8 b0 K  t
$ m: S. Z; g  y/ r3 m5 V这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

- H2 P( C, p9 A. I应该怎么禁止百度蜘蛛来爬呢？
7 @0 U' U% D9 ~3 @

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
: z( X  W) Z" v" T$ D5 m用robot.txt直接禁

! K- J1 P% {2 j) n我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
& J9 F8 I( v+ U4 s- Z我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

4 ^+ g% p0 @5 j0 _( f/ ?7 g: U蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

" d  @3 P: A) d谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
" m/ i8 a3 Q1 S0 ]1 ~5 ^谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

1 ^; {. u; U6 g6 G; {那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
  N' F" A  G) U: x- _7 M; _( \0 O再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
6 w, J1 Y) B" R' M那你确定蜘蛛来自于这个段？

$ k1 a" N* B" D& Y* A是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
' N/ ]) X' d) U' l* q2 f) e- I

3 k) [4 N( l' ?) f' e5 ~, Y% R  G
" n7 R" q7 X, l! I" s1 _& Z1 \& a: |类似的该段ip一堆一堆的
( f9 B  y# {6 @& v, E
iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
- P- E( Z8 I8 W, d

123jj

sanp 发表于 2015-4-20 10:12
7 Q1 O7 j' B' L0 w' |iptables保存了没？
8 S* N. t3 r) N9 q* A% K2 p* z再执行一下这个命令 iptables-save 看看

9 D' K+ n6 q) K  t' |应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
' l' u. l6 t: a! ~+ T是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

! q, E0 I5 L! r/ qiptables 还是很准的

我现在都是直接用csf了

# {& N: k* p/ B$ }" `' ~iptables 的命令都忘的差不多了
5 x: K3 Q+ ^" E$ o" V( v0 Z- P
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

我现在都是直接用csf了

7 H, P* V) t/ N' c% \" h! s# H谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配