iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

9 t" {) e. @1 o; riptables -I INPUT -s 123.125.71.0/24 -j DROP
$ ^! L6 M+ N3 l/ k' @; h
" G, W% Z  m4 t( z: h- V* R这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

( I3 Y! s" h) Z* W0 r( \应该怎么禁止百度蜘蛛来爬呢？
( o6 d7 P4 m/ K3 e0 n

davidc

6 I- ]7 q, v+ u( X: I9 o. p: n用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

. z2 g1 S: \9 \, x& C9 _我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

' k- q- T4 |, `# C5 r4 n

davidc 发表于 2015-4-20 00:49
6 M; j$ h8 w# b! p. f蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

: q$ l( m  V2 l  G, [. _, E* l5 Z谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
# ^! S- A* F! b2 k3 h' u5 {' z那你确定蜘蛛来自于这个段？

1 z9 d; b& z" T& [是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
4 \5 T5 v7 U- i+ V! s, L* {5 ~


3 ^% }# q5 g6 ]' D3 t类似的该段ip一堆一堆的
# l7 w3 u& }) u  |( h
6 i6 `  j8 m$ \3 v- piptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
) w- G% b* J& }4 F) e$ d+ F! k

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

5 x1 K- L* R$ ?* g2 m  t- C应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
& c$ Q" u/ c" R9 o7 l! ~- c2 ^- H
  ?  \! m* ^/ D我现在都是直接用csf了

iptables 的命令都忘的差不多了
/ I9 U3 r* C. }& F- e
( n9 e" k  A0 H; \+ Q# k你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的
  G( [" |% j0 L  q- I& _2 v( S8 T1 S
我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
- i$ v( q4 v: p9 J2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配