iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
, r% X" u- K. T: ]. Q
$ M. c5 u4 q: k3 {  N% ciptables -I INPUT -s 123.125.71.0/24 -j DROP
% s% U+ R* [6 V+ L9 y/ r
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

" {" j- C0 h* h& }& ^- z6 ?' k6 q5 G应该怎么禁止百度蜘蛛来爬呢？

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
9 ^0 V+ ^& q6 k. }& [6 [& d用robot.txt直接禁

& a0 P2 O% c0 W" U4 \6 C+ z# O2 E' ^我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
( r" m9 F) x, x( o( n& H我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
9 h7 {9 j! K, s; L! g- S再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

6 S, T3 C5 o! }! h是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

$ |2 d) _: z( j' S

类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
, E8 v3 e7 y* F8 v. x% m) u

123jj

sanp 发表于 2015-4-20 10:12
. a/ U; ^4 Q6 M& p7 u0 u0 p, h& ~. L: ~iptables保存了没？
( a0 Q; h; m6 d0 H9 R  A6 S2 _1 B再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

3 w* |) b) U5 J0 l我现在都是直接用csf了

iptables 的命令都忘的差不多了

$ i. N* Q; O- C: \' n你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
  A" e7 ?) d" w- J- ~6 Uiptables 还是很准的
8 W9 \; w% T; \( z, f4 o$ a4 f
我现在都是直接用csf了

# d, |. |* O0 s" G# E  k4 s1 P+ }, v谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
: V% J4 b3 _% D9 U8 m! j# R2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配