iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
4 i" o4 _7 r# Y/ m: M/ q
iptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

6 V) H5 a+ q, \  Z5 O% N1 O: G. J' O9 D应该怎么禁止百度蜘蛛来爬呢？

davidc

" C' O" u- p* ~6 f! y用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
9 @1 ]( `# D3 o1 n用robot.txt直接禁

; j( _- x7 d6 F+ k8 N我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
9 Z+ T# u8 L+ h1 z/ W我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
7 {& ?9 T- [3 r* f2 f% k! ~2 i谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

7 p+ C/ e$ ~; s那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
3 I/ V- M7 E" Q9 k3 G再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
, `+ w. v2 @$ ~% p& \7 `& y那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
$ y, t$ f2 n! `( f. J


类似的该段ip一堆一堆的
% R* T( m9 t# \1 e/ C' E' ]% O+ N
iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
6 C4 k" x; X! a

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
: O6 }- n& W* G  `6 b! k, A: P再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
- c! C+ L, }* b8 |是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

0 x. \8 ?2 K' F# n我现在都是直接用csf了

: [- B& A9 j$ i0 F6 _iptables 的命令都忘的差不多了

你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
0 B! n7 ~6 ?6 i( @$ o: e9 qiptables 还是很准的
$ B% B7 p7 v+ Y& t
我现在都是直接用csf了

# W! E6 V3 [  D. u1 F# x谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配