找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 12273|回复: 12

[讨论] iptables 禁止了百度蜘蛛,为什么还能爬我的站?

[复制链接]

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
发表于 2015-4-19 22:57:49 | 显示全部楼层 |阅读模式
用iptables 禁止了百度蜘蛛(爬得最频繁的一个段) 123.125.71.*
' c# G- L  @8 _6 M$ m6 l3 `; R7 |! @! k0 W
iptables -I INPUT -s 123.125.71.0/24 -j DROP
' d3 l3 P% L' v" ?
/ e# `, B; P# W2 t这应该没错吧,换成本地的ip段有效的,直接就访问不了,但是貌似禁止不了百度的蜘蛛啊,还是一堆的蜘蛛被统计到~~ 用的是statcounter。- v: c4 H0 {- Y1 N9 G& S! l
7 \5 k( `2 ?  q3 r& O5 O  Y+ p
应该怎么禁止百度蜘蛛来爬呢?: u! l! ^/ Y. p3 H
相关帖子
Binom_AdvertCN
回复

使用道具 举报

5

主题

36

广告币

222

积分

初级会员

积分
222
发表于 2015-4-19 23:50:11 | 显示全部楼层
! i& Y$ w7 g* k( q- M  v4 U
用robot.txt直接禁

点评

我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁止其他一些特殊的ip段,所以才有这个疑问,怕其他的也没有效果  详情 回复 发表于 2015-4-20 00:22
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 00:22:13 | 显示全部楼层
davidc 发表于 2015-4-19 23:506 u% b8 |( z( V: m) _
用robot.txt直接禁
: `/ G2 B) v" M
我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁止其他一些特殊的ip段,所以才有这个疑问,怕其他的也没有效果

点评

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.  详情 回复 发表于 2015-4-20 00:49
回复 支持 反对

使用道具 举报

5

主题

36

广告币

222

积分

初级会员

积分
222
发表于 2015-4-20 00:49:09 | 显示全部楼层
123jj 发表于 2015-4-20 00:22
( }% ]  q: Z1 U0 [8 j0 Z" Z我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁 ...
4 \: t. u. g7 ?+ J2 J, Q. ~
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

点评

谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用  详情 回复 发表于 2015-4-20 00:57
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 00:57:33 | 显示全部楼层
本帖最后由 123jj 于 2015-4-20 00:58 编辑
3 Z& W% p5 d/ N8 S: X: F3 v. A
davidc 发表于 2015-4-20 00:49' O' F) K4 A* ~
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.
' j: T: p7 O- J' a! X" m/ ^: N
谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用,而刚好那个ip段是百度蜘蛛,用iptables 屏蔽了还能统计得到。

点评

那你确定蜘蛛来自于这个段?  详情 回复 发表于 2015-4-20 01:49
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2015-4-20 01:49:10 | 显示全部楼层
123jj 发表于 2015-4-20 00:57
- N* o' S; c5 {9 @( r谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用,而刚好那个ip ...

% d8 b1 b  E! O/ `& a: d那你确定蜘蛛来自于这个段?

点评

是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到 [attachimg]11460[/attachimg] 类似的该段ip一堆一堆的 iptables是不是屏蔽不了蜘蛛,bot类的ip?这是比较疑惑的地方  详情 回复 发表于 2015-4-20 15:36
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

2

主题

1786

广告币

1774

积分

高级会员

积分
1774
发表于 2015-4-20 10:12:25 | 显示全部楼层
iptables保存了没?
) e: A5 N1 }9 Z( m再执行一下这个命令 iptables-save 看看

点评

应该没问题,执行 iptables --list 可以看到  详情 回复 发表于 2015-4-20 15:38
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 15:36:39 | 显示全部楼层
河小马 发表于 2015-4-20 01:49- r4 }! j4 g/ @: R+ C# o0 ~
那你确定蜘蛛来自于这个段?
. S$ c4 Y# e3 a: l6 v+ r
是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到9 i$ S  F/ @2 A! C5 O% [) e$ v( A6 C

* W" Q4 t! b4 P; ?
1 n6 ~+ S, |. k7 g# T
0 D* j5 [8 Y0 N+ j9 k类似的该段ip一堆一堆的2 _! M1 A( C, i2 N8 J% K; m( w
$ R# D! t, I% w* ?; a+ h2 O5 Y' R
iptables是不是屏蔽不了蜘蛛,bot类的ip?这是比较疑惑的地方3 s% {+ D  I& l/ Q: _# P

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

点评

iptables 还是很准的 我现在都是直接用csf了 iptables 的命令都忘的差不多了 你不彷安装个csf 来处理ban ip的问题  详情 回复 发表于 2015-4-20 20:13
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 15:38:07 | 显示全部楼层
sanp 发表于 2015-4-20 10:12
- W' b2 z, [4 ?iptables保存了没?
/ u, n3 q9 J, q8 i再执行一下这个命令 iptables-save 看看

( a* q9 S$ K) _3 u5 r, W% o应该没问题,执行 iptables --list 可以看到
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2015-4-20 20:13:10 | 显示全部楼层
123jj 发表于 2015-4-20 15:36- m' t& K4 |  ]6 [. b3 R: F3 }4 I1 f
是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到
- c. l  g9 f8 F6 n# y' B7 [
iptables 还是很准的, D7 _1 s+ h/ {6 }

& h* ^7 {, j6 ^3 h5 `我现在都是直接用csf了' Q6 f( {7 [: n, k

9 U" ~1 [& T1 J0 r5 aiptables 的命令都忘的差不多了
8 d# j+ ?- ]- y) @& X! k) Z. I, m4 L# K0 e. k: l! J$ ?
你不彷安装个csf 来处理ban ip的问题

点评

谢谢,我去试试  详情 回复 发表于 2015-4-20 23:09
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 23:09:37 | 显示全部楼层
河小马 发表于 2015-4-20 20:13
9 M- U4 }# S, y3 f  Aiptables 还是很准的
$ q' M& o% f; `3 W" B
) |% u2 m; Y+ p( v我现在都是直接用csf了

1 a- W  R1 E) c谢谢,我去试试
回复 支持 反对

使用道具 举报

maro666 该用户已被删除
发表于 2015-4-21 13:44:26 | 显示全部楼层
百度蜘蛛很多ip段的吧
回复 支持 反对

使用道具 举报

13

主题

1674

广告币

4123

积分

金牌会员

积分
4123

社区QQ达人

发表于 2015-4-23 15:01:29 | 显示全部楼层
1.IP段非123.125.71.0/24
% C* c' w' w* h+ X: V9 J2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 20:01 , Processed in 0.072171 second(s), 31 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表