找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 12272|回复: 12

[讨论] iptables 禁止了百度蜘蛛,为什么还能爬我的站?

[复制链接]

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
发表于 2015-4-19 22:57:49 | 显示全部楼层 |阅读模式
Influxtec
用iptables 禁止了百度蜘蛛(爬得最频繁的一个段) 123.125.71.*4 W( P1 |5 w" }1 P  A  \, }

  C, u% [# ]/ M7 E$ U+ P* Siptables -I INPUT -s 123.125.71.0/24 -j DROP
8 {  ?* S+ D" w9 q' u  i- k- F
0 R2 t4 [% Q8 O/ Z9 H( i这应该没错吧,换成本地的ip段有效的,直接就访问不了,但是貌似禁止不了百度的蜘蛛啊,还是一堆的蜘蛛被统计到~~ 用的是statcounter。
6 h% \3 n; k/ v7 q7 u# h( V4 Y) q
+ v/ y6 r# H; v7 ]' Q7 J5 S+ d3 F应该怎么禁止百度蜘蛛来爬呢?+ d2 x" V# a0 x0 r8 k- s
相关帖子
Binom_AdvertCN
回复

使用道具 举报

5

主题

36

广告币

222

积分

初级会员

积分
222
发表于 2015-4-19 23:50:11 | 显示全部楼层

5 Y" p+ h0 }) b0 ~* x用robot.txt直接禁

点评

我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁止其他一些特殊的ip段,所以才有这个疑问,怕其他的也没有效果  详情 回复 发表于 2015-4-20 00:22
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 00:22:13 | 显示全部楼层
davidc 发表于 2015-4-19 23:50
! W$ l2 D" w* y+ s% D9 K用robot.txt直接禁

% i, O, ^- k0 E. s3 N+ |我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁止其他一些特殊的ip段,所以才有这个疑问,怕其他的也没有效果

点评

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.  详情 回复 发表于 2015-4-20 00:49
回复 支持 反对

使用道具 举报

5

主题

36

广告币

222

积分

初级会员

积分
222
发表于 2015-4-20 00:49:09 | 显示全部楼层
123jj 发表于 2015-4-20 00:22
  d1 O' v8 c/ s9 F4 ]8 W7 m$ r我知道可以用robots.txt,还能用一段php代码禁止,但是我想的是用iptables为什么禁止不了,因为我还要禁 ...

" ^  T- J! [5 S' H3 z& b蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

点评

谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用  详情 回复 发表于 2015-4-20 00:57
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 00:57:33 | 显示全部楼层
本帖最后由 123jj 于 2015-4-20 00:58 编辑
: G( a: R+ X6 A! e. ^) X
davidc 发表于 2015-4-20 00:495 p& w0 w% E6 w/ b  w1 Y
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.
6 ]7 w7 ?" V2 m; y. M& [
谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用,而刚好那个ip段是百度蜘蛛,用iptables 屏蔽了还能统计得到。

点评

那你确定蜘蛛来自于这个段?  详情 回复 发表于 2015-4-20 01:49
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2015-4-20 01:49:10 | 显示全部楼层
123jj 发表于 2015-4-20 00:57
% q+ U. }' y. W谢谢,我不是要屏蔽所有蜘蛛,是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用,而刚好那个ip ...
8 j( Z1 H" @5 _8 h+ g
那你确定蜘蛛来自于这个段?

点评

是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到 [attachimg]11460[/attachimg] 类似的该段ip一堆一堆的 iptables是不是屏蔽不了蜘蛛,bot类的ip?这是比较疑惑的地方  详情 回复 发表于 2015-4-20 15:36
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

2

主题

1786

广告币

1774

积分

高级会员

积分
1774
发表于 2015-4-20 10:12:25 | 显示全部楼层
iptables保存了没?
0 h1 o0 b' P8 ~* o, q- K1 p+ N- r3 u再执行一下这个命令 iptables-save 看看

点评

应该没问题,执行 iptables --list 可以看到  详情 回复 发表于 2015-4-20 15:38
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 15:36:39 | 显示全部楼层
河小马 发表于 2015-4-20 01:49+ [8 @' ~% k5 G/ i; F: v+ F
那你确定蜘蛛来自于这个段?

4 z% q9 `1 Y, T7 Z是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到
9 T4 G' h5 E, g% N6 w1 B7 B' [3 G0 A" _! T! `, K
: M+ k5 A: H  u/ g: @- C2 p! S1 h

6 y; K1 V  `6 y4 u类似的该段ip一堆一堆的
3 H5 k7 y, O6 x1 ~- s
7 x! W, x! w# G) i4 W( i5 D+ A0 [- ]iptables是不是屏蔽不了蜘蛛,bot类的ip?这是比较疑惑的地方& R5 X) N  B9 U) i

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

点评

iptables 还是很准的 我现在都是直接用csf了 iptables 的命令都忘的差不多了 你不彷安装个csf 来处理ban ip的问题  详情 回复 发表于 2015-4-20 20:13
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 15:38:07 | 显示全部楼层
sanp 发表于 2015-4-20 10:12
$ |- L1 f  x+ P% Niptables保存了没?
! ^9 u2 }0 i1 p, J& x' _再执行一下这个命令 iptables-save 看看
! \1 D) D1 Y6 f  i8 Z% T
应该没问题,执行 iptables --list 可以看到
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2015-4-20 20:13:10 | 显示全部楼层
123jj 发表于 2015-4-20 15:36/ Y0 g- A6 n- q/ O
是啊,这个段是百度蜘蛛的其中一个段,我用iptables屏蔽了这个段,还能统计得到

) o* I; x  k/ v( w: K" Giptables 还是很准的4 P2 f5 D( n6 N! T0 ~* u* @
# E( S2 O  b/ E- ~6 j5 @4 I
我现在都是直接用csf了
9 z0 v% L$ p) T! Z1 ~2 W/ V+ T2 p5 C
2 Z. }$ |2 V) m7 R& b4 M8 eiptables 的命令都忘的差不多了
4 q# i; A" L9 x) l9 c# p
, J3 \: H7 h9 S1 V$ M你不彷安装个csf 来处理ban ip的问题

点评

谢谢,我去试试  详情 回复 发表于 2015-4-20 23:09
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

10

主题

1311

广告币

2269

积分

高级会员

积分
2269
 楼主| 发表于 2015-4-20 23:09:37 | 显示全部楼层
河小马 发表于 2015-4-20 20:13; C9 a6 [# @- h  X% C) Y: G6 P( o
iptables 还是很准的+ ?+ O) j/ P- i& Z  D5 a
/ _% ]. F" Q7 M$ z
我现在都是直接用csf了
, f+ M0 L7 a) Q  V  t  Y* `
谢谢,我去试试
回复 支持 反对

使用道具 举报

maro666 该用户已被删除
发表于 2015-4-21 13:44:26 | 显示全部楼层
百度蜘蛛很多ip段的吧
回复 支持 反对

使用道具 举报

13

主题

1674

广告币

4123

积分

金牌会员

积分
4123

社区QQ达人

发表于 2015-4-23 15:01:29 | 显示全部楼层
1.IP段非123.125.71.0/24
/ D; H6 g# N' Y! G; |2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 20:00 , Processed in 0.074064 second(s), 31 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表