请选择 进入手机版 | 继续访问电脑版

AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理泰国仓储,本土仓发货2-3元/单
指纹浏览器,就用AdsPower谷歌/FB/Bing/Yahoo代理商开户7200W全球动态不重复住宅IP代理全球优质流量,选TrafficStars
出售Facebook,友缘号,FB广告号,insFB/TT/KW 加白开户比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN
FB不限额广告号MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量
百度国际MediaGo,独家原生流量虚拟信用卡+独立站收款行业首创新型指纹Cloak, 谷歌奇效!BINOM TRACKER 60% OFF!
Kookeey⚡️100%独享⚡️原生住宅IP⚡5000W动态住宅全场8折⚡全球虚拟卡, 支持U充值谷歌/Outbrain/Taboola⚡️一键开户
FB极速下户/白名单/不收费Affiliate站外引流服务⚡️极速出单免账户投放 FB 广告(送项目)2024做什么 - Media buy 项目库
免费黑五教程(持续更新、欢迎交流)Facebook 批量上广告Facebook账号1块一个各种主页、账单户、BM户(优势)
⚡️个人户,bm户不限额,账单户Adsterra 的CPA/CPM/CPC 网站流量在线注册美国/英国/香港等海外公司EU KETO/CBD - Jumbleberry
【YouTube】油管获利号交易平台三不限/账单户/BM不限额/直播主页FB二三解1元/个9Proxy ⚡️ $0.04/IP, 无限带宽
最佳Health和Beauty联盟广告位出租全球低价纯净住宅/移动IP-免费试用广告代投, 东南亚物流, 虚拟信用卡
VMLogin指纹浏览器+多账号防关联   
查看: 2517|回复: 5

apache怎么屏蔽垃圾爬虫

[复制链接]

27

主题

322

广告币

471

积分

中级会员

Rank: 3Rank: 3

积分
471
发表于 2021-8-5 20:45:10 来自手机 | 显示全部楼层 |阅读模式
adsterra
一批站群,最近被各种垃圾爬虫爬的cpu和磁盘io居高不下,想问问大佬,apache怎么用有效屏蔽这些垃圾爬虫。

找了几个httpd.conf屏蔽bot UA的方法,貌似不起作用~

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
相关帖子
回复

使用道具 举报

8

主题

58

广告币

196

积分

初级会员

Rank: 2

积分
196
发表于 2021-8-5 21:09:19 | 显示全部楼层
通过Apache  .htaccess屏蔽垃圾蜘蛛

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} "^$|^-$|MSNbot|Webdup|AcoonBot|SemrushBot|CrawlDaddy|DotBot|Applebot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|DingTalkBot|DuckDuckBot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Barkrowler|SeznamBot|Jorgee|CCBot|SWEBot|PetalBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|EasouSpider|YYSpider|python-requests|oBot|MauiBot" [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]



Nginx 禁止



    #禁止Scrapy等工具的抓取
    if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
      return 403;
    }
    #禁止指定UA及UA为空的访问
    if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
    {
      return 403;
    }
    #禁止非GET|HEAD|POST方式的抓取
    if ($request_method !~ ^(GET|HEAD|POST)$) {
      return 403;
    }

点评

回复的好快啊,一会试试  详情 回复 发表于 2021-8-5 21:13

评分

参与人数 1广告币 +10 收起 理由
朝阳风雨 + 10 赞一个!

查看全部评分

回复 支持 反对

使用道具 举报

27

主题

322

广告币

471

积分

中级会员

Rank: 3Rank: 3

积分
471
 楼主| 发表于 2021-8-5 21:13:19 来自手机 | 显示全部楼层
loquat 发表于 2021-8-5 21:09
通过Apache  .htaccess屏蔽垃圾蜘蛛

RewriteEngine on

回复的好快啊,一会试试
回复 支持 反对

使用道具 举报

21

主题

456

广告币

634

积分

中级会员

Rank: 3Rank: 3

积分
634

社区QQ达人

发表于 2021-8-5 21:30:16 | 显示全部楼层
留名备用
回复 支持 反对

使用道具 举报

1600

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
28500

社区QQ达人

发表于 2021-8-6 09:20:17 | 显示全部楼层
很多爬虫不尊敬robots.txt的

所以直接按照UA来屏蔽就可以了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1

主题

227

广告币

408

积分

中级会员

Rank: 3Rank: 3

积分
408
发表于 2021-12-26 13:19:17 | 显示全部楼层
好好的英文站被360,阿里云天天爬,要不直接屏蔽国内ip?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-3-29 20:00 , Processed in 0.049342 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表