阻止常见采集器的robots.txt 代码

高金铜 · 发表于 2016-11-9 00:40:39

转来的我不懂
# No thanks Google

User-agent: *
Disallow: /

# No thanks HTTrack etc

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Web Downloader
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: Leech
Disallow: /

User-agent: WebSnake
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: HTTP Weazel
Disallow: /

michael2016 · 发表于 2016-11-9 12:56:32

这个是没法防的
我是用Nginx Conf文件里去阻止蜘蛛

高金铜 · 发表于 2016-11-9 13:10:40

michael2016 发表于 2016-11-9 12:56
这个是没法防的
我是用Nginx Conf文件里去阻止蜘蛛

是的，没法防，这种只是对纯小白，依靠采集，又什么都不懂得人来说的

		自动登录	找回密码
密码			立即注册

⚡️AdsPower:安全不封号,高效自动化	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️	Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️	Taboola/Outbrain /Bing⚡️一级代理
*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放	FB BM不限额，短id账单户
E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN
7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值	Facebook 批量上广告
尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）
⚡️TikTok企业户，bm户，账单户	FB企业户,TT老户,GG老户源头	海外CL企业户源头	PTM虚拟卡[全新卡BIN+高返点]
PTM虚拟卡[OPENAI+全场景通用]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量	->Tyver SPY汇聚海量广告创意
高质量代理⚡️住宅⚡️移动	广告位出租	8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

阻止常见采集器的robots.txt 代码

点评

社区QQ达人