每天 700 百万请求，Facebook 的爬虫把我的小破站拖垮了

ronse · 发表于 2020-6-13 00:01:35

今天 HackerNews 首页二条热帖有意思。

Francesco 是个程序员，为了做些 SEO 试验，他搞了一个小网站（PHP + 400kb 的 SQLite db），能生成千上万的不同文章，每篇文章上都有 Facebook 的分享按钮。

小破站托管在一个便宜的 VPS 上，但每天都要遭受 FB 爬虫超过 700 百万次的请求，所以经常宕掉。

而 FB 的文档对禁止其爬虫木有帮助，所以作者在文中呼吁：如果 FB 爬虫工程师能看到，请不要忽略爬虫的基本礼节。

要是下次你们的爬虫在托管在 AWS 上的网站瞎搞，说不定站长会要求赔偿损失。

https://news.ycombinator.com/item?id=23490367

朝阳风雨 · 发表于 2020-6-16 10:21:18

这个有点恐怖了吧，很少有网站能够抗住这个量级的抓取。。。

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	各种主页、账单户、BM户（优势）
⚡️TikTok企业户，bm户，账单户	IPCola原生住宅IP⚡️$1.8/条双ISP	FB海外户、GG老户、TK加白老户	海外CL企业户源头
PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量	FB稳定代理/住宅IP/ADV50打五折
FB个号1块一个	TikTok2审户/老户/国内外端口/加白	SX.ORG 高质量代理⚡235+ 地区	跨境债务催收/风险代理
高权重Google老户[卖户+筛户等级]	海外斗篷【智能风控】，过审率95%+	广告位出租	8500万高质量住宅IP，助力各种需求
虚拟卡返佣1%，国内持牌机构

[SEO] 每天 700 百万请求，Facebook 的爬虫把我的小破站拖垮了

社区QQ达人