每天 700 百万请求，Facebook 的爬虫把我的小破站拖垮了

ronse · 发表于 2020-6-13 00:01:35

今天 HackerNews 首页二条热帖有意思。

Francesco 是个程序员，为了做些 SEO 试验，他搞了一个小网站（PHP + 400kb 的 SQLite db），能生成千上万的不同文章，每篇文章上都有 Facebook 的分享按钮。

小破站托管在一个便宜的 VPS 上，但每天都要遭受 FB 爬虫超过 700 百万次的请求，所以经常宕掉。

而 FB 的文档对禁止其爬虫木有帮助，所以作者在文中呼吁：如果 FB 爬虫工程师能看到，请不要忽略爬虫的基本礼节。

要是下次你们的爬虫在托管在 AWS 上的网站瞎搞，说不定站长会要求赔偿损失。

https://news.ycombinator.com/item?id=23490367

朝阳风雨 · 发表于 2020-6-16 10:21:18

这个有点恐怖了吧，很少有网站能够抗住这个量级的抓取。。。

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	FB BM不限额，短id账单户
BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理
虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放
免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户
IPCola原生住宅IP⚡️$1.8/条双ISP	提供TK企业新户老户、谷歌新户老户	PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多
最大欧洲Nutra网盟BA找量	FB稳定代理/住宅IP/ADV50打五折	FB个号1块一个	寻找顶级电商？AdsBranded等你！
TK老户/国内外端口/预审/加白	SX.ORG 高质量代理⚡235+ 地区	GG,FB,TK, 欧美源头, 欢迎合作	广告位出租
8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

[SEO] 每天 700 百万请求，Facebook 的爬虫把我的小破站拖垮了

浏览过的版块

社区QQ达人