谈 Web Scraping 伦理，最容易走向两个极端：要么把所有抓取都说成违规，要么把“公开可见”当成“可以无限制复制”。我更愿意从代理买家的角度看这件事：你抓什么、为什么抓、抓多少、保存多久、如何处理拒绝和投诉，应该在技术上线前就说清楚。

这次 NetNut 合规批次里，我把这个主题单独整理成了 Web Scraping Ethics：抓取合规伦理。它和事件报告不是同一条叙事：事件报告关注住宅代理网络发生了什么，这篇则把问题转回代理买家自己的数据流程。

公开页面不等于没有边界

一个页面能被浏览器打开，只说明它对某些访问者公开可见，不代表任何人都可以不受限制地批量抓取、绕过访问控制、收集个人数据或长期保存全部结果。伦理判断至少要看四件事：目的是否正当，数据是否必要，访问方式是否克制，出了问题是否有处理机制。

代理只改变请求从哪里出去，不会替买方承担数据责任。轮换 IP、提高并发、绕过验证码，也不能把不合适的目标变成合适的目标。尤其是住宅代理，买方还应该确认出口网络的来源和授权，不要把“看起来像真实用户”当成无限制访问的理由。

上线前先问五个问题

1. 我们为什么需要这些数据？如果不用个人信息，是否可以只抓公开的非敏感字段？
2. 目标站点是否有 robots、服务条款、速率限制或明确的 API？我们是否优先使用官方接口？
3. 访问量、并发和重试是否足够克制，是否会影响对方服务？
4. 抓到的数据保存多久，谁能访问，是否需要脱敏、删除或限制再次分发？
5. 收到投诉、封禁或撤回请求时，谁负责暂停任务、调查来源和处理数据？

如果这些问题答不出来，最应该调整的可能不是代理供应商，而是项目本身的目标、字段范围和访问策略。很多所谓“代理不稳定”，实际上是任务在持续重试一个本来就不应该高强度访问的目标。

NetNut 事件带来的另一层提醒

Google Threat Intelligence 公开披露，相关住宅代理网络至少涉及 200 万台设备，并在 2026 年 6 月的一周观察到 316 个威胁集群使用疑似出口节点。这个背景提醒买方，伦理链条不止发生在抓取目标这一端，还包括代理网络本身：设备用户是否知情，代理请求是否被滥用，供应商是否会调查和阻断高风险活动。

因此，合规抓取至少需要两条链同时成立：第一条是数据目标和抓取行为的边界，第二条是代理供应链和设备授权的边界。只有第一条清楚、第二条含糊，项目仍然可能在上游出现问题时被迫停摆，甚至无法解释请求到底经过了谁的网络。

一个更稳妥的实践顺序

先确认是否有官方 API 或许可数据源；没有的话，再把抓取字段缩到必要范围，设置低并发、退避和停止条件；接着记录数据用途、保留周期和删除流程；最后才选择能够说明来源、滥用治理和中断通知机制的代理服务。这样做可能比“先买池子再想规则”慢一点，但更容易被团队、客户和法务解释。

如果想先了解这次事件本身，可以回看 NetNut 域名被 FBI 扣押：住宅代理采购不能只看 IP 池了；如果要继续做供应商尽调，再看 采购合规清单 和 供应链审计。这几篇放在一起，基本覆盖了事件、采购、上游和使用方式四个角度。