Meta两款AI爬虫单季发出91亿次请求,独立开发者VPS触发负载警报
独立开发者 Pieter Levels 称,Meta 本周对其全部网站发起了“非常非常非常大量”的抓取,其中一台 VPS 直接出现负载平均警报。DataDome 报告显示,Meta 两款 AI 爬虫在 2026 年 Q2 合计发出 91 亿次请求,占该公司观测到的 AI 代理流量多数,其中负责搜索索引的 Meta-WebIndexer 季增 163% 至 37.5 亿次,6 月月请求量首次超过训练爬虫。报告还称,Meta 抓取规模居前,但几乎未给被抓取网站带回真实访问流量。







