AI爬虫

Cloudflare

2026-09-29 23:12:23

Cloudflare CEO谈封堵AI爬虫与微支付，也因AI裁员引发争议

Cloudflare 首席执行官 Matthew Prince 表示，自动化机器人和 AI 代理流量已在今年 5 月首次超过人类流量，传统依赖广告点击的网络商业模式正承压。Cloudflare 提出默认封锁 AI 爬虫、重启 HTTP 402 并结合 Stripe 与 Coinbase 推动微支付，以及按使用量向创作者分润三项方案。与此同时，Cloudflare 也因借助 AI 分析推进约 1,100 人裁员而遭到批评，相关争议一度拖累股价。

160

Meta

2026-08-08 10:34:59

Meta两款AI爬虫单季发出91亿次请求，独立开发者VPS触发负载警报

独立开发者 Pieter Levels 称，Meta 本周对其全部网站发起了“非常非常非常大量”的抓取，其中一台 VPS 直接出现负载平均警报。DataDome 报告显示，Meta 两款 AI 爬虫在 2026 年 Q2 合计发出 91 亿次请求，占该公司观测到的 AI 代理流量多数，其中负责搜索索引的 Meta-WebIndexer 季增 163% 至 37.5 亿次，6 月月请求量首次超过训练爬虫。报告还称，Meta 抓取规模居前，但几乎未给被抓取网站带回真实访问流量。

2230

时代杂志

2026-08-06 08:13:23

《时代》被指向 AI 爬虫投放定制广告，人与机器看到不同页面

《时代杂志》被发现对人类读者和 AI 爬虫提供不同版本页面：前者看到完整 HTML 页面，后者则获得精简的 markdown 文本。独立开发者 Vincent Schmalbach 测试称，ClaudeBot、PerplexityBot 和 OAI-SearchBot 会收到带有 sponsored 标记的问答式广告内容，且响应头还出现广告曝光与 token 计量字段。报道还提到，Googlebot 看到的仍是完整 HTML，TIME 与广告技术供应商 Mobian则将这套机制描述为面向 AI 代理的新广告模式。

1910

AI爬虫

2026-07-24 09:47:00

The Numbers因AI爬虫冲击下线后缩编重启

运营近 30 年的电影数据网站 The Numbers 于 2026 年 3 月 5 日突然下线，3 月 13 日以精简版恢复。PANews援引 Stephen Follows 转述创始人 Bruce Nash 的说法称，AI 爬虫与智能体流量占总流量 90%，服务器长期过载并反复崩溃。恢复后的版本移除了历史图表、单片详情页和 Report Builder，折射出数据型网站在机器流量占主导后面临的成本、架构与商业模式压力。

370

Cloudflare

2026-07-22 19:55:14

Cloudflare：34.1%网络流量来自机器人，AI爬虫扩张提速

Cloudflare Radar数据显示，全球34.1%的HTTP流量来自机器人，AI爬虫已占机器人流量约22%。Cloudflare CEO Matthew Prince预计，按当前增速，机器人流量最快将在2027年超过真人。

490