Shoal Research：Cloudflare 机器人流量已超过人类

研究机构 Shoal Research 发布报告称，Cloudflare 网络上，机器人目前约占 HTML 内容 HTTP 请求的 60%，人类占 38.2%。

报告提到，Cloudflare CEO Matthew Prince 此前曾预测，机器人流量将在 2027 年超过人类。随后，他又宣布，随着智能体流量增长，机器人已经超过人类流量。

AI 应用改变内容分发路径

报告称，AI 应用正把用户留在聊天界面内，并直接总结内容，而不是把流量导回原始网站。

在抓取与回访效率上，AI 爬虫明显高于 Googlebot。按照报告数据，ClaudeBot 在过去一年里平均每回访 1 次，会抓取约 4200 个页面。

AI 摘要压缩网站点击

Pew 的研究显示，AI 摘要出现后，点击率从 15% 降至 8%。

报告认为，robots.txt 以及以内容换流量的模式都难以继续维持。诉讼和私人授权则被视为权宜之计。

按请求付费的两种路径

报告把按请求付费分为两类：

• 带密钥的封闭市场；
• 使用 HTTP 402 和稳定币的开放协议，例如 x402 和 MPP。

不过，多数网站目前仍在免费提供内容或选择直接屏蔽。