《时代》被指向 AI 爬虫投放定制广告,人与机器看到不同页面

《时代》被指向 AI 爬虫投放定制广告,人与机器看到不同页面

N
News Editor
2026-08-06 08:13:23
《时代杂志》被发现对人类读者和 AI 爬虫提供不同版本页面:前者看到完整 HTML 页面,后者则获得精简的 markdown 文本。独立开发者 Vincent Schmalbach 测试称,ClaudeBot、PerplexityBot 和 OAI-SearchBot 会收到带有 sponsored 标记的问答式广告内容,且响应头还出现广告曝光与 token 计量字段。报道还提到,Googlebot 看到的仍是完整 HTML,TIME 与广告技术供应商 Mobian则将这套机制描述为面向 AI 代理的新广告模式。

《时代杂志》被发现对人类和机器提供两套不同网页内容:普通读者打开的是完整杂志页面,包含版面、图片和程序代码;部分 AI 爬虫拿到的则是精简的 markdown 纯文本版本,里面还插入了人类读者看不到的广告内容。

报道指出,在爬虫可以免费抓取内容的情况下,《时代杂志》正在尝试把广告直接卖给“机器读者”,也就是那些会将网页内容转成 token 的 AI 系统。

开发者测试发现同一网址返回两种内容

独立开发者 Vincent Schmalbach 在实测中发现这一现象。他反复抓取 TIME 的一篇健康报道《The Morning Light Habit Sleep Experts Swear By》,使用的是同一台机器,唯一变化是 User-Agent,也就是浏览器或爬虫用来自报身份的字段。

当请求伪装成 Chrome、Safari 甚至 Googlebot 时,返回结果都是同一份 303,235 bytes 的 text/html 完整页面。可一旦改成 ClaudeBot、PerplexityBot 或 OpenAI 的 OAI-SearchBot,响应就会立刻变成 text/markdown,大小只有 13,409 bytes。

按文中说法,同一篇文章,面向人类版本的体积比面向 AI 版本大 23 倍,这意味着网站在有意对不同访问者分流。

响应头显示广告曝光与 token 计量机制

markdown 版本的响应头里还出现了更多细节。其一是 x-mobian-impression,每次抓取都会生成一组新的 UUID;同时配合 cache-control: no-store,意味着机器每读取一次页面,就会被记录为一次独立广告曝光。

另一个字段是 x-mobian-tokens: 3323。这被解读为计费单位与送入模型的 token 数量有关,也就是页面中的字词会按 token 进行计量。

文中提到,Mobian 是为 TIME 提供这套机制的广告技术供应商,markdown 页面开头甚至直接出现了 mobian-agent-page publisher="time" 的标记。

广告内容以问答形式嵌入 AI 可读页面

Schmalbach 还提到,他以 ClaudeBot 身份抓取 TIME 的《Best Inventions of 2025》专题页时,在 markdown 内容中看到了完整的 Ally Bank 常见问答内容。

这些问答围绕 Ally Bank 展开,包括“Ally Bank 是谁”、这家 2009 年上线的纯网络银行为何自称“唯一打造给现代生活的银行”,以及“哪些银行提供提前入账”“能不能用现金存款”等问题。文中称,这些答案都采用 Ally 自身的营销口吻,形式接近模型在用户询问“该去哪家银行开户”时可能直接输出的内容。

这部分内容后面还附有带有 campaign="ally-2026-q3" 标记的追踪链接,以及一段便于模型解析的结构化问答数据。

TIME 与 Mobian称这是面向 AI 代理的新广告销售方式

根据文中说法,TIME 与 Mobian 对外表示,这是出版商第一次把广告直接卖给 AI 代理,而不是卖给人类注意力。

整套流程是先根据品牌需求生成问答式广告,输出成 PDF 供人工审核和客户签字,然后再把同一批问题投放给各家 AI 搜索引擎,长期追踪这则推广内容在模型回答中的能见度、好感度与正确性。

报道提到,Ally Bank 与 PMI 是第一批下单品牌。TIME 的 markdown 页面每页只售卖一则广告,并收取溢价,理由是权威内容能被 AI 爬虫读取,本身就是稀缺资源。

Googlebot看到的是完整页面,AI 助手爬虫则被分流

文中也提到,这些业配内容在 markdown 里确实标注了 sponsored,因此不属于传统意义上的未披露广告。

真正被隐藏的是不同对象所能看到的内容范围。TIME.com 被指新增了一层专门写给机器看的内容,人类读者既不会看到,也不知道网站向 AI 提供了什么。

更关键的是,Googlebot 拿到的内容与人类读者一致,仍是完整 HTML 页面。这意味着决定搜索排名的爬虫看到的是原始页面,而负责问答的 AI 助手类爬虫则被导向另一个版本。

机器流量占比上升,出版商开始重新定义“读者”

Cloudflare 的统计显示,目前互联网上超过一半流量已经来自机器人。TIME 也表示,在多数日子里,AI 爬虫带来的流量已经超过人类读者。

报道还提到,在 TollBit 覆盖近 7,000 家出版商的网络中,TIME 收到的 AI 爬虫请求量高于大多数同行。

当机器开始成为媒体最大的读者群体之一,网页究竟是在写给谁看,这个问题正变得越来越现实。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
610

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。