IOSG 发布长文称，企业与个人正在走到 AI 使用上的一个分岔口：一边是能力更强的前沿闭源模型，另一边是隐私边界更清晰、且在部分专业场景已具备成本和准确率优势的开源模型。
文章作者为 Jeff @IOSG。文中写道，在一家公司 alpha 所在的领域里，经专家调校的开放模型已经在准确率和成本上同时击败前沿模型，而支持其在隐私环境中构建的基础设施，也正逐步到位。
企业为什么开始重视私有 AI
文章首先把视线放在企业侧。7 月 1 日，Palantir CEO Alex Karp 在 CNBC 采访中称，企业正在向前沿实验室支付 token 溢价，同时看着自身 IP 流向模型供应商。按他的说法，这种“alpha 的转移”发生在架构层，因为每一条发往闭源模型的请求，都会以明文抵达服务商服务器。
在这次节目播出前几天，Palantir 刚宣布与 NVIDIA 合作，在客户自控环境中运行开放的 Nemotron 模型，并附带一份九条 AI 主权宣言。CNBC 节目播出后，PLTR 上涨 8%。
文章指出，过去二十年，企业对云软件的信任建立在协议层。SaaS 厂商通常只看到企业数据的局部切片，例如 Salesforce 接触销售渠道，Workday 接触人事信息，Jira 接触开发迭代，AWS 提供存储和算力底座。但 AI 工作流不同，它往往要求一次性上传更多数据，连同跨部门的结构化上下文一起送入模型，以换取更高效率。
在这种模式下，上游服务商并非只是在托管数据，也可能据此开发新功能。文章认为，这构成了企业担心隐私与 IP 外流的根源之一。
与此同时，前沿实验室并没有因为这些争议放慢增长。文中称，Anthropic 的年化营收在 5 月达到 470 亿美元，较 2025 年底的 90 亿美元明显跃升；OpenAI 则在 2 月突破 9 亿周活跃用户。两家公司今年春天都完成了新一轮融资，估值逼近 1 万亿美元，并预计将以更高估值 IPO。
从企业限制使用到普通用户面对传票风险
一些企业早已开始收紧使用边界。文章提到，2023 年 2 月 ChatGPT 发布不到三个月，华尔街主要银行就已限制其使用。2023 年 5 月，三星工程师将芯片源代码泄漏进 ChatGPT 后，公司在全网范围封禁生成式 AI。
同年 8 月，OpenAI 推出 ChatGPT Enterprise，承诺不使用商业数据训练模型，并提供零数据留存（zero-data-retention，ZDR）协议。此后，ZDR 逐渐成为企业采购中的标准要求。
但文章认为，这类合同只约束公司账号，难以解决“影子 AI”问题。IBM 发现，到 2025 年，员工通过个人账号将公司数据输入未经批准 AI 工具的行为，已卷入五分之一的数据泄露事件；重度影子 AI 使用，会让平均泄露成本增加 67 万美元。Anagram 在 2025 年的一项调查则显示，四成员工表示，为了更快完成任务，他们愿意违反 AI 使用政策。
对普通用户而言，隐私问题在法院命令出现后变得更具体。文章称，2025 年 5 月，一项法院命令要求 OpenAI 连用户已删除的消费级聊天也要保留；同年 11 月，法官又要求其中 2000 万条聊天记录移交《纽约时报》律师，用于证据开示。
刑事案件也出现了类似情况。文中提到，Palisades 大火纵火案被告的 ChatGPT 记录已进入证据材料，佛罗里达一起双尸命案的宣誓书也引用了嫌疑人关于如何处理尸体的提问。Sam Altman 在 2025 年 7 月的一次访谈中承认，ChatGPT 对话并不受法律特权保护，OpenAI 在诉讼中“可能被要求交出”用户聊天记录。
Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查显示，50% 的受访者不知道这些对话可能被传唤，三分之二则认为，这类聊天应获得与律师或医生咨询类似的保护。
私有 AI 现在有哪些实现路线
文章把私有 AI 拆解为一条路径上的不同保护机制：一条 prompt 离开设备，经过网络，抵达运行模型的机器，再返回回复。差别在于，明文在路径的哪个位置存在，谁能看到，以及能否验证。
协议级隐私：本质仍是承诺
合同式零留存是企业常见方案。服务商能够识别用户身份，也会处理明文 prompt，但承诺不留存数据，约束主要依赖合同与声誉。
匿名代理则去掉“你是谁”，不加密“你说了什么”。文中举例称，Duck.ai 会与模型供应商协商删除协议，Venice 则直接提示用户假定服务商会保留一切，但这两类做法都缺乏可验证性。
机器之间的链路通常由 TLS 加密，作用是保护传输管道，而接收数据的一方仍可读取全部内容。中继层常借助 Oblivious HTTP（RFC 9458）拆分身份与内容的知情权。文章称，OHTTP 自 2024 年 1 月起成为 IETF 标准，目前已有很多公司把生产流量跑在从 Cloudflare 和 Fastly 租用的 OHTTP 中继上。
作者认为，这已经接近访问闭源模型时可获得的隐私上限，因为前沿实验室把模型权重视为核心资产，不会轻易交给外部运营方。
文中以 Meta 为例回顾了权重泄露带来的影响。2023 年 2 月发布的 LLaMA 起初仅向研究者开放，但不到一周权重就在 4chan 泄露；再过一周，llama.cpp 已让最小的 7B 模型在 MacBook 上本地运行；三天后，斯坦福又在同一模型上用不到 600 美元微调出 Alpaca。到 2023 年 7 月，Meta 以带有 7 亿月活排除条款的商业许可正式开源 Llama 2。文章写道，权重一旦流出，原有溢价也随之流失。
作者同时指出，闭源模型理论上可以为推理提供远程证明，但 attestation 只能证明是哪段代码读取了 prompt，无法证明代码如何处理数据。如果实验室要让外部相信服务器没有保留数据，就需要公开并审计 serving code，这又会暴露其批处理和缓存等盈利能力相关技巧。因此，可验证隐私目前更容易建立在开源模型之上。
结构级隐私：用硬件或密码学替代口头保证
TEE（可信执行环境）机密计算把推理放进硬件 enclave 中执行，芯片会签署 attestation，说明运行的是哪个模型和哪段代码。问题在于，prompt 虽然在终点被封住，但在经代理转发的路径上，仍可能存在能读取明文的角色。
E2EE（端到端加密）进一步封闭中继可读性。用户设备用 enclave 的密钥加密 prompt，途中每一跳看到的都只是只有 enclave 能解开的密封数据。可验证的 E2EE 不只依赖经证明的 enclave，也要求开放且可复现的客户端代码，因为负责加密和校验的客户端本身也可能破坏这套保证。
文章认为，E2EE 的问题不在概念，而在工程复杂度。因为代理再也看不到明文，许多依赖读取内容的功能都要围绕客户端密钥重新设计，或移入 enclave 内部实现。
FHE（全同态加密）及 MPC 变体则进一步减少受信任方。服务器在无法打开的密文环境中计算，MPC 则把 prompt 拆成秘密份额交给多方处理。但性能代价极高。文中称，密文推理成本是明文的 1 万到 10 万倍，小模型每个 token 也要数秒到数分钟，而不加密时通常只需毫秒。适配加密计算的芯片原型直到 2026 年初才完成 demo，商用版本还要数年。
本地推理则直接取消整条外部路径：模型运行在用户自己的硬件上，没有中继、服务器和服务商，也无需额外验证。代价很直接，成本高，模型能力也受限。文章举例称，gpt-oss-120b 在 Artificial Analysis 指数上的得分约为 GLM-5.2 的一半，但体积达 65GB，超过两张旗舰游戏显卡的显存总和；而全精度 GLM-5.2 只能运行在 8 卡数据中心节点上，仅 GPU 成本就要 30 多万美元。
性能与价格门槛正在下降
虽然结构性限制仍在，文章认为，把推理放进 enclave 的成本正在下降。以单卡推理为例，Phala 的基准测试显示，enclave 模式下 H100 的吞吐损失平均不到 7%，在大模型上接近于零，因为主要开销来自把数据搬进芯片，而不是在内部计算。
多卡推理方面，NVIDIA 新一代 Blackwell GPU 已支持芯片间流量直接加密；老一代 H100 若要实现同样效果，只能以七分之一带宽绕经 CPU 主机。按照 NVIDIA 在 Blackwell 上的基准测试，397B 模型在 enclave 模式下的吞吐损失不到 8%。
文章据此认为，隐私推理的性能损耗已不再是决定性约束。
运营成本方面，作者给出多组价格对比。2023 年之后的 H100 已默认具备 enclave 模式，额外成本主要来自加密带来的吞吐损失，而不是需要额外芯片。Azure 上机密 H100 SKU 的租价为每小时 8.90 美元，不开 enclave 的同类租价为 6.98 美元，溢价约 27%。而在 Phala 这类专门提供 enclave 的运营商上，机密模式 H100 的起租价为每小时 3.80 美元，低于 Lambda 普通 SXM 卡 3.99 至 4.29 美元的区间。
托管 API 价格也被列为对照。NEAR AI 提供带 attestation 的 gpt-oss-120b 端点，输入每百万 token 收费 0.15 美元，输出每百万 token 收费 0.55 美元，与 Amazon Bedrock、Together 和 Groq 的明文路线大体持平。对需要多芯片并行的模型，NEAR AI 的 GLM 5.2 定价与 Fireworks 相同，而在 Kimi K2.6 上，输入价格低 15%，输出低 4%。
文章写道，新的隐私推理服务商或许在以利润换市场，但就结构趋势而言，隐私成本对消费者和运营方都在下降。
开源模型在特定任务上已能赢过前沿模型
即便性能与价格改善，前沿模型与最强开源模型之间仍存在差距。文章称，这一差距大致在 4 个月左右。但 6 月 30 日，Bridgewater 旗下 AIA Labs 与 Thinking Machines 提供了一个反例：在金融任务中，经专家标注微调的开放模型，在准确率和成本上同时击败了前沿模型。
在这项研究中，团队使用 Thinking Machines 的托管微调 API 服务 Tinker，对 Qwen3-235B 进行微调。他们先从外部供应商采购标注数据，完成第一轮训练，再把存在分歧的样本交给公司的投资人员重新标注。训练采用强化学习 GRPO，并加入三项修改：round-robin batching、CISPO loss，以及 on-policy distillation。
任务都取自投资人员日常工作流，包括判断一条新闻对 C-suite 级投资专业人士是否重要、一份央行文件是否暗示未来利率方向，以及一份文档或邮件中的模板化套话从哪里开始。
根据独立测试集，前沿模型在简单 prompt 下平均得分约 50%，配合专家 prompt 后提升到 78.2%，仍低于投资人员设定的 80% 门槛。微调后的 Qwen3-235B 得分达到 84.7%。按原文口径，这意味着相较前沿最优模型，其错误率低 29.8%，推理成本低 13.8 倍。
文中附上了 Thinking Machines 的原始链接：https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
不过作者也强调，这个案例证明了开源模型可以在准确率和成本上取胜，但训练过程本身并非私有。Bridgewater 的专家标注数据要经过 Tinker 这样的第三方服务，训练所用算力也来自外部机器，信任层级并没有脱离传统 ZDR 逻辑。
如果买家想复制这套方法，又不愿承担信任假设，现实选择仍很有限。租用裸 GPU 集群时，训练过程对云运营方可见；直接购买集群虽能减少托管风险，但成本大幅上升。
文章提到，带 attestation 的后训练栈才刚开始出现。3 月，Workshop Labs 与 Tinfoil 发布 Silo，这是一套运行在 Tinfoil enclave 内、部署于单个 8 卡节点上的后训练系统，密钥只由客户掌控。按文中数据，两小时训练额外只增加 11 分钟；通过冻结基座权重、仅训练小型 adapter，这套栈还能容纳万亿参数模型 Kimi K2 Thinking。难点在于，强化学习需要在各组件之间频繁搬运数据，而这正是 enclave 额外成本的主要来源。
Silo 发布不到一个月后，Workshop Labs 被 Thinking Machines 收购。文章认为，这意味着在 enclave 中运行下一轮 Bridgewater 式强化学习闭环所需的关键部件，已经归入同一家公司体系。
Agent 工具调用和搜索仍是难点
作者还指出，所有私有推理方案之外，还有一个更难绕开的层面：agent 发起的外部工具调用。因为无论 prompt 到模型这条路径保护得多严密，只要模型调用日历、数据库、搜索引擎或其他工具，明文就会出现在新的目的地。
最近兴起的 harness engineering 放大了这个问题。每增加一个工具、记忆库和数据源，就增加一个能读取工作流局部明文的节点。文章举例称，日历服务器可以读取日程，数据库服务器可以读取查询；即便 agent 完全本地运行，只要需要训练集之外的信息，也得把搜索词以明文交给搜索引擎，否则对方无法返回结果。
现在主流方案仍停留在协议层。Runlayer 和 MintMCP 通过中央网关管理全部工具流量，在请求发出前遮蔽个人身份信息，决定哪些服务器能接入，并保留调用日志用于审计。即便这类控制通过了 SOC 2 审计，工具服务器仍必须读取明文查询，其是否保留副本仍由自身条款决定，而且这种风险会随着 harness 中工具数量增加而叠加。
结构级方案则尝试覆盖中间层。文中提到，Phala 将 MCP server 托管进 TEE，覆盖钱包、代码执行和数据源，用户可凭 attestation 验证其隐私声明。但文章也明确指出，TEE 托管的工具最终还是要把查询以明文发送给真正的服务提供方，enclave 保护的是信使，不是目的地。
只有少数结构化查询已经具备“不读也能答”的能力。Apple 的私有信息检索可在不暴露电话号码的情况下比对垃圾电话库，Microsoft 在 Edge 中对密码采用了类似方案。MongoDB 的 Queryable Encryption 允许客户端在字段离开设备前加密，服务器仅凭密文即可完成等值和范围匹配。
开放式搜索则还没有成熟答案。Brave 在自家 400 亿网页索引上承诺零数据留存，但仍属于协议层；Exa 虽构建了神经索引，将关键词转为语义嵌入后再匹配排序，但嵌入本身仍在服务器上从明文计算。MIT 2023 年的 Tiptoe 论文可以在 3.6 亿网页上完成不暴露查询的排序，但每次搜索都要消耗大量服务器算力，排序质量也不如非加密搜索。Apple 2024 年的 Wally 论文用诱饵查询隐藏真实查询，把通信成本最多压低 31 倍，但它要到数百万并发查询时才会变得便宜，而今天没有任何私有搜索系统达到这个规模。
文章的判断是，加密搜索并非做不到，只是性能和价格还没到商用可行阶段。
私有 AI 在增长，但仍远小于主流市场
需求端已经出现一些数据。文章称，Venice AI 最近突破 350 万注册用户和每月 1.3 万亿 token 吞吐量，随后完成新一轮 Series A 股权融资，估值 10 亿美元。其直接竞争对手 Proton 旗下聊天产品 Lumo 上线一年内用户超过 1000 万。
基础设施侧，Phala 目前在 OpenRouter 上日均处理 20 亿到 30 亿 token。Duck.ai 已把 gpt-oss-120b 和 Gemma 路由进 Tinfoil 的 enclave，为用户提供代理之外的可验证隐私。作者补充说，这还没有计入自托管，而自托管很可能是私有推理最大的渠道之一，因为模型在本地硬件上运行时，不会留下使用痕迹。
但把这些数字放进更大的 AI 市场，隐私 AI 仍是小众。文章称，Google 在 5 月处理了 3200 万亿 token，按这个口径计算，Venice 一个月的吞吐量大约只相当于 Google 的 18 分钟。
去年 11 月，Google 推出 Private AI Compute（PAC），把部分由 Gemini 驱动的功能放进与公司自身隔离的 TPU enclave，并交由 NCC Group 独立审计。可 PAC 只覆盖个性化推荐、录音摘要等少数 Pixel 功能，并不覆盖更广泛使用的 Gemini 应用。文章认为，Google 愿意开放这部分设计接受审计，是因为其商业化依托于设备和广告，而不是出售 token。
报告结论：可验证隐私的关键缺口还没补齐
文章认为，当前托管方案仍不完美。追求最高隐私的 E2EE 用户，需要等待服务商把新功能迁移到不可读环境中重建；私有 harness 在服务层仍依赖协议；价格合理的后训练若要拿到最佳微调结果，依然常常需要信任第三方供应商；自托管可以甩开服务商，但在本地运行最强的开源模型，成本极高。
即便如此，作者判断，私有 AI 已经是一个真实且负担得起的选项。对普通用户，Lumo 和 Venice 上的无日志开放模型私密聊天是免费的；Venice 或 Tinfoil 的 18 至 20 美元订阅则可把同类聊天封进 enclave，价格并不高于一份 ChatGPT 订阅。对企业工作流，带 attestation 的端点目前甚至可能比明文路线更便宜。文章还称，像 NEAR 的 E2EE API 这样的端点，已经可以把加密上下文带进 enclave，记忆、文件上传和自定义指令都能在 E2EE 之上运转。
在训练侧，NVIDIA 即将推出的 Vera Rubin NVL72 会把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，使前沿强化学习循环在不暴露 IP 的前提下更具可行性。
不过，真正有防守价值的环节并不在“打开 enclave 开关”本身。文章最后给出的结论是，值得争夺的是那些还未被解决的缺口：放进 enclave 的训练闭环、端到端封闭的工具调用、以及看不见词条的搜索索引。谁先把其中一项做出来，卖的就不是一个容易价格战化的基础能力，而是一种难以商品化替代的能力。
在实际选择上，作者给出的判断很直接：对于重执行、重 agent 的任务，信任路线仍有现实意义，因为每一次工具调用本来就会把明文交给 enclave 封不住的目的地，而前沿模型在这类循环中的能力仍匹配其价格。至于真正构成企业差异化的高阶思考、战略与规划，以及多年专业经验沉淀出的判断，则更适合走验证路线，在公司自控边界内，用这些专有洞见去微调开源模型。