IOSG 发布长文称，在一家公司核心 alpha 所在的任务里，经过专家调校的开放模型，已经能在准确率和成本上同时超过前沿模型；而支撑私有训练与私有推理的基础设施，也在逐步成形。
作者 Jeff @IOSG 认为，私有 AI 的核心矛盾不只在模型能力，而在于敏感数据离开企业边界后，谁能读到、是否留存、以及能否被验证。
企业为何重新审视闭源模型
7 月 1 日，Palantir CEO Alex Karp 在 CNBC 的一场 20 分钟采访中表示，企业正在为前沿实验室支付 token 溢价，同时看着自己的 IP 流向模型供应商。他把这种现象称为 alpha 的转移，并指出问题发生在架构层：每一条发往闭源模型的请求，都会以明文形式抵达服务商服务器。
就在节目播出前几天，Palantir 刚宣布与 NVIDIA 合作，在客户可控环境中运行开放的 Nemotron 模型，并同时发布一份九条 AI 主权宣言。CNBC 节目播出后，PLTR 当天上涨 8%。
文中回顾称，过去二十年里，企业主要依靠协议层信任来采用云软件。SaaS 厂商往往只接触到企业数据的一部分，Salesforce 看到销售渠道，Workday 看到人力信息，Jira 看到开发流程，AWS 提供存储和计算底座。但 AI 工作流要求一次上传更多上下文，甚至跨部门的结构化信息也会一并进入模型，这使得上游服务商具备了把这些数据继续用于新功能开发的能力。
IOSG 援引文中数据称，Anthropic 在 2026 年 5 月的年化营收已达 470 亿美元，较 2025 年底的 90 亿美元明显增长；OpenAI 则在 2026 年 2 月突破 9 亿周活跃用户。两家公司都在今年春季完成新一轮融资，估值接近 1 万亿美元，并预计将以更高市值推进 IPO。作者指出，多年的隐私和 IP 指控并未削弱它们的增长势头。
从企业封禁到法院调证，隐私问题已不只是合规议题
一些大型机构很早就开始限制生成式 AI。文章提到，ChatGPT 发布不到 3 个月，华尔街主要银行就在 2023 年 2 月限制其使用。2023 年 5 月，三星工程师将芯片源代码输入 ChatGPT 后，三星在全网范围内封禁生成式 AI。
OpenAI 随后在 2023 年 8 月推出 ChatGPT Enterprise，承诺不使用商业数据训练，并提供零数据留存（ZDR）协议。此后，ZDR 成为企业采购中的常见要求。
但报告指出，合同只约束企业账号，挡不住员工通过个人账号使用未经批准的 AI 工具。IBM 发现，到 2025 年，影子 AI 已卷入五分之一的数据泄露事件，而高频影子 AI 使用会让单次泄露成本平均增加 67 万美元。安全培训公司 Anagram 在 2025 年的一项调查则显示，40% 的员工表示，为了更快完成任务，他们愿意违反 AI 使用政策。
普通用户面临的风险，在法院命令出现后变得更具体。2025 年 5 月，一份法院命令要求 OpenAI 连用户已删除的消费级聊天记录也要保留；同年 11 月，法官又下令将其中 2000 万条记录移交给《纽约时报》律师，作为证据开示材料。接下来又出现刑事案件中的取证情形：Palisades 大火纵火案被告的 ChatGPT 记录进入证据，佛罗里达一起双尸案的宣誓书也引用了嫌疑人关于如何处理尸体的提问。
Sam Altman 还在 2025 年 7 月的一次访谈中承认，ChatGPT 对话不受法律特权保护，在诉讼中 OpenAI“可能被要求交出”用户聊天记录。Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查显示，50% 的受访者并不知道这类对话可以被传唤，三分之二认为它们应得到与律师或医生咨询记录相当的保护。
私有 AI 现在有哪些实现路径
报告把现有方案分成协议级隐私和结构级隐私。前者的特点是，除了用户之外，仍有人能读到明文 prompt，后续保护主要依赖承诺；后者则尝试用硬件、密码学或物理机制代替口头保证。
协议级：合同、代理与 TLS
合同式零留存是企业最常见的做法。服务商处理 prompt，并承诺不留存数据，执行依赖合同和信誉。匿名代理能抹去用户身份，但不会加密请求内容，下游模型服务商仍按各自政策处理明文。
文中举例称，Duck.ai 会与模型供应商约定删除协议，Venice 则直接要求用户假定服务商会存下所有内容，但两种方式都无法由用户自行验证。
在传输层，机器之间通常通过 TLS 加密链路，但接收端仍能读取全部内容。中继层则常借助 Oblivious HTTP（RFC 9458）拆分身份与内容知情权。IOSG 将其比作“托朋友递纸条”：中继知道是谁发出的请求，却读不到内容；接收方能读内容，却不知道是谁发出。OHTTP 自 2024 年 1 月起已成为 IETF 标准，很多公司把生产流量跑在 Cloudflare 和 Fastly 提供的 OHTTP 中继上。
作者认为，这已是访问闭源模型时能够获得的隐私上限。原因在于，前沿实验室的估值建立在模型权重的独占性上，不会轻易交出权重或服务代码。
文章回顾了 Meta 在 LLaMA 上的经历：LLaMA 于 2023 年 2 月发布后不到一周，权重就以种子形式泄露到 4chan；再过一周，llama.cpp 让最小的 7B 模型能在 MacBook 本地运行；三天后，斯坦福团队又在同一模型基础上，用不到 600 美元微调出 Alpaca。到了 2023 年 7 月，Meta 正式以附带 7 亿月活排除条款的商业许可开源 Llama 2。作者称，权重一旦流出，溢价也会随之流失。
文章还指出，闭源模型理论上可以做远程证明，但 attestation 只能证明哪段代码读了 prompt，证明不了代码如何处理数据。若要验证服务端是否留存数据，就需要开放服务代码并接受审计，但这会暴露支撑利润率的批处理和缓存技术。正因如此，真正可验证的隐私，目前主要建立在开源模型之上。
结构级：TEE、端到端加密、FHE 与本地推理
TEE 即可信执行环境，把推理过程放进硬件 enclave 中运行，连机器运营方也无法直接打开。芯片会签署 attestation，说明运行的是哪个模型与哪段代码。
TEE 的问题在于，prompt 往往只在终点被封住，经代理转发的链路上仍可能出现能读到明文的角色。端到端加密则尝试补上这一环：用户设备用 enclave 的密钥加密 prompt，中途每一跳只转发只有 enclave 能解开的密文。
但端到端加密把信任更多压在客户端。负责加密 prompt 和校验 attestation 的客户端代码，本身也必须开放且可复现，否则同样可能破坏这套保证。与 TEE 相比，E2EE 的工程负担更重，很多依赖读取明文才能运行的功能，都要围绕客户端密钥重新设计，或被搬进 enclave 内部实现。
FHE，即全同态加密，以及 MPC 等多方安全计算变体，进一步去掉了受信任方：服务器在无法解开的密文上直接运算，或把 prompt 拆成多份秘密分发给多方处理。问题是性能代价极高。文章称，密文推理的成本通常是明文的 1 万到 10 万倍，小模型的单个 token 延迟也会从毫秒上升到数秒甚至数分钟。为加密计算定制的芯片有望缩小差距，但首个原型直到 2026 年初才完成 demo，商用版本还需等待数年。
本地推理则把整条路径删除掉，模型直接运行在用户自己的硬件上，没有中继、没有服务商，也不再需要验证。代价同样很直观：成本高，能力也有限。文章举例称，gpt-oss-120b 在 Artificial Analysis 指数上的得分约为 GLM-5.2 的一半，但模型体积达到 65GB，已经超过两张旗舰游戏显卡的显存总和；而全精度 GLM-5.2 只能在 8 卡数据中心节点上运行，光 GPU 成本就超过 30 万美元。
隐私推理的性能和价格正在下探
尽管存在结构限制，TEE 的性能损耗已明显下降。Phala 的单卡基准测试显示，enclave 模式下 H100 的吞吐损失平均不到 7%，在大模型场景中接近于零，因为主要开销在于把数据搬进芯片，而不是在 enclave 内计算。
多卡场景下，NVIDIA 新一代 Blackwell GPU 已支持芯片间流量的直接加密，而 H100 若要实现同样能力，需要绕到 CPU 主机，带宽只剩七分之一。NVIDIA 自身在 Blackwell 上的测试显示，397B 模型在 enclave 模式下的吞吐损失不到 8%。作者据此认为，隐私推理的性能损耗已不再是决定性障碍。
成本也在下降。文章称，Azure 上机密 H100 的租价是每小时 8.90 美元，不开 enclave 时为 6.98 美元，溢价约 27%。而在专门提供 enclave 的 Phala，机密 H100 起租价为每小时 3.80 美元，低于 Lambda 普通 SXM 卡 3.99 至 4.29 美元的区间。
托管 API 方面，NEAR AI 带 attestation 的端点，为 gpt-oss-120b 提供每百万 token 输入 0.15 美元、输出 0.55 美元的定价，与 Amazon Bedrock、Together、Groq 的明文路线持平。对需要多芯片并行的模型，NEAR AI 在 GLM 5.2 上与 Fireworks 定价完全一致；在更大的 Kimi K2.6 上，输入价格低 15%，输出低 4%。
作者认为，即便一些新进入者在用利润换市场份额，整体趋势仍很明确：隐私成本对消费者和运营方都在下降。
Bridgewater 案例：专家调校的开源模型已在金融任务中胜出
报告中最核心的案例来自 Bridgewater 旗下 AIA Labs 与 Thinking Machines。双方在 6 月 30 日发布的研究称，一个经过专家标注微调的开放模型，已在准确率与成本上同时超过前沿模型。
研究团队在 Thinking Machines 的托管微调 API 服务 Tinker 上，对 Qwen3-235B 进行微调。他们先向外部供应商采购标注数据，再把有分歧的样本交给公司投资人员重新标注。训练方式采用强化学习 GRPO，并加入三项改动：round-robin batching、CISPO loss 和 on-policy distillation。
任务全部来自投资团队的日常工作流，例如判断一篇新闻对 C-suite 级投资专业人士是否重要，一份央行文件是否暗示未来利率方向变化，以及一份文档或邮件中的模板化措辞从何处开始。
在独立测试集中，前沿模型使用简单 prompt 时平均得分约 50%，配合专家 prompt 也只达到 78.2%，低于投资人员设定的 80% 门槛。微调后的 Qwen3-235B 得分达到 84.7%。按照原文口径，这意味着它比表现最好的前沿模型少犯 29.8% 的错误，推理成本则低 13.8 倍。
原始研究链接为：https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
不过，IOSG 同时强调，这一训练过程本身仍不是私有的。Bridgewater 的专家标注属于私有数据，但训练经由第三方服务 Tinker，仍处在与 ZDR 相似的信任层。所租用的训练算力也运行在客户并未掌控的机器上。若买家既想复制这套方法，又不想接受这些信任假设，现实选择仍然有限：租裸 GPU 集群，训练过程对云运营商可见；自己买集群，则成本会迅速抬升。
带 attestation 的后训练方案刚开始出现。3 月，Workshop Labs 与 Tinfoil 推出 Silo，这是一套运行在 Tinfoil enclave 中、部署于单个 8 卡节点的后训练栈，密钥只由客户掌握。文章给出的成本数据是，两小时训练额外增加 11 分钟。该系统通过冻结基座权重、只训练小型 adapter，能够容纳一个万亿参数模型 Kimi K2 Thinking。作者指出，强化学习的难点在于组件间频繁搬运数据，而这正是 enclave 的主要成本来源。
Silo 发布不到一个月，Workshop Labs 就被 Thinking Machines 收购。报告认为，在 enclave 中运行下一轮 Bridgewater 式强化学习循环所需的关键组件，如今已集中到同一家公司名下。
真正的难点，正在从推理层转向 agent 工具层
文章指出，即便 prompt 到模型这一路实现了私有，agent 每一次调用外部工具时，都会再打开一条明文路径。近期兴起的 harness engineering 把这个问题进一步放大：模型周围接入的每个工具、记忆库和数据源，都是新的明文读取终点。日历服务器会读到日程，数据库会读到查询，请求搜索引擎时，搜索词也必须以明文形式提交，否则服务端无法回答问题。
目前主流方案仍停留在协议层。Runlayer、MintMCP 等公司通过中央网关统一管理工具流量，在请求发出前遮蔽个人身份信息，控制哪些服务器可以接收流量，并记录调用的目的地与内容以备审计。即便这些流程通过 SOC 2 审计，工具服务器仍需要读取明文查询才能响应，是否留存还要看各自条款；而且网关本身也成了路径上新增的可读方。
结构级方案尝试覆盖中间层。Phala 直接把 MCP server 托管进 TEE，目录覆盖钱包、代码执行和数据源，用户可通过 attestation 验证隐私声明，而不是单纯相信运营商。但问题仍然存在：工具最终还是要把查询明文交给服务提供方，enclave 能封住信使，封不住终点。
目前只有少数结构化查询场景做到“不读也能答”。Apple 在 iPhone 上提供私有信息检索，可在不暴露号码的前提下对来电号码做垃圾电话比对；Microsoft 在 Edge 中也把类似方案用于密码处理。MongoDB 的 Queryable Encryption 则允许字段在离开客户端前加密，服务器仅凭密文完成等值和范围匹配。
开放式搜索仍未解决。Brave 在自己的 400 亿网页索引上承诺零数据留存，但仍属于协议层；Exa 建立神经索引，用语义嵌入匹配搜索结果，但嵌入步骤仍需在服务器端基于明文计算。MIT 在 2023 年发表的 Tiptoe 论文，能够在 3.6 亿网页上完成不暴露查询的排序，但每次搜索都需要大量服务器算力，排序质量也弱于不加密搜索。Apple 在 2024 年发布的 Wally 论文，则通过把真实查询混入诱饵请求中，把通信成本最多压低 31 倍，但只有在数百万并发查询下才变得便宜，而目前没有任何私有搜索系统达到这个规模。
报告结论是，加密搜索在理论上可行，但在性能和价格上仍未达到商业化门槛。
市场已有需求，但离主流仍远
报告列举了几组市场数据。Venice AI 最近突破 350 万注册用户，每月吞吐达到 1.3 万亿 token，随后完成一轮估值 10 亿美元的 Series A 融资。其直接竞争对手 Proton，在聊天产品 Lumo 上线一年内用户突破 1000 万。
基础设施层面，Phala 目前在 OpenRouter 上的日均处理量已达 20 亿至 30 亿 token。Duck.ai 则把 gpt-oss-120b 和 Gemma 路由到 Tinfoil 的 enclave 中，为用户提供代理之外可验证的隐私。
但把这些规模放回主流 AI 市场，差距依然悬殊。文章称，Google 在 2026 年 5 月全线产品共处理 3200 万亿 token。按此口径计算，Venice 一个月的吞吐量，大致只相当于 Google 的 18 分钟。
Google 在 2025 年 11 月推出 Private AI Compute（PAC），把部分 Gemini 驱动功能放进与公司自身隔离的 TPU enclave 中运行，并交由 NCC Group 独立审计。不过，PAC 目前只覆盖个性化推荐、录音摘要等少量 Pixel 功能，不包括数亿用户在使用的 Gemini 应用。作者认为，Google 之所以愿意开放设计给审计机构，是因为这些功能主要靠设备和广告变现，而不是靠出售 token。
IOSG 的判断：真正值得争夺的是尚未补上的缺口
文章最后认为，现有托管方案仍不完美。追求最高隐私的用户，如果选择 E2EE，就要等待大量功能在服务商看不到明文的前提下重做一遍；私有 harness 在服务层面仍依赖协议；价格合理的后训练如果想拿到最好的微调结果，仍往往要信任第三方；而自托管虽然能摆脱服务商，但要在本地运行最强的开源模型，硬件投入可能极高。
即便如此，私有 AI 已经从概念变成可负担的现实选择。对普通用户来说，Lumo 和 Venice 已能提供基于无日志承诺的免费私密聊天；Venice 或 Tinfoil 每月 18 至 20 美元的订阅，则把同类聊天封进 enclave，价格并不高于一份 ChatGPT 订阅。对企业工作流来说，带 attestation 的端点现在甚至可能比明文路线更便宜。文章还提到，NEAR 的 E2EE API 已能把加密上下文带入 enclave，记忆、文件上传和自定义指令等功能已经可以在 E2EE 上运行。
在训练侧，NVIDIA 即将推出的 Vera Rubin NVL72，会把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，让前沿强化学习循环在不暴露 IP 的条件下更具可行性。
不过，真正的价值捕获不在“打开 enclave 开关”本身。IOSG 认为，更具防守性的机会仍在尚未被补上的部分：能在 enclave 内完成的训练循环、端到端封闭的工具调用，以及服务方看不到词条内容的搜索索引。谁先解决其中一个，卖的就不是可被价格战迅速同质化的能力。
文章最终给出的判断是：对于重执行、重 agent 的任务，现阶段仍应优先选择信任，因为每次工具调用都会把明文交给 enclave 无法封住的终点，而前沿模型在这类循环里也仍然物有所值；至于真正把一家企业与竞争对手区分开的高阶判断、战略和规划，则更适合选择可验证的路径，在企业自控边界内，用这些专有洞见去微调开源模型。
在这些任务里，经过专家调校的开放模型已经在准确率和成本上同时超过前沿模型，而支撑它们在私有环境中训练和运行的基础设施，也正在逐步到位。