IOSG 发布研究文章称，私有 AI 正站上现实需求与基础设施成熟度同步提升的节点。文章核心观点是：在一家公司的 alpha 所在领域，经过专家调校的开源模型，已经能在准确率和成本上同时超过前沿闭源模型，而围绕隐私环境构建的推理与训练基础设施，也在逐步补齐。
企业为什么开始重视私有 AI
文章提到，7 月 1 日，Palantir CEO Alex Karp 在 CNBC 采访中表示，企业正在向前沿实验室支付 token 溢价，同时看着自家 IP 流向模型提供方。他将这一过程称为 alpha 的转移，并指出问题发生在架构层：每一条发往闭源模型的请求，都会以明文形式到达服务商服务器。
就在这次节目播出前几天，Palantir 刚宣布与 NVIDIA 合作，在客户自控环境中运行开放的 Nemotron 模型，并附上九条 AI 主权宣言。CNBC 节目播出后，PLTR 跳涨 8%。
文章认为，传统 SaaS 时代，企业之所以愿意信任云软件，是因为不同厂商看到的数据通常只是一个切面。Salesforce 看到销售渠道，Workday 看到人事，Jira 看到开发迭代，AWS 提供存储和计算底座。但 AI 工作流要求企业一次性上传更多材料，包括跨部门结构化上下文，结果是上游服务商获得了比过去更完整的数据视图。
与此同时，头部模型公司的增长并未因为隐私与 IP 争议放缓。文章称，Anthropic 的年化营收在 5 月达到 470 亿美元，较 2025 年底的 90 亿美元明显提升；OpenAI 在 2 月突破 9 亿周活跃用户。两家公司在今年春天都完成了新一轮融资，估值逼近 1 万亿美元，并预计将以更高市值 IPO。
企业防线已经提前出现
文中回顾称，2023 年 2 月，ChatGPT 发布不到 3 个月，华尔街主要银行就已限制其使用。2023 年 5 月，三星工程师将芯片源代码泄漏进 ChatGPT 后，公司全网封禁生成式 AI。随后，OpenAI 在当年 8 月上线 ChatGPT Enterprise，承诺不使用商业数据训练，并提供零数据留存（ZDR）协议，后者此后逐步成为企业采购中的常见要求。
但文章也指出，合同只能约束公司账号，无法覆盖员工通过个人账号使用未经批准 AI 工具的影子 AI。IBM 的数据称，到 2025 年，影子 AI 已卷入五分之一的数据泄露事件，而重度影子 AI 使用会让泄露成本平均增加 67 万美元。Anagram 在 2025 年的调查则显示，四成员工表示，为了更快完成任务，他们愿意违反 AI 使用政策。
普通用户对隐私 AI 的关注，被法律风险推到了台前
文章称，对普通用户而言，隐私 AI 是否重要，过去一直存在争论，直到法院命令真正进入现实案例。2025 年 5 月，一项法院命令要求 OpenAI 保留用户已删除的消费级聊天记录；同年 11 月，法官又下令将其中 2000 万条移交给《纽约时报》律师作为证据开示材料。
刑事案件也开始引用聊天记录。文中提到，Palisades 大火纵火案被告的 ChatGPT 记录被纳入证据，佛罗里达一宗双尸命案的宣誓书则引用了嫌疑人关于如何处理尸体的提问。Sam Altman 也在 2025 年 7 月的访谈中承认，ChatGPT 对话不受法律特权保护，在诉讼中 OpenAI“可能被要求交出”用户聊天记录。
IOSG 引用 Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查称，50% 受访者不知道 AI 对话可以被传唤，三分之二则认为，这类聊天应获得与咨询律师或医生相近的保护。
私有 AI 现在有哪些实现路径
文章将私有 AI 分为协议级隐私和结构级隐私两大类，并强调二者处理的是同一个问题：一条 prompt 离开设备、经过网络、到达运行模型的机器，再返回回复，这条路径上，明文在哪些位置存在，谁可以读到它，以及隐私声明能否被验证。
协议级隐私：依赖承诺
在协议级方案里，除用户外仍会有其他方读到明文 prompt，后续如何处理，取决于服务商承诺。
- 合同式零留存是企业常用方案，服务商知道用户身份并处理 prompt，但承诺不留存数据。
- 匿名代理可以隐藏“你是谁”，却不会加密“你说了什么”。下游模型服务商仍然处理明文内容。文中以 Duck.ai 和 Venice 为例，前者会与模型商谈删除协议，后者则直接假定服务商可能留存一切，但两种方式都无法验证。
- TLS 只负责加密传输管道，接收方依然能读到全部内容。中继常用 Oblivious HTTP（RFC 9458）拆分“知道发送者是谁”和“读到内容”的能力。文章称，OHTTP 自 2024 年 1 月起已成为 IETF 标准，不少公司已把生产流量跑在从 Cloudflare 和 Fastly 租来的 OHTTP 中继上。
文章判断，这也是访问闭源模型时能得到的隐私上限。原因在于，旗舰级训练成本已达到十亿美元量级，而前沿实验室近万亿美元估值所押注的正是模型权重独占性，因此不会轻易将权重文件交到外部运营方手中。
文中以 Meta 为例说明这一点。2023 年 2 月发布的 LLaMA 最初仅向研究者开放，但不到一周权重就泄露到 4chan；又过一周，llama.cpp 让其中最小的 7B 模型能在一台 MacBook 上本地运行；三天后，斯坦福又在同一模型上用不到 600 美元微调出聊天助手 Alpaca。2023 年 7 月，Meta 正式以附带 7 亿月活排除条款的商业许可开源 Llama 2。文章写道，权重一旦外流，溢价也会随之流失。
作者还提到，前沿实验室理论上可以为闭源模型推理提供远程证明，但这类 attestation 只能证明是哪段代码读取了 prompt，无法证明这段代码如何使用它。若要验证服务器是否留存数据，就必须审计服务代码并与硬件报告的哈希对应，而这会暴露实验室在批处理和缓存上的关键技术细节。
结构级隐私：用硬件、密码学或物理证明替代承诺
结构级方案试图把“信任服务商”替换为“验证系统设计”，但文章指出，这类方案目前基本只能运行开源模型。
TEE（可信执行环境）机密计算，是把推理放进硬件 enclave 中运行。芯片会签署 attestation，说明实际运行的是哪个模型、哪段代码。问题在于，prompt 只在终点被封住，经代理中转的路径上仍可能存在能够读取明文的角色。
E2EE（端到端加密）进一步封掉中继层的可读明文。用户设备用 enclave 的密钥加密 prompt，中间每一跳传递的都只是 enclave 才能解开的密文。不过，文章称，信任焦点会落在客户端代码本身，因此可验证 E2EE 不仅要有经过证明的 enclave，也要有开放、可复现的客户端代码。代价则是工程复杂度上升，很多依赖读取明文的功能都必须在客户端或 enclave 内重新实现。
FHE（全同态加密）以及 MPC 变体，则试图完全去掉受信任方。服务器可以在无法打开的“上锁盒子”里对密文计算，或者把 prompt 拆成秘密份额分发给多方。但它们的主要瓶颈仍然是速度。文章称，密文推理的成本通常是明文的 1 万到 10 万倍，小模型每个 token 的生成时间也要数秒到数分钟，而未加密情况下通常只需毫秒。
本地推理则是直接去掉整条网络路径。模型运行在用户自己的硬件上，不存在中继、服务器、服务商，也不存在验证需求。代价很直接：成本和模型能力。文中称，gpt-oss-120b 在 Artificial Analysis 指数上的得分约为 GLM-5.2 的一半，但体积达到 65GB，已经超过市面上两张旗舰游戏显卡显存总和；全精度 GLM-5.2 只能跑在 8 卡数据中心节点上，仅 GPU 成本就要 30 多万美元。
隐私推理的性能和价格正在下降
IOSG 认为，抛开结构性限制，enclave 推理的额外成本正在快速收缩。单卡场景下，Phala 的基准测试显示，enclave 模式的 H100 吞吐损失平均不到 7%，在大模型上接近于零，因为主要成本来自把数据搬进芯片，而不是在芯片内计算。
多卡场景下，NVIDIA 新一代 Blackwell GPU 已支持芯片间流量直接加密，而老一代 H100 若要实现同类效果，只能以七分之一带宽绕到 CPU 主机。NVIDIA 在 Blackwell 上的基准测试显示，397B 模型在 enclave 模式下的吞吐损失不到 8%。文章据此判断，隐私推理本身的性能损耗已不再是决定性约束。
成本侧也在改善。文中称，2023 年之后的每块 H100 都自带 enclave 模式，额外成本主要来自加密带来的吞吐损失，而不是新增硬件。Azure 上机密 H100 SKU 租价为每小时 8.90 美元，不开 enclave 时为 6.98 美元，相当于加价 27%。但在 Phala 这类专门提供 enclave 的运营商上，机密模式 H100 起租价为每小时 3.80 美元，低于 Lambda 普通 SXM 卡 3.99 至 4.29 美元的区间。
托管 API 方面，NEAR AI 带 attestation 的端点，对 gpt-oss-120b 的定价是每百万 token 输入 0.15 美元、输出 0.55 美元，文章称其与 Amazon Bedrock、Together 和 Groq 的明文路线持平。对需要多芯片并行的模型，NEAR AI 在 GLM 5.2 上的定价与 Fireworks 相同，在更大的 Kimi K2.6 上，输入便宜 15%，输出便宜 4%。
开源模型如何在高价值任务中胜出
尽管前沿闭源模型与 SOTA 开源模型之间仍存在明显差距，IOSG 认为，这种差距并不意味着开源模型在所有任务上都处于下风。
文章举例称，6 月 30 日，Bridgewater 旗下 AIA Labs 与 Thinking Machines 给出了一个案例：一个经过专家标注微调的开放模型，在准确率和成本上同时击败了前沿模型。
研究团队在 Tinker——也就是 Thinking Machines 的托管微调 API 服务——上微调 Qwen3-235B。流程是先从供应商处采购标注，完成第一轮训练，再将分歧样本交给公司的投资人员重新标注。训练采用强化学习 GRPO，并加入三项修改：round-robin batching、CISPO loss 和 on-policy distillation。
任务全部来自投资人员的日常工作流，包括判断一篇新闻对 C-suite 级投资专业人士是否重要、一份央行文件是否暗示未来利率走向、一份文档或邮件里的模板套话从何处开始。评分来自独立测试集。文章称，前沿模型在简单 prompt 下平均得分约 50%，配上专家 prompt 也只能达到 78.2%，低于投资人员设定的 80% 门槛；微调后的 Qwen 得分 84.7%。按原文口径，这意味着它比前沿最优少犯 29.8% 的错误，推理成本低 13.8 倍。
https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
不过，文章也强调，这一案例证明的是开源模型能在准确率和成本上取胜，不代表训练过程已经私有化。Bridgewater 的专家标注本身是私有数据，但训练经过 Tinker 这类第三方服务，仍停留在与 ZDR 协议相近的信任层级；算力也来自基金并未掌控的外部机器。
当前可验证的私有后训练基础设施才刚刚起步。3 月，Workshop Labs 与 Tinfoil 发布 Silo，这是一套运行在 Tinfoil enclave、单个 8 卡节点上的后训练栈，密钥只由客户掌握。文章称，其 enclave 成本是两小时训练额外增加 11 分钟，并且通过冻结基座权重、只训练小型 adapter，可以容纳一个万亿参数模型 Kimi K2 Thinking。难点在于，强化学习需要在多个组件之间频繁搬运数据，而数据搬运本身正是 enclave 成本主要来源。
Silo 发布不到一个月，Workshop Labs 就被 Thinking Machines 收购。文章指出，这意味着在 enclave 中运行下一轮 Bridgewater 式强化学习循环所需的部件，如今已经归于同一家公司。
Agent 工具调用仍是私有 AI 的薄弱环节
文章认为，所有私有推理机制之外，还有一个更难绕开的层面：agent 的外部工具调用。无论 prompt 到模型的路径如何加密，只要 agent 需要访问外部日历、数据库、搜索引擎或其他数据源，就会打开一条推理层无法覆盖的明文路径。
最近的 harness engineering 趋势放大了这一问题。接在模型周围的每个工具、记忆库与数据源，都会读取自己负责的那部分工作流切片。比如日历服务器能读到日程，数据库服务器能读到查询。即便 agent 全程本地运行，只要想获取训练集外的信息，仍然要把搜索词以明文发给搜索引擎。
主流方案目前仍停留在协议层。文章提到，Runlayer 和 MintMCP 之类公司会用中央网关统一管理工具流量，在请求发出前屏蔽个人身份信息，控制哪些服务器能接入，并保留调用目的地与内容用于审计。但工具服务器依旧必须读取明文查询才能作答，是否留存副本仍取决于它们各自的保留政策，而且风险会叠加到 harness 中的每一个工具上。
结构级方案则试图先处理中间层。以 Phala 为例，它把 MCP server 直接托管进 TEE，目录覆盖钱包、代码执行和数据源，用户可以通过 attestation 验证隐私声明，而不是单纯信任运营方。不过文章也指出，TEE 托管工具最终还是要把明文查询交给服务提供方，enclave 封住的是信使，不是目的地。
加密搜索仍未走到商用阶段
文章称，只有少数目的地学会了在“不读取明文”的情况下回答问题，而且大多限于结构化查询。Apple 的私有信息检索可在不暴露号码的情况下比对垃圾电话库，Microsoft 在 Edge 浏览器里对密码也使用了类似方案。MongoDB 的 Queryable Encryption 则允许客户端在字段离开前完成加密，服务器仅凭密文完成等值与范围匹配。
但开放式搜索还停留在“信任”层。Brave 在自家 400 亿页索引上承诺零数据留存，但仍属于协议级方案。Exa 构建了神经索引，将关键词嵌入成语义后排序，可嵌入这一步依然是在服务器上基于明文完成。
学术尝试方面，MIT 在 2023 年发表的 Tiptoe 论文，展示了在 3.6 亿网页上完成不暴露查询的排序，但每次搜索都要消耗大量服务器算力，排序质量也低于未加密搜索。Apple 在 2024 年的 Wally 论文中，把真实查询混入一批诱饵中，最多可将通信成本压低 31 倍，但这套方法只有在数百万并发查询时才变得便宜，而文章指出，目前没有任何私有搜索系统达到这个规模。
需求在增长，但离主流仍有距离
IOSG 认为，私有 AI 已经不是概念验证阶段。文中称，Venice AI 最近突破 350 万注册用户和每月 1.3 万亿 token 吞吐，并完成新一轮估值 10 亿美元的 Series A 股权融资。其直接竞争对手 Proton，聊天产品 Lumo 上线一年内用户已突破 1000 万。
基础设施侧，Phala 目前在 OpenRouter 上的日均 token 处理量达到 20 亿至 30 亿。Duck.ai 则把 gpt-oss-120b 和 Gemma 路由进 Tinfoil 的 enclave，在代理方案之外提供可验证隐私。文章还指出，自托管可能才是私有推理最大的渠道，因为模型直接运行在自有硬件上，不会留下使用痕迹。
不过与主流 AI 规模相比，这部分市场仍然很小。文章举例称，Google 全线产品在 5 月处理了 3200 万亿 token，按此计算，Venice 一个月的吞吐量约等于 Google 的 18 分钟。去年 11 月，Google 推出 Private AI Compute（PAC），把部分 Gemini 驱动的功能放进与公司隔离的密封 TPU enclave，并由 NCC Group 独立审计，但 PAC 目前只覆盖个性化推荐、录音摘要等少数 Pixel 功能，并不覆盖 Gemini 应用本身。
当前缺口在哪里
文章最后总结称，当下托管方案仍不完美。选择 E2EE 的用户，需要等待许多功能在服务商无法读取明文的前提下重建；私有 harness 在服务层依然依赖协议；价格合适的后训练，若想拿到最好的微调结果，仍往往要信任第三方供应商；而自托管虽然一次性摆脱服务商，但在本地运行最强开源模型的成本可能极高。
即便如此，私有 AI 已经进入可用且可负担阶段。面对普通消费者，Lumo 和 Venice 提供在无日志承诺下的免费私密聊天，Venice 或 Tinfoil 每月 18 至 20 美元的订阅，则把同类对话放进 enclave，价格并不高于一份 ChatGPT 订阅。对企业工作流而言，带 attestation 的端点已经可能比明文路线更便宜。文中提到，NEAR 的 E2EE API 已能把加密上下文带入 enclave，记忆、文件上传和自定义指令都已可在 E2EE 之上运行。
至于带 attestation 的后训练，文章称，NVIDIA 即将推出的 Vera Rubin NVL72，将把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，让前沿强化学习循环在不暴露 IP 的条件下更具可行性。
IOSG 的结论：重执行任务选信任，核心 alpha 选验证
IOSG 认为，真正可防守的价值，并不在于单纯提供 enclave 开关或协议层网关，而在于尚未被解决的那部分基础设施：封闭在 enclave 中的训练循环、端到端封死的工具调用、看不见词条的搜索索引。谁先做出其中任何一项，卖的都不是可以轻易打价格战的标准化能力。
文章最后给出的判断是：对于重执行、重 agent 的任务，现实选择仍是信任，因为每一次工具调用本来就会把明文交给 enclave 封不住的目的地，而前沿模型在这类循环中的能力配得上它的价格；至于战略、规划以及多年专业经验提炼出的判断，这类构成公司差异化优势的 alpha，更适合放在可验证的私有环境里，用专有洞见去微调开源模型。
在这一框架下，文章重申其开篇观点：在一家公司 alpha 所在的领域里，专家调校的开放模型已经在准确率和成本上同时击败前沿，而在隐私环境下构建它的基础设施，正在一个节点一个节点地到来。