IOSG 发布的一篇长文称，企业和个人正站在 AI 采用的分岔路口：一边是前沿闭源模型带来的能力优势，另一边是隐私、知识产权和数据控制权的现实顾虑。文章核心判断是，在一家公司 alpha 所在的领域里，经过专家调校的开源模型已经能在准确率和成本上同时胜过前沿模型，而支撑私有 AI 的基础设施也在持续补齐。
企业为何开始重视私有 AI
文章提到，7 月 1 日，Palantir CEO Alex Karp 在 CNBC 的采访中称，企业一边为前沿实验室支付 token 溢价，一边看着自家 IP 流向模型提供方。他把这种情况称为 alpha 的转移，并认为问题发生在架构层：每一条发往闭源模型的请求，都是以明文形式抵达服务商服务器。
就在节目播出前几天，Palantir 宣布与 NVIDIA 合作，在客户自控环境中运行开放的 Nemotron 模型，并附带一份九条 AI 主权宣言。CNBC 节目播出后，PLTR 跳涨 8%。
IOSG 认为，过去二十年，企业依靠协议层面的信任采用云软件，这套机制基本可行，因为 SaaS 厂商通常只能看到客户数据的一部分。Salesforce 看到销售渠道，Workday 看到人事信息，Jira 看到开发迭代，AWS 提供存储和计算底座。现在的 AI 工作流则不同，它要求一次性上传跨部门的结构化上下文，以换取更高生产力，这也让上游服务商获得了更完整的数据视图。
尽管隐私与 IP 问题持续存在，前沿实验室并未减速。文中提到，Anthropic 的年化营收在 5 月达到 470 亿美元，较 2025 年底的 90 亿美元明显增长；OpenAI 则在 2 月突破 9 亿周活跃用户。两家公司都在今年春天完成了新一轮融资，估值逼近 1 万亿美元，并预计将在更高估值水平上 IPO。
从企业封禁到零数据留存协议
部分企业很早就开始限制生成式 AI 的使用。文章称，2023 年 2 月，ChatGPT 发布不到 3 个月，华尔街主要银行就已限制其使用。2023 年 5 月，三星工程师将芯片源代码输入 ChatGPT 后，三星在公司网络中封禁了生成式 AI。
作为回应，OpenAI 在 2023 年 8 月推出 ChatGPT Enterprise，承诺不使用商业数据进行训练，并提供零数据留存协议。IOSG 认为，这类 ZDR 协议后来逐渐成为企业采购的标准要求。
但问题并未被彻底解决。文章援引 IBM 的数据称，到 2025 年，影子 AI 已卷入五分之一的数据泄露事件，而重度影子 AI 使用会让单次泄露成本平均增加 67 万美元。安全培训公司 Anagram 在 2025 年的一项调查显示，40% 的员工表示，为了更快完成工作，他们愿意违反 AI 使用政策。
普通用户的隐私争议，直到法院介入才被放大
对于企业来说，至少还能通过采购合同、主权部署等方式降低风险。对普通用户而言，私有 AI 的重要性则长期存在争论，直到法院命令把问题推到台前。
文中提到，2025 年 5 月，一份法院命令要求 OpenAI 保留用户已删除的消费级聊天记录；11 月，法官又下令将其中 2000 万条聊天记录移交给《纽约时报》的律师作为证据开示材料。随后，刑事案件也开始引用 ChatGPT 聊天内容：Palisades 大火纵火案被告的聊天记录被纳入证据，佛罗里达一宗双尸案的宣誓书则引用了嫌疑人关于如何处理尸体的提问。
Sam Altman 也在 2025 年 7 月的一次访谈中承认，ChatGPT 对话不受法律特权保护，OpenAI 在诉讼中“可能被要求交出”用户聊天记录。
IOSG 提到，Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查发现，50% 的受访者并不知道这些对话可能被传唤，三分之二则认为，这类聊天应获得与律师或医生咨询同等的保护。
私有 AI 现在有哪些实现路径
文章把隐私 AI 的实现方式分成协议级隐私、结构级隐私和本地推理几类。核心差别不在于是否处理 prompt，而在于明文出现在路径的什么位置、谁能看到它，以及能否验证回复的私密性。
协议级隐私：依赖承诺
合同式零留存是企业常见方案。服务商知道用户身份，也会处理明文 prompt，但承诺不留存，执行依赖合同和声誉。
匿名代理则试图抹掉“你是谁”，但不加密“你说了什么”。下游模型服务商仍然可以看到明文。文章举例称，Duck.ai 会与模型提供方协商删除协议，Venice 则直接让用户默认服务商可能保留一切，但两种模式都缺乏可验证性。
在网络传输层面，TLS 只能加密管道，接收方仍能读取全部内容。中继可以借助 Oblivious HTTP，把“谁发起请求”和“请求内容是什么”拆开。根据文章，OHTTP 自 2024 年 1 月起成为 IETF 标准，已有不少公司把生产流量跑在从 Cloudflare 和 Fastly 租用的 OHTTP 中继上。
IOSG 认为，这已经接近访问闭源模型时所能获得的隐私上限。原因在于，旗舰级模型训练成本已达十亿美元量级，而实验室接近万亿美元的估值，押注的正是模型权重的独占性。
文章回顾称，Meta 在 2023 年 2 月发布 LLaMA 时原本只向研究者开放，但不到一周，权重便泄露到 4chan；再过一周，llama.cpp 已经让 7B 模型在 MacBook 本地运行；三天后，斯坦福基于同一模型用不到 600 美元微调出 Alpaca。2023 年 7 月，Meta 又以带有 7 亿月活排除条款的商业许可推出 Llama 2。IOSG 的结论是，一旦权重外流，模型溢价也会随之流失。
文中还指出，前沿实验室理论上可以为闭源模型推理提供远程证明，但 attestation 只能证明哪段代码读了 prompt，不能证明这些数据后来被如何使用。若要验证是否留存数据，就必须审计服务代码，而这又会暴露批处理、缓存等利润来源。因此，在没有外部运营方和第三方 attestation 的情况下，可验证隐私目前主要建立在开源模型之上。
结构级隐私：依赖硬件或密码学证明
TEE 机密计算把推理放进硬件 enclave 中，芯片会签署 attestation，说明运行的是哪个模型和哪段代码。但 prompt 在抵达终点前，仍可能在代理链路上被明文读取。
E2EE 则更进一步，用户设备使用 enclave 的密钥对 prompt 加密，中间每一跳传输的都是只有 enclave 能解开的密文。不过，文章指出，E2EE 的可信性也依赖客户端代码本身可审计、可复现，因为负责加密和验证 attestation 的客户端代码，同样有能力破坏这层保证。
与 TEE 相比，E2EE 的代价在于工程复杂度更高，很多依赖读取明文才能运行的功能，都需要围绕客户端密钥重新设计，或者搬到 enclave 内部重建。
至于 FHE 与 MPC，这类路线试图完全去掉受信任方。服务器可以在自己永远无法打开的密文上做计算，或者将 prompt 拆成多方持有的秘密份额。但文中称，FHE 在推理上的成本仍是明文的 1 万到 10 万倍，即使是小模型，每个 token 也要几秒到几分钟，而未加密场景只需毫秒级。用于加密运算的专用芯片还在早期，第一块原型直到 2026 年初才完成 demo，商业化还要再等几年。
本地推理则是最直接的隐私方案，因为数据不需要离开设备。代价同样明显：硬件成本高，且模型能力受限。文章提到，gpt-oss-120b 在 Artificial Analysis 指数上的得分约为 GLM-5.2 的一半，但体积达到 65GB，已经超过两张旗舰游戏显卡显存总和。全精度的 GLM-5.2 甚至只能跑在 8 卡数据中心节点上，GPU 成本就超过 30 万美元。
隐私推理的性能和价格正在下降
尽管存在结构性限制，IOSG 认为，把推理放进 enclave 的代价正在快速压缩。Phala 的单卡基准测试显示，H100 在 enclave 模式下平均吞吐损失不到 7%，在大模型上接近于零，因为主要成本在于把数据搬进芯片，而不是在 enclave 里计算。
多卡推理上，NVIDIA 的 Blackwell 已支持芯片间流量直接加密；老一代 H100 若要达到类似效果，则需要以七分之一带宽绕经 CPU 主机。NVIDIA 自身在 Blackwell 上的基准测试显示，397B 模型在 enclave 模式下的吞吐损失不到 8%。
文章称，enclave 本身几乎不增加额外硬件成本。2023 年之后的每一块 H100 都自带 enclave 模式，主要代价来自加密造成的吞吐下降。当前 Azure 的机密 H100 SKU 租价为每小时 8.90 美元，不开 enclave 为 6.98 美元，溢价约 27%。而在 Phala 这类专门提供 enclave 的运营商上，机密模式 H100 的起租价为每小时 3.80 美元，低于 Lambda 普通 SXM 卡的 3.99 至 4.29 美元。
在托管 API 层面，NEAR AI 提供带 attestation 的 gpt-oss-120b 端点，输入每百万 token 收费 0.15 美元，输出 0.55 美元，文中称其价格与 Amazon Bedrock、Together 和 Groq 的明文路线相当。GLM 5.2 的定价与 Fireworks 完全相同，而在更大的 Kimi K2.6 上，NEAR AI 的输入价格低 15%，输出价格低 4%。
开源模型在特定金融任务中已实现准确率和成本双赢
文章重点引用了 Bridgewater 旗下 AIA Labs 与 Thinking Machines 在 6 月 30 日发布的一个案例。研究团队在 Tinker 上微调了 Qwen3-235B，先采购供应商标注数据完成第一轮训练，再把分歧样本交给公司的投资人员重新标注。
训练采用强化学习 GRPO，并加入三处修改：round-robin batching、CISPO loss 和 on-policy distillation。任务全部取自投资人员的日常工作流，包括判断一则新闻对 C-suite 级投资专业人士是否重要、央行文件是否暗示未来利率变化，以及文档或邮件中的模板化措辞从哪里开始。
根据独立测试集，前沿模型在简单 prompt 下平均得分约 50%，加入专家 prompt 后也只提升到 78.2%，仍低于投资人员设置的 80% 门槛。微调后的 Qwen3-235B 得分达到 84.7%。按原文口径，这意味着它比最优前沿模型少犯 29.8% 的错误，同时推理成本低 13.8 倍。
相关研究链接为：https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
不过，IOSG 也强调，这并不意味着训练过程已经实现私有化。Bridgewater 的专家标注数据在流程中仍经过 Tinker 这一第三方服务，整个训练也运行在基金并不掌控的机器上，信任假设仍停留在 ZDR 协议同一层级。
隐私后训练基础设施开始出现
文章提到，带 attestation 的后训练方案已开始落地。3 月，Workshop Labs 和 Tinfoil 发布 Silo，这是一套运行在 Tinfoil enclave 中、基于单个 8 卡节点的后训练栈，密钥只由客户掌握。
按文章给出的数据，两小时训练会额外增加 11 分钟开销。Silo 通过冻结基座权重、只训练小型 adapter，能够容纳一个万亿参数模型，即 Kimi K2 Thinking。难点仍然是强化学习中的跨组件数据搬运，因为这恰好是 enclave 成本最明显的部分。
Silo 发布不到一个月，Workshop Labs 就被 Thinking Machines 收购。IOSG 认为，这意味着在 enclave 中复现下一轮 Bridgewater 式强化学习循环所需的关键组件，已经集中到同一家公司手中。
真正的缺口不在推理，而在工具调用和搜索
IOSG 认为，所有私有推理路径都绕不开一个共同问题：agent 每一次外部工具调用，都会打开一条推理层无法控制的明文路径。最近流行的 harness engineering，让模型连接更多工具、记忆库和数据源，也把这个问题放大了。
日历服务器需要读取日程，数据库服务器需要读取查询内容。即便是完全本地运行的 agent，只要它想访问训练集之外的信息，仍需要把搜索词以明文形式发给搜索引擎，因为服务端若看不到查询内容，就无法返回答案。
主流方案目前仍停留在协议层。Runlayer、MintMCP 等公司通过中心化网关管理工具流量，在请求发出前屏蔽个人身份信息，决定哪些服务器可以接收流量，并记录调用目的地和内容用于审计。即使这些管控经过 SOC 2 审计，工具服务器仍需要读取明文查询，是否留存数据取决于自身条款，而且这种风险会随着工具数量叠加。
结构级方案则试图把中间层放入 TEE。文中举例称，Phala 已将 MCP server 直接托管进 TEE，覆盖钱包、代码执行和数据源，用户可以通过 attestation 验证隐私声明。但问题仍未彻底消失：最终服务提供方还是要看到明文查询，enclave 只能封住信使，无法封住目的地。
在结构化查询中，少数方案已经能做到“看不到内容也能回答”。Apple 的私有信息检索可在不暴露来电号码的情况下比对垃圾电话库，Microsoft 在 Edge 中对密码也使用了类似方案；MongoDB 的 Queryable Encryption 则允许客户端在字段离开前完成加密，服务器仅凭密文就能做等值和范围匹配。
开放式搜索仍远未成熟。Brave 在自己的 400 亿页索引上承诺零数据留存，但仍属于协议级。Exa 的神经索引会把关键词转成语义嵌入后排序，但嵌入仍在服务器上从明文开始计算。MIT 在 2023 年提出的 Tiptoe 论文可在 3.6 亿网页上完成不暴露查询的排序，但服务器算力消耗很高，排序质量也弱于未加密搜索。Apple 在 2024 年的 Wally 论文中，通过把真实查询混入诱饵把通信成本最多压低 31 倍，但只有在数百万并发查询规模下才具备经济性，而当前没有任何私有搜索系统达到这一体量。
需求已出现，但与主流 AI 规模仍有明显差距
文章列举的市场数据表明，私有 AI 已经形成真实需求。Venice AI 最近突破 350 万注册用户，每月处理 1.3 万亿 token，随后完成一轮估值 10 亿美元的 Series A 融资。其直接竞争对手 Proton，聊天产品 Lumo 在上线一年内用户突破 1000 万。
基础设施层面，Phala 目前仅在 OpenRouter 上就日均处理 20 亿至 30 亿 token。Duck.ai 已将 gpt-oss-120b 和 Gemma 路由至 Tinfoil 的 enclave，为用户提供代理层之外的可验证隐私。文章也指出，自托管很可能仍是私有推理最大的渠道，因为模型直接运行在用户自己的硬件上，不会留下使用痕迹。
不过，相较于主流 AI 的总量，隐私 AI 仍然很小。IOSG 称，Google 在 5 月全线产品共处理 3200 万亿 token。按这个口径计算，Venice 一个月的吞吐量仅相当于 Google 大约 18 分钟。
去年 11 月，Google 推出 Private AI Compute，把部分 Gemini 驱动的功能放入与公司自身隔离的 TPU enclave 中运行，并由 NCC Group 做独立审计。但它目前只覆盖个性化推荐、录音摘要等少数 Pixel 功能，并不包括数亿用户正在使用的 Gemini 应用。
价格已接近主流产品，缺口仍在 agent 工作流
IOSG 的结论是，私有 AI 已经是一个真实且可负担的选项。对普通用户来说，Lumo 和 Venice 提供了基于开放模型、带无日志承诺的私密聊天服务且无需付费；Venice 或 Tinfoil 每月 18 至 20 美元的订阅，则可以把同类聊天放进 enclave 中，价格并不高于一份 ChatGPT 订阅。
在企业场景里，带 attestation 的端点现在甚至可能比明文路线更便宜。文章称，NEAR 的 E2EE API 已经支持把加密上下文带入 enclave，记忆、文件上传和自定义指令也能在 E2EE 环境中运行。
后训练方面，NVIDIA 即将推出的 Vera Rubin NVL72 将把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，使前沿强化学习循环在不暴露 IP 的前提下变得更可行。
但 IOSG 也指出，真正具备防守性的价值，仍落在尚未解决的部分：enclave 内的训练循环、端到端封闭的工具调用、以及看不到词条内容的搜索索引。相比之下，只是租售 enclave 开关的运营商和协议层网关，护城河并不深。
报告结论：重执行任务选信任，涉及 alpha 的判断选验证
文章最后给出的判断是，对于重执行、重 agent 的任务，现阶段更现实的选择仍是信任，因为每一次工具调用都会把明文交给 enclave 无法封住的目的地，而前沿模型在这类循环中仍具备价格支撑。
但对于真正区分一家公司与竞争对手的高阶思考，例如战略、规划和多年专业经验提炼出的判断，优先级则应转向验证。IOSG 认为，这部分内容正是争议中的 alpha；未来路径是在企业可控边界内，用这些专有洞见去微调开源模型。
文章的落点很明确：在一家公司 alpha 所在的领域里，专家调校的开放模型已经在准确率和成本上同时击败前沿模型，而在隐私环境中构建它的基础设施，也正一节点一节点地到来。