在一家公司 alpha 所在的领域里，专家调校的开放模型，已经能同时压过前沿模型的准确率和成本。IOSG 认为，问题不再只是模型谁更强，而是谁来持有数据、谁能读取 prompt，以及这种隐私能否被验证。
企业为何开始重新审视私有 AI
作者 Jeff @IOSG 在文中写道，7 月 1 日，Palantir CEO Alex Karp 在 CNBC 的一段约 20 分钟采访引发广泛讨论。按 Karp 的说法，企业一边为前沿实验室支付 token 溢价，一边看着自家 IP 流向模型服务商。他把这种现象称为 alpha 的转移，原因就埋在架构里：每一条发往闭源模型的请求，都会以明文形式抵达服务商服务器。
就在节目播出前几天，Palantir 刚宣布与 NVIDIA 合作，计划在客户自控环境内运行开放的 Nemotron 模型，并附带一份九条 AI 主权宣言。节目播出后，PLTR 跳涨 8%。
过去二十年里，企业能接受云软件，靠的是协议层面的信任。SaaS 厂商通常只掌握客户数据的一部分：Salesforce 看到销售渠道，Workday 看到人事，Jira 看到开发迭代，AWS 则提供存储和算力底座。AI 工作流不同。它要求企业一次性上传大量内部数据，还要串联各部门的结构化上下文，服务商得到的数据深度和广度都高得多。
文中提到，Anthropic 的年化营收在 5 月达到 470 亿美元，较 2025 年底的 90 亿美元大幅上升；OpenAI 则在 2 月突破 9 亿周活跃用户。两家公司今年春天都完成了新一轮融资，估值逼近 1 万亿美元，并预计将以更高估值 IPO。多年围绕隐私和 IP 的指控，并未削弱它们的增长势头。
限制 ChatGPT，企业早就开始行动
报告指出，2023 年 2 月 ChatGPT 发布不到 3 个月，华尔街主要银行就已限制其使用。2023 年 5 月，三星工程师将芯片源代码输入 ChatGPT 后，三星在公司网络内封禁生成式 AI。
OpenAI 随后在 2023 年 8 月推出 ChatGPT Enterprise，承诺不使用商业数据训练，并提供零数据留存（ZDR）协议。此后，ZDR 成为企业采购时的常见要求。
但合同约束通常只覆盖公司账号，挡不住员工个人账号形成的“影子 AI”。IBM 发现，到 2025 年，影子 AI 已卷入五分之一的数据泄露事件，重度影子 AI 使用会让单次泄露平均多出 67 万美元成本。安全培训公司 Anagram 在 2025 年的一项调查中发现，40% 员工表示，为了更快完成任务，他们愿意违反 AI 使用政策。
普通用户的隐私争议，已进入法院场景
企业还能用合同和专门部署降低风险，普通用户的处境则不同。文中提到，2025 年 5 月，一项法院命令要求 OpenAI 连已删除的消费级聊天记录也必须保留；同年 11 月，法官又要求其中 2000 万条聊天记录移交给《纽约时报》律师，作为证据开示材料。
类似情况还进入刑事案件。Palisades 大火纵火案被告的 ChatGPT 记录被纳入证据；佛罗里达一宗双尸命案的宣誓书，也引用了嫌疑人关于如何处理尸体的提问。
Sam Altman 在 2025 年 7 月的一次访谈中承认，ChatGPT 对话不受法律特权保护，在诉讼中 OpenAI“可能被要求交出”用户聊天记录。
报告援引 Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查称，50% 受访者不知道这些对话可以被传唤，三分之二的人认为，这类聊天应得到与律师或医生咨询同等级别的保护。
隐私 AI 现有方案：协议层、结构层与本地推理
IOSG 将隐私 AI 的实现方式分成几类。核心问题都一样：一条 prompt 离开设备，经过网络，到达运行模型的机器，再返回结果。差异在于，明文在哪里出现、谁能读取、以及用户能否验证服务方的隐私承诺。
协议级隐私：依赖承诺，而非验证
在协议级方案里，服务商或中间方仍可能读到明文。企业常见做法是合同式零留存，服务商知道用户身份并处理 prompt，但承诺不保留数据；匿名代理则隐藏“你是谁”，却不加密“你说了什么”。文中举例称，Duck.ai 会与模型商协商删除协议，Venice 则直接要求用户默认服务商可能保存一切，但两者都缺少可验证性。
TLS 只能加密传输管道，接收方仍可读取全部内容。中继常使用 Oblivious HTTP（RFC 9458）拆分知情权：中继知道请求来自谁，却读不到内容；接收方能读内容，但不知道发送者是谁。OHTTP 自 2024 年 1 月起已成为 IETF 标准，很多公司把生产流量跑在从 Cloudflare 和 Fastly 租来的 OHTTP 中继上。
报告认为，这基本就是访问闭源模型时所能达到的隐私上限。原因很直接：一次旗舰级模型训练成本已达十亿美元量级，实验室近万亿美元估值的前提，就是权重的独占性。
Meta 曾经历过一次典型案例。2023 年 2 月发布的 LLaMA 最初只向研究者开放，不到一周权重便泄露到 4chan；再过一周，llama.cpp 已可让 7B 模型在一台 MacBook 本地运行；3 天后，斯坦福团队又在同一模型上用不到 600 美元微调出聊天助手 Alpaca。到 2023 年 7 月，Meta 正式以附带 7 亿月活排除条款的商业许可发布 Llama 2。
文中指出，前沿实验室理论上可以为闭源推理提供远程证明，但 attestation 只能证明是哪段代码读取了 prompt，无法证明这段代码后续如何使用数据。要验证是否留存数据，就得审计服务代码，并让其与硬件报告的哈希一一对应。可一旦公开服务代码，实验室也等于交出了批处理和缓存等关键工程技巧。
结构级隐私：TEE、E2EE 与 FHE
结构级方案试图用硬件、密码学或物理机制替代信任承诺，但代价是复杂度上升，而且目前基本只能跑开源模型。
TEE（可信执行环境）把推理放进硬件 enclave 中运行，连机器运营方也无法直接打开这个环境。芯片会出具 attestation，说明究竟运行了哪个模型、哪段代码。问题在于，prompt 在到达终点前，经过代理或中转时仍可能出现明文。
E2EE（端到端加密）进一步封住中继。用户设备利用 enclave 密钥加密 prompt，中间每一跳只传递密文。可验证的 E2EE 既要求可证明的 enclave，也要求开放、可复现的客户端代码，因为负责加密和验证 attestation 的客户端，本身也有能力破坏这套保证。
FHE（全同态加密）及 MPC 变体则更激进：服务器在永远打不开的密文状态下完成计算，或把 prompt 拆成秘密份额交给多方处理。代价同样明显。文中称，密文推理成本通常是明文的 1 万到 10 万倍，小模型每个 token 也可能要几秒到几分钟，而未加密推理只需毫秒。用于加密计算的定制芯片，第一块原型要到 2026 年初才完成 demo，商业化还要再等几年。
本地推理是另一条路线。模型直接跑在用户自己的硬件上，不经过中继、服务器和服务商，也就没有验证需求。问题是成本和模型能力。gpt-oss-120b 在 Artificial Analysis 指数上的得分约为 GLM-5.2 的一半，但体积达 65GB，超过两张旗舰游戏显卡的显存总和；全精度 GLM-5.2 只能在 8 卡数据中心节点上运行，仅 GPU 成本就超过 30 万美元。
机密计算的成本正在下降
报告认为，在结构性限制之外，把推理放进 enclave 的实际成本，正在变得更可接受。Phala 的单卡基准测试显示，H100 在 enclave 模式下的平均吞吐损失不到 7%，大模型场景下接近于零，因为主要开销来自数据搬运，而非芯片内计算。
多卡方面，NVIDIA 新一代 Blackwell 已支持芯片间流量直接加密，而老款 H100 若要实现相同效果，只能以七分之一带宽绕经 CPU 主机。NVIDIA 的 Blackwell 基准测试显示，397B 模型在 enclave 模式下的吞吐损失不到 8%。
价格上，Azure 的机密 H100 租价为每小时 8.90 美元，普通模式为 6.98 美元，溢价约 27%。而在 Phala 这类专门提供 enclave 的运营商上，机密模式 H100 起租价为每小时 3.80 美元，低于 Lambda 普通 SXM 卡 3.99 至 4.29 美元的区间。
在托管 API 方面，NEAR AI 提供带 attestation 的 gpt-oss-120b 端点，输入每百万 token 收费 0.15 美元，输出 0.55 美元，与 Amazon Bedrock、Together 和 Groq 的明文方案相当。对于需要多芯片并行的模型，NEAR AI 在 GLM 5.2 上与 Fireworks 定价一致，在更大的 Kimi K2.6 上输入便宜 15%，输出便宜 4%。
开源模型能否真正赢过前沿模型
尽管前沿闭源模型仍领先一截，Bridgewater 旗下 AIA Labs 与 Thinking Machines 在 6 月 30 日给出的案例，为开源路线提供了一个直接样本。
研究团队在 Thinking Machines 托管的微调 API 服务 Tinker 上，对 Qwen3-235B 进行微调。流程包括：先从供应商采购标注数据完成第一轮训练，再将分歧样本交给公司的投资人员重新标注。训练使用强化学习 GRPO，并配合 round-robin batching、CISPO loss 和 on-policy distillation 三项修改。
任务全部来自投资人员的日常工作流，例如：一篇新闻对 C-suite 级投资专业人士是否重要，一份央行文件是否暗示未来利率变化方向，一封邮件或一份文档中的模板化表述从哪里开始。评分来自独立测试集。
结果显示，前沿模型在简单 prompt 下平均得分约 50%，加入专家 prompt 后也仅升至 78.2%，仍低于投资团队设定的 80% 门槛；微调后的 Qwen3-235B 得分达到 84.7%。按原文口径，这意味着相较前沿最优方案，错误率少 29.8%，推理成本低 13.8 倍。
https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
不过，这个训练过程本身并不私有。Bridgewater 的专家标注数据经过 Tinker 第三方服务，信任层级仍与 ZDR 协议接近；训练算力也是租来的，整套过程运行在客户无法掌控的机器上。要减少这层信任假设，当前选择并不多：租裸 GPU 集群，训练过程仍对云运营方可见；直接买集群，则成本陡增。
带 attestation 的训练路线刚刚出现。3 月，Workshop Labs 和 Tinfoil 发布 Silo，这是一套运行在 Tinfoil enclave 中、部署在单个 8 卡节点上的后训练栈，密钥只由客户掌控。文中给出的数据是，两小时训练会额外增加 11 分钟。该栈通过冻结基座权重、只训练小型 adapter，甚至可以容纳一个万亿参数模型，即 Kimi K2 Thinking。报告同时指出，强化学习需要在多个组件间频繁搬运数据，而这正是 enclave 的主要成本来源。
Silo 发布不到一个月，Workshop Labs 就被 Thinking Machines 收购。文中认为，在 enclave 里跑下一轮 Bridgewater 式强化学习循环所需的部件，因此集中到了同一家公司名下。
Agent 时代的另一道难题：工具调用和搜索
即便 prompt 到模型的路径被保护住，agent 发起的每一次外部工具调用，仍会打开一条新的明文通道。当前流行的 harness engineering，会把模型连接到更多工具、记忆库和数据源，这意味着更多目的地可以各自读取工作流的一部分：日历服务器能看到日程，数据库服务器能看到查询，请求搜索引擎时，搜索词也必须以明文交给对方，否则服务端无法返回答案。
主流解决办法依旧停留在协议层。Runlayer、MintMCP 这类公司通过中央网关管理工具流量，在请求离开前屏蔽个人身份信息，决定哪些服务器可以接收流量，并记录调用目的地和内容用于审计。即便这类系统有 SOC 2 审计，工具服务器仍需要读取明文查询，是否留存数据仍取决于各自条款，而且所有工具都要分别承担这层风险。
结构级方案则开始处理中间层。Phala 把 MCP server 直接托管进 TEE，目录覆盖钱包、代码执行和数据源，用户可以凭 attestation 验证隐私声明，而不是只相信运营方。但文中强调，TEE 托管的工具最终仍得把查询以明文交给真正的服务提供方，enclave 只能封住信使，封不住目的地。
只有少数结构化查询，可以在“不读取内容”的前提下完成。Apple 为 iPhone 提供私有信息检索，用于来电号码与垃圾电话数据库比对；Microsoft 在 Edge 中对密码采用过类似方案；MongoDB 的 Queryable Encryption 允许客户端在字段离开前完成加密，服务器仅凭密文完成等值和范围匹配。
开放式搜索还没有走出这一步。Brave 在自家 400 亿页索引上承诺零数据留存，但仍属于协议层；Exa 使用神经索引对语义进行匹配和排序，可 embedding 仍然从明文开始计算。MIT 在 2023 年发表的 Tiptoe 论文，实现了在 3.6 亿网页上完成排名而不暴露查询，但每次搜索都要消耗大量服务器算力，排序质量也落后于未加密搜索。Apple 2024 年的 Wally 论文则通过把真实查询混入诱饵中，把通信成本最多压低 31 倍，但要到数百万并发查询时才具备价格优势，而当前没有任何私有搜索系统具备这一规模。
市场在增长，但主流份额仍很小
文中提到，Venice AI 最近已突破 350 万注册用户和每月 1.3 万亿 token 吞吐，并完成新一轮估值 10 亿美元的 Series A 股权融资。其直接竞争对手 Proton，聊天产品 Lumo 上线一年内用户突破 1000 万。
基础设施方面，Phala 目前仅在 OpenRouter 上就日均处理 20 亿至 30 亿 token。Duck.ai 已把 gpt-oss-120b 和 Gemma 路由到 Tinfoil 的 enclave 中，为用户提供代理之外的可验证隐私。文中还提到，自托管可能是私有推理最大的渠道，因为模型运行在自己的硬件上，不会留下使用痕迹。
但在整个主流 AI 体系中，隐私 AI 仍只占极小部分。5 月，Google 全线产品处理了 3200 万亿 token。按这一口径计算，Venice 一个月的吞吐量，只相当于 Google 约 18 分钟。
Google 在去年 11 月推出 Private AI Compute（PAC），把部分 Gemini 驱动功能放进与公司自身隔离的 TPU enclave 中运行，且设计由 NCC Group 独立审计。但 PAC 仅覆盖个性化推荐、录音摘要等少数 Pixel 功能，并不覆盖大规模用户正在使用的 Gemini 应用。
当前缺口仍在，但价格差距持续收窄
报告最后认为，私有 AI 还不完美。想要最高隐私的 E2EE 用户，仍需等待更多功能在服务商无法读取的环境中重建；私有 harness 在服务层仍然依赖协议；想以合理价格完成后训练、同时拿到最好结果的买家，依然需要信任第三方；自托管虽然可以直接绕开所有服务商，但在本地运行最强开源模型，投入可能极高。
不过，私有 AI 已经从概念变成真实且可负担的选项。对普通用户来说，Lumo 和 Venice 已提供基于无日志承诺的开放模型私密聊天，免费可用；Venice 或 Tinfoil 每月 18 至 20 美元的订阅，则可以把同类聊天进一步封进 enclave，价格与一份 ChatGPT 订阅接近。企业侧，带 attestation 的端点目前甚至可能比明文方案更便宜。文中提到，NEAR 的 E2EE API 已能把加密上下文带入 enclave，记忆、文件上传和自定义指令都可以运行在 E2EE 之上。
训练端也在推进。NVIDIA 即将推出的 Vera Rubin NVL72，将把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，使前沿强化学习循环在不暴露 IP 的前提下变得更可行。
IOSG 给出的结论并不绝对。对于高执行密度、强 agent 化的任务，报告建议仍可选择“信任”，因为每一次工具调用都可能把明文交给 enclave 无法覆盖的目的地，而前沿模型在这类场景下仍配得上其价格。至于战略、规划，以及多年专业经验沉淀出的判断，作者认为更适合选择“验证”——也就是在公司自控边界内，用专有洞见去微调开源模型。
文章最后写道，在一家公司 alpha 所在的领域里，专家调校的开放模型已经在准确率和成本上同时击败前沿，而能在隐私环境下构建这类模型的基础设施，正在一个节点一个节点地补齐。