Vitalik提出本地私有大模型方案：5090笔记本跑出90 token/s

以太坊联合创始人 Vitalik Buterin 日前提出一套本地化、私有化部署大语言模型（LLM）的方案，核心目标是提升隐私与安全性，尽量避免因依赖远程模型或外部服务而带来的数据泄露与未授权访问风险。

强调本地推理与隔离式架构

根据披露的思路，该方案将重点放在本地推理、设备端文件存储以及沙箱隔离三项措施上。与将敏感数据上传至云端不同，本地运行模型可以减少数据外发路径，从架构层面降低信息暴露面。设备端存储则有助于用户更直接地掌控文件与上下文数据，而沙箱隔离被视为限制模型访问权限、提升运行安全性的关键补充。

多款硬件测试结果公布

在硬件测试方面，Buterin 选用了多种设备进行对比，包括配备NVIDIA 5090 GPU的笔记本电脑、搭载AMD Ryzen AI Max Pro且配有128GB统一内存的设备，以及DGX Spark。测试结果显示，在运行Qwen3.5 35B模型时，5090 笔记本实现了90 token/s的推理速度，AMD 设备达到51 token/s，DGX Spark 则为60 token/s。

偏好高性能笔记本作为本地AI环境基础

从测试结论看，Buterin 更倾向于将高性能笔记本作为搭建本地 AI 环境的主要载体。这类设备在性能、便携性与私有化部署之间取得了相对平衡，适合希望在个人环境中运行模型的用户。他提到的相关工具包括llama-server、llama-swap 和 NixOS，显示其方案不仅关注硬件能力，也重视模型调度、环境管理与系统层面的可控性。

整体来看，这一计划反映出 AI 应用在效率之外，正进一步向隐私保护、终端自治和安全隔离方向演进。对于关心数据安全的开发者和高频使用者而言，本地私有大模型或正成为更具吸引力的部署路径。