Vitalik Buterin公布本地私有LLM部署计划，测试5090等硬件性能

以太坊创始人Vitalik Buterin近日公布了一项针对本地私有大语言模型（LLM）的部署计划，核心目标是提升隐私与安全性。该计划通过避免使用远程模型和外部服务来降低数据泄露与未授权访问的风险。

关键策略：本地化与隔离

Buterin提出的策略包括本地推理、设备端文件存储以及沙盒隔离。这一方案旨在让用户完全掌控AI交互中的敏感数据，无需依赖云端服务器。对于金融、医疗等数据密集型场景，本地私有LLM能显著减少合规风险。

硬件测试与性能对比

为了验证可行性，Buterin对多款硬件进行了测试，包括搭载NVIDIA RTX 5090的笔记本电脑、配备128GB统一内存的AMD Ryzen AI Max Pro设备以及NVIDIA DGX Spark。在Qwen3.5 35B模型上，5090平台达到90 tokens/秒，AMD设备为51 tokens/秒，DGX Spark为60 tokens/秒。结果显示，高性能笔记本电脑在本地AI环境中更具优势。

工具与偏好

Buterin建议使用llama-server、llama-swap和NixOS等工具搭建本地AI环境。他个人倾向选择高算力笔记本，认为其在功耗、便携性与性能之间取得了更好平衡。此举也为区块链开发者提供了无需网络即可运行AI代理的可能性。