PrismML发布 Bonsai 27B,可在 iPhone 上本地运行
PrismML推出 Bonsai 27B,称其是首个突破消费级智能手机内存门槛的 27B 级 AI 模型。该模型压缩后最低仅 3.9 GB,可在 iPhone 17 Pro Max 上以 11 tokens/s 运行,三值版本为 5.9 GB,在 M5 Pro 笔记本上约 26 tokens/s。PrismML表示,Bonsai 27B 采用基于 Caltech 知识产权的压缩方法,并以 Apache 2.0 免费提供下载。公司 CEO Babak Hassibi 还向 CNBC 确认,PrismML 正与苹果进行早期接触,苹果在评估这项压缩技术是否适合端侧部署。







