伯克利与 UT Austin 推出边缘原生 MoE 推理引擎 FreeToken

加州大学伯克利分校与得州大学奥斯汀分校研究团队发布边缘原生混合专家模型推理引擎 FreeToken。该系统将个人计算机作为统一弹性推理平台，支持在单张工作站 GPU、游戏台式机和 8GB 显存笔记本 GPU 上运行不同规模模型。FreeToken 已以 Apache-2.0 协议开源，发布到 GitHub 和 PyPI，并提供 Windows、Linux 桌面应用及兼容 OpenAI、Anthropic 的 API 接口。