伯克利与 UT Austin 推出边缘原生 MoE 推理引擎 FreeToken

加州大学伯克利分校和得州大学奥斯汀分校研究团队发布边缘原生混合专家模型推理引擎 FreeToken。该系统将个人计算机作为统一的弹性推理平台，可在单张工作站 GPU 上运行 753B 参数的 GLM-5.2 模型，在游戏台式机上运行 284B 模型，并在 8GB 显存的笔记本 GPU 上以交互速度运行 35B 模型。

FreeToken 已以 Apache-2.0 协议在 GitHub 开源，并发布至 PyPI，同时提供适用于 Windows 和 Linux 的一键桌面应用程序。其 CLI 支持 Linux x86_64 系统及 NVIDIA GPU，用户可通过 ft serve 命令在 1919 端口暴露与 OpenAI 和 Anthropic 兼容的 API 端点。

这套引擎面向个人开发者、初创公司及中小企业工程团队，重点覆盖对数据隐私要求严格的场景，包括医疗、法律、国防、金融及知识产权密集型研发。典型应用包括本地编码智能体、私有代码审查、离线合同分析及合成数据生成。

该消息由 MarkTechPost 披露，Techub 进行了汇总发布。