返回本地推理

本地推理

伯克利
2026-08-23 10:55:51

伯克利与 UT Austin 推出边缘原生 MoE 推理引擎 FreeToken

加州大学伯克利分校与得州大学奥斯汀分校研究团队发布边缘原生混合专家模型推理引擎 FreeToken。该系统将个人计算机作为统一弹性推理平台,支持在单张工作站 GPU、游戏台式机和 8GB 显存笔记本 GPU 上运行不同规模模型。FreeToken 已以 Apache-2.0 协议开源,发布到 GitHub 和 PyPI,并提供 Windows、Linux 桌面应用及兼容 OpenAI、Anthropic 的 API 接口。

270
伯克利与 UT Austin 推出边缘原生 MoE 推理引擎 FreeToken
AMD
2026-08-14 15:36:04

AMD为阿里开源模型 Qwen3.8-27B 提供发布当日支持

AMD宣布为阿里通义千问最新一代模型 Qwen3.8-27B 提供“Day 0”支持,开发者可在模型发布当天通过 AMD 硬件本地运行该开源模型。AMD称,该模型可通过 llama.cpp 运行在搭载 AMD 处理器的 AI PC、工作站及单张 32GB AMD 显卡上,并支持超过 24GB 可变显存或显存容量的平台。初步测试显示,该模型在 Ryzen AI Max+ 395 上最高达 24.5 tokens/秒,在 Radeon AI PRO R9700 上最高达 51.8 tokens/秒。

550
AMD为阿里开源模型 Qwen3.8-27B 提供发布当日支持
Tether AI
2026-07-27 21:58:46

Tether AI 发布 QVAC SDK 0.16,加入图像视频与机器人本地执行支持

Tether AI 发布 QVAC SDK 0.16,新增 Ideogram 4 图像生成、LTX-2 音视频同步视频生成,以及 NVIDIA GR00T 机器人模型本地执行支持。该版本还改进了 OpenAI 兼容服务器,用于简化编码智能体集成流程。这个基于 Apache 2.0 许可的开源工具包可通过 Node.js 跨多操作系统运行,并支持点对点网络能力。

1010
Tether AI 发布 QVAC SDK 0.16,加入图像视频与机器人本地执行支持