Zyphra
2026年11月3日

Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力

Zyphra 发布 Zyphra Hierarchical Attention(ZHA),这是一种基于树状索引器的稀疏注意力方法,目标是解决现有稀疏注意力中索引器仍需扫描全部上下文的问题。该方法可蒸馏到已预训练的冻结模型中,训练使用约 40 亿 token。在 Qwen3.6-35B-A3B 上,ZHA 在推理、代理编码和 256K 检索基准中的表现接近密集注意力,并在 LongBench v2 上以 63.4% 准确率高于密集注意力的 58.0%,同时仅使用约 1.1% 的键。

490
Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力
MIT
2026年11月3日

MIT 团队提出免训练改权重方法,Qwen 数学成绩升至 48.1%

MIT CSAIL 研究团队发布一篇尚未经过同行评审的博客文章,提出「权重空间编程」方法,让 OpenAI 的 GPT-6 Astra 在不训练、也不用梯度的情况下直接读取并改写另一模型权重。在一项实验中,Astra 仅修改 Qwen3.5-0.8B 的 0.016% 权重,就让其 MATH-500 成绩从 7.9% 提高到 48.1%,GSM8K 从 13.8% 提高到 67.1%。团队称,这类修改修复的是推理循环等障碍,并未为模型加入原本不存在的能力。

790
MIT 团队提出免训练改权重方法,Qwen 数学成绩升至 48.1%
东京大学
2026年10月29日

东京大学用狼人杀测试多模态模型,MIDA揭示社交推理短板

东京大学团队提出多模态交互式欺骗评估基准 MIDA,并已被 EMNLP 2026 主会接收。该基准基于「一夜终极狼人」构建,覆盖 2360 条发言,用于测试 GPT、Gemini、Claude、Qwen、DeepSeek 等模型在多人互动中的真假判断与策略识别能力。结果显示,模型总体准确率可能被大量「中性」样本掩盖;在必须区分真话与假话的任务上,多数模型表现明显下滑。研究还发现,对话历史比更多视觉线索更关键,DSEM 这类持续追踪参与者知识与立场的方法带来更稳定提升。

650
东京大学用狼人杀测试多模态模型,MIDA揭示社交推理短板
EAGLE-4
2026年10月21日

EAGLE-4发布:Qwen推理提速 3.6 倍,手机 CPU 生成也加快

大模型推理加速公司 Eagle 发布 EAGLE-4,更新其推测解码方案。新版通过降低草稿模型计算开销,并按硬件性能和并发数调整预测规模,减少额外计算带来的拖慢。在 4 张 NVIDIA B300 GPU 上,Qwen3.8-27B 单请求生成速度从 240.5 Token/秒升至 863.8 Token/秒;在 512 并发请求下,总吞吐量从 2.12 万升至 2.83 万 Token/秒。手机端方面,摩托罗拉 Razr 70 Ultra 上的 Gemma-4-E2B-it 仅用 CPU 即实现 3.2 倍长文本生成提速。

940
EAGLE-4发布:Qwen推理提速 3.6 倍,手机 CPU 生成也加快
PS5
2026年10月15日

越狱 PS5 可作本地 AI 服务器,PS5LM Plus 跑 27B 模型达 20 tok/s

开发者 abhi245y 在 GitHub 发布开源项目 PS5LM Plus,把越狱后的 PS5 变成可运行本地大模型的 AI 服务器。该项目以原生 App 形式在 PS5 上运行 llama.cpp,并通过 Vulkan 调用 GPU,实测 Qwen3.8-27B 的 2-bit 量化版约 20 tok/s,Llama 3.2 3B 约 124 tok/s。项目仅支持 7.00 至 13.60 固件的越狱主机,且需预先加载多项 payload;开发者也提示,27B 模型依赖重度量化,长提示读入速度偏慢。

1000
越狱 PS5 可作本地 AI 服务器,PS5LM Plus 跑 27B 模型达 20 tok/s
Liquid AI
2026年10月14日

Liquid AI升级24B本地模型,Agent测试成绩超过更大Qwen模型

Liquid AI发布LFM2.5-24B-A2B,继续采用240亿总参数、单次激活约20亿参数的设计,重点提升本地Agent推理与工具调用能力。新模型预训练数据从17万亿增至33万亿Token,上下文扩至131K,并在多种Agent框架中进行强化学习。官方测试称,其在苹果M5 Max上生成速度可达每秒184 Token,部分Agent基准成绩高于Qwen3.6-35B-A3B,但在SWE-bench Verified编程测试中仍落后于后者。

1890
Liquid AI升级24B本地模型,Agent测试成绩超过更大Qwen模型
共 62 条
前往页