腾讯混元 Hy4 preview 将底层架构从 Hy3 的全注意力改为 Gated DSA（DeepSeek 稀疏注意力的门控版），并叠加智谱 IndexCache，减少超长文本下的重复计算。腾讯称设计受 DeepSeek 和 GLM 启发。残差结构用 iHC 扩成 4 条信息主干，MoE 专家从 192 个增至 256 个路由专家+1 个共享专家，每 Token 选 8 个路由专家。

腾讯发布混元Hy4 preview，采用MoE架构：总参数770B、激活49B，上下文1M，规模约为上代两倍多，长上下文约4倍。模型主攻代码、办公、游戏、科研等真实任务，可搭Three.js网站、做Unity游戏Demo、一次处理72份财务文件。Hy4与WorkBuddy、CodeBuddy等产品共同迭代，并参与自身研发；已接入元宝、ima、腾讯云TokenHub、OpenRouter。