一家成立仅一年的公司，借助 AI 编程 Agent，在 10 小时内为一款 AI 芯片搭出了一套“类 CUDA 软件”。这次切入 CUDA 的，不是传统芯片厂的软件团队，而是英伟达生态喂养出的 AI 能力本身。
不过，若据此断言英伟达花了近 20 年建立的软件护城河已被“复刻”甚至击穿，结论还是下得太早。眼下被快速生成出来的，主要是面向特定芯片的底层推理 Kernel 和配套软件能力，离 CUDA 完整生态仍有不小距离。
10 小时搭出“类 CUDA 软件”
提起英伟达，不少人首先想到的是 GPU，尤其是 H100、Blackwell、Rubin 这些一代代性能更强的芯片产品。但让英伟达更难被替代的，并不只是硬件，而是围绕 GPU 建立起来的软件生态。
CUDA 全称 Compute Unified Device Architecture，由英伟达高管 Ian Buck 带队，花了近 20 年打造。它常被称作一种编程语言，但更准确地说，CUDA 是一整套围绕英伟达 GPU 建立的软件平台。
若按结构拆分，最底层是内核层，包括直接驱动芯片执行任务的 Kernel、编译器和运行时；中间是库层，包括 cuBLAS、cuDNN 等高度优化的计算库，以及调试、验证和性能分析工具；最上层则是 PyTorch、TensorFlow 等开发框架，企业长期积累的代码和工作流，以及围绕 CUDA 形成的开发者生态。
这也是英伟达 GPU 与普通芯片销售的差异所在。客户买到的并不只是一块卡，而是一整套已经能直接投入使用的软件工厂。
这次发起挑战的是 Infinity。该公司成立仅一年，创始人 Jeremy Nixon 曾在 Google Brain 任研究员。Infinity 开发了一套名为 Ignition 的 AI 研究 Agent，专门为不同 AI 芯片编写底层软件。它可以生成 GPU Kernel、运行测试、查找错误、测量性能，再依据结果自动改写代码；人类工程师负责高层方向，其余高重复、强反馈的软件调试工作由 Agent 循环执行。
Infinity 用 Ignition 为 AI 芯片初创公司 d-Matrix 搭建了一套类 CUDA 软件，整个过程只用了 10 小时。
从任务特性来看，这并不完全像炒作。AI Agent 确实适合处理这类反馈路径清晰的编程工作：代码是否能编译、结果是否正确、性能有没有提升，都可以通过实际运行得到明确反馈。于是可以形成一个完整闭环：写代码、编译、运行、测试正确性与性能、再根据反馈继续修改。
但 Infinity 目前主要切入的是 CUDA 的第一层，也就是为不同芯片生成和优化推理 Kernel，并围绕这些 Kernel 搭建底层软件能力。它正在开发一套面向多种芯片的通用推理库，这并不等于在 10 小时内复制了 CUDA 近 20 年积累下来的完整体系。
即便如此，资本已经先行给出回应。文中提到，Infinity 仅凭这一路径就拿下了 1500 万美元融资，公司估值达到 1 亿美元。
DeepSeek 也在减少底层 CUDA 手写工作
除了 Infinity，DeepSeek 也在尝试减少底层 CUDA 的手工编写量。其已开源一套名为 TileKernels 的 GPU 算子库，并使用 TileLang 编写，以减少大量手写底层 CUDA 代码的工作。
这类尝试指向的是同一个方向：底层芯片软件开发中，原本高度依赖人工反复调试的部分，正在被生成式 AI 和更高层的抽象工具逐步替代。
推理市场成了第二战场
如果说 AI Agent 是攻城工具，那么推理市场就是城墙上已经出现的缺口。
大模型计算主要分成训练和推理两段。训练是构建模型，需要上万块芯片长时间协同运行；推理则是使用训练好的模型回答问题，所需算力规模小得多，小集群甚至单卡即可运行。
在训练侧，CUDA 目前仍接近无可替代。大规模训练对性能、稳定性和集群协同都高度敏感，芯片间通信、显存调度、程序报错后的恢复机制，任何一点效率损耗，一旦放大到数千乃至数万块芯片上，都会转化为真实的时间和成本。也因为这样，企业在选择训练平台时通常极为保守。其他芯片即使参数好看，只要软件不成熟、集群不稳定，硬件成本上省下来的钱，很可能会在开发与试错环节付出更多。
推理侧则是另一套逻辑。韩国 AI 芯片公司 Rebellions 首席商务官 Marshall Choy 的判断是：“在推理侧，CUDA 不再是决定因素。这将是一场开源软件的竞争。”
原因在于，训练追求的是极致性能，推理更看重“每个回答的成本”。训练需要大规模协同，推理则可以拆分到更小规模的系统中；训练不敢轻易更换芯片，推理的试错空间更大。只要方案能运行，而且更便宜，客户就有动力尝试。
更关键的一点是，推理软件可以跨芯片运行。如果推理框架能够支持多种芯片，用户就能在不同硬件间切换，而不必重写代码。CUDA 最强的锁定效应，在这一场景下会被削弱。
这给专用推理芯片留下了切入口。许多推理任务并不需要 CUDA 在训练、集群协同等方面提供的全部能力。围绕特定模型、特定场景设计的芯片，只要能做到更快、更便宜或更省电，就有机会从英伟达手里切下一块市场。
d-Matrix 就是这样的公司。其成立于 2019 年，主打生成式 AI 推理芯片。联合创始人兼 CEO Sid Sheth 回忆称，公司很早便判断，AI 推理带来的机会最终会超过训练。
Infinity 这次用 AI Agent 在 10 小时内搭建的类 CUDA 软件，服务对象正是 d-Matrix 的推理芯片。整件事串起来后，逻辑也更清晰：新芯片要进入推理市场，但缺少成熟软件；AI Agent 则快速生成和优化底层 Kernel，把原本可能需要数月甚至数年的适配工作压缩到小时或天。
Sid Sheth 也直接表示：“虽然英伟达在训练领域保持主导地位，但在推理方面，护城河有所削弱。”
盯上这一市场缺口的并不只有 d-Matrix。文中点名的还包括主攻推理的 Rebellions、d-Matrix，押注晶圆级芯片的 Cerebras，以及亚马逊的 Inferentia、谷歌的 TPU、AMD 的 MI300X。芯片厂商与云计算巨头都已在推理市场提前布阵。
这些公司并不需要马上全面替代英伟达。它们只要证明，在某些推理任务中，不依赖英伟达整套硬件与 CUDA 生态，也能实现更快或更便宜，就足以撬动市场。
CUDA 护城河还远没到被颠覆的时候
问题也正在这里。10 小时被重写的，是一块芯片的适配代码；而 CUDA 背后，是近 20 年积累下来的库、调试工具、社区和数百万开发者。这部分并不会因为 Agent 会写代码就立刻失去价值。
INT21 创始人 Bing Xu 曾创办 AI 芯片软件公司 HippoML，后者被英伟达收购；他本人在今年 4 月离开英伟达。他的判断是，Agent 能在短时间里生成大量代码，但验证才是最大瓶颈。
AI 生成一万行代码很快，但要证明这几万行代码在各种边界条件下都算得对、跑得稳，过程非常慢。Bing Xu 认为，CUDA 最深的资产恰恰在于其验证工具链；到了 Agent 时代，验证生态可能会成为 CUDA 的下一道护城河。
Modular 联合创始人兼 CEO Chris Lattner 的看法也较为谨慎。他认为，编码 Agent 带来的改进是渐进式的，“炒作被严重夸大”。
Chris Lattner 给出了三点理由：第一，写代码只是软件工程的一小部分，真正决定芯片性能和运行 AI 成本的，是生产级优化；第二，芯片软件属于小众且专业度极高的领域，公开代码远少于应用开发，AI 可用于训练的公开数据本就有限；第三，数百万行存量代码的迁移成本依旧存在，这不是单纯靠技术就能解决的问题，更涉及组织层面的决策。
英伟达也在用 AI 写 CUDA
另一点容易被忽略：英伟达自己也在使用 AI。
英伟达开发者生态副总裁 Ankit Patel 表示：“我们也在使用 AI Agent 来更快地开发 CUDA，并在更大规模上进行验证。”
这意味着，进攻方的工具并不只掌握在挑战者手里。AI Agent 在提升竞争对手追赶速度的同时，也在提高英伟达自身迭代 CUDA 的速度。Bing Xu 对此的总结是，这场竞争最终取决于，挑战者追赶英伟达的速度，能否快过英伟达自我迭代的速度。
至少从当前情况看，这家全球最大的芯片制造商并没有停下来。
变化更可能先出现在推理侧
把整个事件放回更长时间维度看，短期内英伟达的 CUDA 护城河依旧稳固，训练侧优势没有被真正撼动。
但变化很可能先在推理端出现。随着推理市场规模扩大，软件跨芯片适配需求上升，AI Agent 能把原本漫长的底层适配工作缩短到更短周期，这会让更多专用芯片厂商看到进入市场的机会。
从这个意义上说，真正发生变化的，不一定是“CUDA 是否被立刻替代”，而是护城河的重心可能正在从已有代码存量，转向验证、优化和更完整的生态能力。
谁能在这个新位置上率先站稳，才更可能成为下一阶段的赢家。
参考链接：https://www.businessinsider.com/nvidia-cuda-new-threats-ai-coding-agents-2026-8
本文来自微信公众号“量子位”，作者：听雨。