前言：

4月，DeepSeek把下一代旗舰模型的底层代码从英伟达CUDA迁移至华为CANN的消息传出，工程师们追问的第一件事，是这次迁移熬了多少个通宵。 

芯片公司卷了十几年制程与峰值算力，命运揭晓的时刻，成绩却记在代码仓库的提交记录里。

作者 | 方文三

图片来源 | 网络

0.35瓦背后，端侧AI芯片竞争换了赛道

一台笔记本要装下大模型，比想象中麻烦，芯片跑分再漂亮，进了整机还得学会省电。

长城N90 Pro把AI模块的空闲功耗压到了0.35瓦，模型压缩、量化、推理优化一路进步，功耗受限的终端设备第一次有了跑大模型的条件。 

研究机构Gartner在2025年8月给出过一个预测，2026年全球AI PC出货量有望达到1.43亿台，占到整体PC市场的55%。 

真正的变量出在Agent身上，它要理解意图、调用工具、翻找文件，还要根据执行结果反复推理，有时语音视觉一起上。这样的负载是持续的、并发的、说变就变的。 

于是评价一颗端侧芯片，TOPS只是入场券，内存容量、存储带宽、功耗、散热、系统调度，都可能成为短板。 

更麻烦的是终端之间的差异，AI PC在乎续航，家庭设备在乎噪声，机器人在乎延迟，边缘服务器在乎计算密度。 

同一颗芯片装进不同的壳子，往往是几套完全不同的系统开发。 

对采用新架构的芯片来说，每换一颗芯片就重写一遍软件，硬件再有优势也推广不动。 

大厂早就在替开发者垫付这笔成本，英特尔的OpenVINO把PyTorch、TensorFlow开发的模型转换优化后，部署到自家的CPU、GPU和NPU上。 

高通的AI Hub提供优化好的模型、设备测试工具和应用样例。

10月，后摩智能把自家的AI生态软件开源了，推理框架、模型资源库、领域开发套件和应用样例都在其中。 

目前这套生态软件已经适配vLLM、llama.cpp、SGLang等主流推理框架，超过95%的客户基于它的ModelZoo做产品开发。 

芯片厂商指望差异化的硬件架构建立优势，开发者却盼着接口越统一越好。硬件可以千姿百态，工具最好用熟的那套。 

端侧市场又有自己的脾气，AI PC、家庭设备、机器人、边缘服务器，CPU、操作系统、模型框架各不相同，产品形态还在漂移。 

厂商没法提前押注哪类终端会成为稳定需求，围绕单一设备建的专用软件体系，市场一变就可能作废。 

一套软件平台连接的终端越多，厂商看到的共性需求就越清楚，生态的价值顺着这条线，流回了硬件迭代。

软件短一寸，芯片死一片

自研芯片这条路，坟头的数量远比外界想象的多。行业里流传一句刻薄又精准的总结，软件的不成熟，杀死的自研芯片项目比晶体管不足杀死的还多。 

特斯拉的Dojo训练芯片项目在2025年8月关停；Groq把LPU低延迟推理技术授权给英伟达，日期是2025年12月，输掉竞赛的选手把看家本领卖给了守擂者；Etched的Sohu芯片到2026年年中仍未公开出货。 

这些项目没有死于流片，死于流片之后无人愿意在上面写代码。 

对照组是活下来的那批，AWS的Trainium2芯片全球部署接近100万颗，主要服务Anthropic的模型，印第安纳州的Rainier项目占地1200英亩，近50万颗芯片专门用于Claude的训练。这批芯片能活下来，Neuron SDK补上原生PyTorch支持是决定性的一步。 

Anthropic的角色更有意思，Trainium3的训练速度、延迟与能效指标里，写进了客户直接提出的需求。 

全球AI芯片厂商正在做一件看起来矛盾的事，一边投入巨额资金开发差异化硬件，试图在算力、能效和成本上拉开距离。 

另一边却努力让开发者忽略这些硬件之间的差别，希望程序能够以尽可能相似的方式运行在不同芯片上。 

这种竞争思路在2026年10月集中显现，Google正式开源TorchTPU，让TPU成为PyTorch可以原生调用的计算设备。 

开发者能够沿用熟悉的PyTorch接口，通过即时执行模式调试模型，再借助torch.compile完成编译优化。 

Google还推动vLLM、SGLang、TorchTitan等工具与TPU软件栈对接，试图把芯片适配融入现有开发流程。 

同一天，AWS宣布TorchNeuron进入公开测试阶段，为Trainium2和Trainium3提供原生PyTorch后端支持。 

开发者通过切换设备配置，便可以尝试在Trainium上运行已有程序，并继续使用PyTorch的执行、编译和调试工具。

时间上的巧合颇有意味，芯片制造商投入多年建立各自的软件体系，如今却开始主动拥抱共同的开发入口。 

背后反映出一个现实，AI开发者的工作习惯，已经成为芯片进入市场时必须面对的商业约束。 

对于一家训练大模型的企业，迁移计算平台远比更换服务器复杂。芯片理论性能再漂亮，也难以消除重新适配和测试带来的时间成本。 

尤其在模型迭代越来越快的情况下，开发团队不愿把大量精力耗费在底层迁移上。一款芯片节约的硬件支出，可能被额外增加的工程工作量抵消。 

软件入口正在走向统一，底层优化却仍然高度依赖硬件。这种微妙的分化，很可能重塑下一阶段AI芯片的竞争格局。

低精度与MoE，软件创新一寸寸改写硅片的形状

软件对硬件的反向塑造，最锋利的例证藏在数字格式里。 

量化原本只是算法工程师的压缩技巧，把权重从16位压到8位、再压到4位，省显存、省带宽。 

DeepSeek在V3训练中采用UE8M0格式的FP8混合精度方案，并公开声明将训练流程与该格式深度绑定，这等于从软件层面向所有硬件厂商提出了明确的标准化要求，想要高效运行我的模型，你的芯片就得原生支持这种数据格式。 

英伟达的回应是把低精度做进架构，Blackwell原生支持FP4，配合每16个元素共享一个缩放因子的微块缩放设计，让4位精度下的训练稳定性达到可用水平。 

一个算法层的想法，最终变成了硅片上实实在在的晶体管单元。 

效果立竿见影，SemiAnalysis的实测数据显示，在B200上运行DeepSeek R1，FP4精度下每百万token的推理成本约0.05美元，FP8则是0.21美元，同样一块芯片，仅因数据格式与软件栈的配合不同，成本效率相差超过4倍。 

硬件的账面算力从未改变，改变的是软件调度硅片的方式。 

模型架构对硬件的改造同样深刻，MoE架构让每个token只激活少数专家，计算量降下来了，专家之间的数据分发却把压力全部推给了芯片间通信。 

这正是英伟达拼命堆NVLink的原因，H100上NVLink提供900GB/s的GPU间带宽，PCIe 5.0只有128GB/s，7倍的差距直接决定了MoE模型的扩展效率，也催生了GB200 NVL72这种单机72卡的超节点形态。 

超长上下文带来的KV Cache膨胀，则把HBM的容量和带宽竞赛推到了内存厂商面前。模型架构早已成为芯片架构隐形的项目经理，它不写代码进硅片，却决定着硅片的形状。

结尾：软件降低切换成本，商业模式将重新算账

同一款芯片，在不同调度策略和软件优化水平下，可能产生显著不同的服务成本。 

2026年4月，Meta披露了KernelEvolve项目，通过自动探索不同内核实现方式来优化异构计算硬件。 

按照Meta公开的数据，该系统使Andromeda广告模型在英伟达GPU上的推理吞吐量提升超过60%，并使Meta自研MTIA上的相关训练任务吞吐量提升超过25%。 

在无需更换芯片的条件下，底层软件优化仍然能够挖掘大量计算能力。它也提醒市场，硬件账面性能与实际部署性能之间，存在相当广阔的软件优化空间。 

当这样的工具逐渐成熟，部分芯片之间的性能差距，可能通过软件得到缩小。 

最终可能形成不同的竞争路径，一类依靠规模化软件生态和通用计算能力，覆盖尽可能广泛的应用。另一类则围绕可控的业务负载，通过软硬件深度协同获得局部效率优势。 

这种分化还可能让AI芯片供应链出现新的价值重心，编译器、算子库、通信软件、推理引擎和调度平台，将成为连接不同硬件架构的重要中间层。 

特别是在异构芯片共同部署的环境下，能够理解模型特点并合理分配计算任务的软件系统，可能直接决定整套基础设施的投资回报。 

部分资料参考：Google Cloud Blog：《TorchTPU is now open source: Run native PyTorch on TPUs》，PyTorch：《Introducing TorchNeuron: Native PyTorch backend for AWS Trainium》，Engineering at Meta：《MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines》