前言:
手机里最省电、最不起眼的那颗内存,被高通叠成3D小楼,再把加速器垫在了楼下。
近日,HBC(High-Bandwidth Compute)架构登台,枪口对准HBM盘踞多年的AI内存王座。
「有效」二字更值得盯住
高通在投资者日上正式揭开High Bandwidth Compute,中文可译为「高带宽计算」。
名称里用的是Compute,而非Memory,这已经点明它与HBM的根本差别:HBC是一套包含内存和计算逻辑的架构,并非单独出售的内存产品。
高通公开的结构图颇为直白:多层LPDDR通过TSV硅通孔叠在HBC加速器上,HBC模块与主SoC并排放在2D有机基板上;内存密集型工作由HBC就近处理,主SoC继续承担复杂、灵活且需要统一调度的计算。
搭载HBC Gen 1的Dragonfly AI250,设计指标为单卡768 GB内存、133 TB/s有效内存带宽;56张卡组成的机架拥有43 TB内存和7.455 PB/s有效带宽,机架热设计功耗为140 kW。
与采用LPDDR5X的AI200相比,容量没有增加,有效带宽却提高到18倍,HBC Gen 1商业样片预计到2027年年中才会出现。
把算力垫在内存脚下
HBM用TSV把DRAM垂直堆起,再借CoWoS先进封装贴靠在计算芯片身侧,距离缩短了,代价也水涨船高,硅中介层、封装产能、良率损耗,每一项都在给账单添零。
高通换了个方向,HBC采用分离式设计:主SoC归主SoC,内存归内存,中间以标准2D有机基板互连,昂贵的硅中介层和CoWoS被一并请出门外。
真正的巧思藏在内存那一侧,一颗专用近内存加速器垫在LPDDR堆栈下方,计算与存储经TSV垂直直连,数据的通勤距离从「楼上楼下」缩成「隔壁工位」。
高通数据中心业务负责人Tony Pialis的说法很直白:把XPU直接垫到DRAM堆栈下面,就能兼得SRAM级的速度与堆叠内存的密度。
位置关系一变,账本跟着改写。按高通公布的数据,搭载第一代HBC的AI250加速器单卡内存带宽达133TB/s,有效带宽是使用LPDDR5X的AI200的18倍,支持最高768GB堆叠容量;卡级归一化对比下,单位功耗带宽是HBM的6倍,单位功耗容量是SRAM的200倍。
第二代HBC将随AI300于2028年落地,有效带宽较AI200再抬升至54倍,每瓦带宽较HBM高出7倍。
为什么偏偏是LPDDR?这颗为手机而生的内存,骨子里刻着两条基因:超低功耗,以及远比HBM宽松的成本曲线。单堆容量上限更高、3D堆叠更友好,使它成为大容量推理的天然候选。
过去它栖身于手机和边缘终端,近年已悄悄渗入AI推理加速卡,高通自己的AI200就标配LPDDR5X,单机架容量43TB,HBC相当于把这次渗透从「游击」升级成「正面进攻」。
HBM4也在把逻辑芯片塞进堆栈底层,干起「近内存」的活。方向人人都看得见,高通只是走得更决绝,索性把整套加速器的地基打在内存楼下。
计算向内存靠近也不是一夜之间冒出的灵感,美光十多年前推出的Hybrid Memory Cube,同样采用TSV把DRAM叠在高速逻辑层上;三星在2021年发布HBM-PIM,把可编程AI引擎放进HBM存储体,宣称在特定测试中可提升性能并减少数据移动。
HBC的看点在于时机与落点,它把近存计算、LPDDR、长上下文推理和整机架部署绑在一起,瞄准的工作负载比早期PIM方案清晰得多。
推理解码给LPDDR开了侧门
训练大模型时,大规模矩阵运算会尽可能吃满计算单元;在线推理却有另一副脾气。
输入提示词的预填充阶段偏重计算,逐字生成答案的解码阶段需要不断读取模型权重和持续膨胀的KV缓存,经常受制于内存带宽。
相关Roofline研究显示,在典型大模型推理中,解码阶段的主要算子普遍落入内存受限区间。
智能体把这种矛盾推得更尖锐,一次任务可能包含长提示词、连续推理、工具调用和多轮回看;每生成一个Token,系统都要搬动大量数据。此时再堆更多计算单元,很像给缺粮的厨房添灶台,火力壮观,锅里仍然空着。
AI250恰好对准这一段,高通将它定位为解码、推理链和智能体工作负载的专用平台,宣称单卡768 GB容量有助于减少上下文换出,并把支持的上下文长度从AI200的128K推进到100万Token。
容量、带宽和功耗被放在同一张账单里,评价单位也由峰值FLOPS转向每瓦Token数、每美元Token数。
LPDDR本身早已跨过手机边界,NVIDIA Vera CPU同样使用LPDDR5X,容量最高1.5 TB、带宽最高1.2 TB/s,并与Rubin GPU的HBM4形成一致地址空间,用于KV缓存卸载和多模型运行。
NVIDIA Vera Rubin架构说明,HBC真正新增的变量,是把计算逻辑放到LPDDR堆栈旁边,而非单纯把移动内存装进服务器。
这也是高通押注数据中心的商业支点,公司把2029财年数据中心收入目标定在150亿美元以上。
它无须在所有训练任务上击败GPU,只要在规模庞大、长期运行的推理机架中拿到一块稳定份额,LPDDR时代积累的功耗设计、内存控制器和系统集成能力便能换一种方式兑现。
拆墙的不止高通一家
HBC出现时,HBM并没有停在原地等待挑战。三星和美光均已宣布HBM4量产:美光36 GB 12层HBM4带宽超过2.8 TB/s;三星产品最高可达13 Gbps针脚速率和3.3 TB/s单堆带宽。
主流加速器也已经把HBM4写进下一代平台,NVIDIA公布的初步规格显示,单颗Rubin GPU配置288 GB HBM4,内存带宽22 TB/s;AMD MI450则提供最高432 GB HBM4和19.6 TB/s带宽。
HBC真正能够撬动的,是HBM覆盖所有AI负载的默认地位。训练和高计算密度的预填充继续青睐GPU与HBM;大规模、长时间运行的解码业务可能转向HBC等近存计算;CPU侧上下文和KV缓存则更多使用LPDDR。
对HBM厂商而言,这既是压力,也是新生意。部分推理需求可能离开高毛利HBM,LPDDR裸片、定制逻辑底座和3D集成又会形成新的价值环节;对云厂商而言,多一种架构就多一分议价能力。
对高通而言,挑战也很清楚:它需要证明自己卖出的不止是一张漂亮的带宽幻灯片,还有一套能被开发者使用、被数据中心维护、被财务部门算清楚的系统。
这恰是高通的机会窗口,它没打算跟HBM拼绝对带宽,它赌推理将成为AI算力的主增量,为此甚至收购开源AI软件公司Modular补齐软件短板。
高通预测,2029财年全球AI加速器市场规模将达6800亿美元。
结尾:
真正的变化,在于AI内存的王座可能被拆成几把椅子。HBM继续托举训练与通用加速,HBC争夺推理解码的规模红利。
高通若能把133 TB/s兑现为稳定的Token吞吐和更低账单,LPDDR这次跨界便会从客串变成改写分工。
部分资料参考:电子工程专辑:《重磅!高通发明全新内存架构:带宽提升54倍》,全球半导体观察:《高通推出 HBC 近内存计算架构,配套两代 AI 加速器公布迭代时间表》,OFweek电子工程网:《AMD 的 Versal 芯片从 HBM 转向 LPDDR5X》,36氪:《高通全面进军 AI 数据中心:与 Meta 签多代 CPU 大单、微软部署 HBC 芯片,预计 2029 年业务收入达150亿》










