快科技8月10日消息，据国内媒体报道，华为将于8月12日在2025金融AI推理应用落地与发展论坛上，发布AI推理领域的突破性技术成果。
据透露，这项成果或能降低中国AI推理对HBM（高带宽内存）技术的依赖，提升国内AI大模型推理性能，完善中国AI推理生态的关键部分。
HBM（High Bandwidth Memory，高带宽内存）是一种基于3D堆叠技术的先进DRAM解决方案，多层DRAM芯片垂直集成，显著提升数据传输效率。具有超高带宽与低延迟、高容量密度、高能效比等优势。
AI推理需频繁调用海量模型参数（如千亿级权重）和实时输入数据。HBM的高带宽和大容量允许GPU直接访问完整模型，可避免传统DDR内存因带宽不足导致的算力闲置。对于千亿参数以上的大模型，HBM可显著提升响应速度。
当下，HBM已成为高端AI芯片的标配，训练侧渗透率接近100%，推理侧随模型复杂化加速普及。
然而，其产能紧张和美国出口限制倒逼国内厂商探索Chiplet封装、低参数模型优化等替代方案。