随着AI推理技术日益精进,英伟达与WekaIO为突破传统内存架构局限而采取的联合战略引发关注。在超级计算盛会"SC25"上,两家企业公布了针对人工智能运算优化的新一代内存扩展系统,展示了应对激增AI工作负载的基础设施创新方案。
WekaIO发布的新型内存分层架构通过GPU内存与外部存储器之间实时流式传输键值缓存数据来提升处理速度。该系统与英伟达提供的"Dynamo"及"NIXL"深度集成,据厂商介绍可在分布式处理环境中将大型语言模型的推理速度最高提升40倍。
WekaIO首席技术官西蒙·本-戴维强调:"我们认为AI不是难题而是展现可能性的技术。通过加速键值缓存基础设施,生成的令牌与输出成果将呈现爆发式增长。"若该技术实现商用,用户在视频检索或信息汇总等操作中耗费的时间将实现跨越式缩减。
英伟达表示该系统不仅停留在缓存优化策略层面,更直接关联大规模AI推理所需的高性能计算解决方案。英伟达高管迪昂·哈里斯说明:"NIXL是帮助存储合作伙伴跨分层内存处理实时缓存数据的新型传输库",并指出该协议可同步提升AI推理的扩展性与稳定性。
双方评价该架构进一步与检索增强生成模型联动,能有效减少幻觉现象并提升事实性回答的精确度。这对企业利用自有数据提升AI质量具有重要进展意义。
据透露,WekaIO已在多家客户企业部署该基础设施推进实验性AI项目,具体应用于聊天机器人、语义搜索、视频推理等领域。专注于自动驾驶与机器人场景的"物理智能"案例也在快速增加,有观测认为这或将成为AI推理向现实世界拓展的新转折点。
本次发布表明,人工智能的普及若缺乏硬件架构本身的创新必将面临瓶颈。英伟达与Weka正通过引领这种变革,以定制化高性能内存基础设施夯实下一代AI经济根基。在AI推理市场爆发式增长的当下,内存瓶颈已不仅是技术课题,更成为衡量整个产业增长态势的关键变量。


