Techub News 搜索

文章文章05/06 07:53

Asteras Labs 公开 'Scorpio X 系列'…… 减少 AI 数据中心连接瓶颈

AI数据中心最大的难题之一就是“连接”。如果半导体之间的数据传输出现延迟，昂贵的AI加速器就只能闲置等待。为此，Astera Labs推出了新的交换机产品系列来减少这种延迟。网络芯片公司Astera Labs宣布推出最新的“Scorpio X系列”智能数据结构交换机。该公司称，该产品是业界最大型的开放式“内存语义”结构交换机。据解释，该产品专注于帮助超大规模数据中心运营商在更大程度地扩展计算资源的同时，减少延迟问题。伴随此次发布，原有的“Scorpio P系列”PCIe结构交换机产品线也得到了扩展。新的P系列提供从32通道到320通道的多种配置。这为需要在AI处理器集群间高效传输大规模数据的数据中心设计者提供了更多选择。超大规模AI时代，瓶颈并非GPU而是数据传输 Astera Labs认为，在AI系统扩展中，现在的核心问题不再是单纯的芯片性能，而是芯片间的连接效率。最近的大型语言模型正变得极其庞大，拥有数万亿参数，很难将所有计算塞进单个服务器机架内。最终，必须将成百上千个图形处理器(GPU)整合成一个巨大的集群来运行。问题在于，在此过程中，数据在芯片之间不断往返，导致拥堵加剧。当所需数据等待从其他部分到达时，GPU就会处于闲置状态。考虑到AI集群每小时运营成本高达数千美元，折合韩元数百万，这种等待时间会严重降低数据中心的盈利能力和效率。像“访问内存”一样访问结构...减少延迟，提高处理效率主打产品“Scorpio X系列320通道智能结构交换机”的特点是重新设计了交换机与芯片的交互方式。该产品基于“内存语义”架构，使GPU和其他AI加速器能够通过简单的加载/存储方式，访问分布在整个结构中的资源。简而言之，这是一种让远程资源像本地内存一样被访问的结构。这样一来，整个结构就像一个统一的内存池一样运作。可以预期，这会减少传统数据包转换过程中产生的开销，从而降低延迟。对AI数据中心而言，这意味着用相同的计算资源处理更多任务的可能性增大了。此外，该产品还应用了Astera Labs的自主技术“Hypercast”和“In-Network Compute”。这是一种交换机不仅能传输数据，还能直接执行部分处理工作的结构。特别是，可以在网络层面处理数据聚合或分发等“集合操作”。该公司解释称，相关操作速度可比以前快两倍。这可能会直接影响AI工作负载的“代币经济性”，即单位成本的处理效率。 320通道高密度设计替代传统交换机...也支持开放标准 Scorpio X系列的另一大优势是“高基数”设计。它在一个芯片上提供基于PCIe 6的320通道连接，可以替代多个传统数据中心交换机。这能使网络结构更简单，数据传输需要经过的物理距离也更短，从而降低整个系统的复杂性。扩展后的Scorpio P系列负责补充X系列。Astera Labs表示，这些产品旨在协同支持前端网络和AI计算系统的构建。该公司强调，它们不仅支持开放标准，也支持NVIDIA的NVLink Fusion、UALink等平台特定协议，从而能够提供一个实质可应用于多种AI处理器的网络结构。首席执行官Jitendra Mohan表示：“引领当今最苛刻AI应用的前沿模型，需要与其驱动加速器性能相匹配的连接基础设施。”这意味着，AI产业要继续发展，就必须避免芯片连接的瓶颈。 Astera Labs的这次发布表明，AI竞争的焦点正从半导体性能本身，迅速转向整个系统的连接结构。未来，在AI数据中心，与更快的芯片同等重要的是，如何高效地整合这些芯片，这很可能将成为核心竞争力。 TP AI注意事项本文基于TokenPost.ai语言模型进行摘要。正文主要内容可能被遗漏或与事实不符。