推特讨论HBF技术主要适用于读取密集型高容量数据,并指出随着模型规模增长,HBF可能有用。同时提到英伟达当前策略是扩大scale-up域规模至144/576/1152,将权重存储在大域中,并通过STX将KV缓存卸载到SSD。
xAI 表示 Colossus 1/2 数据中心有重大扩展计划,计划部署超过 100 万 GPU,容量将远超 1.2GW。
芝加哥商品交易所(CME)宣布将创建用于支持人工智能的计算能力期货市场,这是金融工具创新,旨在为AI算力提供定价和风险管理工具。
超大规模云服务商正在从多样化加速器供应商扩展到多样化加速器设计供应商,反映了其对计算加速器供应链的进一步多元化策略。
推特指出中国在物理AI领域拥有众多参与者,包括PCB制造商(生益科技、深南电路、Delton、胜利精密)和光模块/光器件供应商(光迅科技、Eoptolink、长飞光纤、中际旭创、源杰科技)。此外,SK海力士35%-40%的NAND/DRAM产自中国,三星40%的DRAM产自中国。