Perplexity AI宣布开源其重建的Unigram分词器,声称可将CPU利用率降低5-6倍,同时提及小模型相关技术。
NVIDIA GB200芯片改变了服务大型MoE模型(如Qwen)时的prefill和decode分离方式,相比Hopper芯片有吞吐量优势,团队已发表量化对比结果。
Perplexity AI发布新研究,展示在NVIDIA GB200 NVL72 Blackwell机架系统上部署后训练Qwen3 235B模型的成果,涉及硬件与模型推理优化。
Perplexity 确认基于 NVIDIA 平台运行,并使用 CUTLASS Python 栈优化模型,展示了双方在 AI 算力上的合作。
该公司自研推理引擎ROSE,用于处理从嵌入到万亿参数MoE的生产及API流量。ROSE集成了CuTeDSL,以加速内核部署并在Hoppers和Blackwells GPU上实现峰值性能。
Perplexity AI宣布自研推理引擎ROSE,用于服务从嵌入模型到各种规模的模型,提升运行时优化。