llama.cpp 项目宣布新增 WebGPU 后端支持,该项目是 ggml 库的一部分,旨在提升在浏览器中的推理性能。
RT @ggerganov: Highlighting the new WebGPU backend in llama.cpp/ggml
The work to bring full-fledged WebGPU support in llama.cpp started ab…
likes: 603 | retweets: 108 | replies: 13 | views: 83638