← 返回列表

@AravSrinivas: RT @perplexity_ai: We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small rerankers and embedders r…

@AravSrinivas 3 信息等级 3 1 噪音/剔除；2 较弱；3 普通事实；4 重要行业动态；5 极重大事件。该分数是信息显著性，不是投资建议。 发布：2026-05-27T15:59 抓取：2026-05-27 17:19
🔗 原文链接
AI 算力
摘要

Perplexity AI宣布开源其重建的Unigram分词器，声称可将CPU利用率降低5-6倍，同时提及小模型相关技术。

客观事实
  • Perplexity AI开源Unigram分词器
  • 分词器降低CPU利用率5-6倍
Perplexity AI

原文

RT @perplexity_ai: We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x.

Small rerankers and embedders r…

likes: 331 | retweets: 31 | replies: 27 | views: 20473