清除 当前 1 条 / 共 3560 条
筛选已选
筛选
数据源
投研/平台
官方/公司
资讯/RSS
Twitter/X
微信公众号
时间
信息等级
标签
异常/暂停数据源 9
AI 基建 · 26 天 21 小时前 微信公众号 · 42章经 · 4 天 16 小时前 微信公众号 · DeepTech深科技 · 4 天 16 小时前 微信公众号 · Founder Park · 4 天 16 小时前 微信公众号 · FundaAI · 4 天 16 小时前 微信公众号 · 九章智驾 · 4 天 16 小时前 微信公众号 · 晚点LatePost · 4 天 16 小时前 微信公众号 · 琢磨事 · 4 天 16 小时前 微信公众号 · 甲子光年 · 4 天 16 小时前

MiniMax M2技术报告发布,总结了多项技术发现:选择全注意力机制而非混合滑动窗口;线性/稀疏注意力在生产系统中部署困难且前缀缓存支持差;细粒度MoE(128专家top-8)在2B参数规模下推理和代码能力显著提升;训练流程中增加了软件工程agent行为训练。

  • MiniMax M2采用全注意力机制,放弃混合滑动窗口
  • 稀疏注意力在生产环境中部署困难且前缀缓存支持差
  • 细粒度MoE在2B参数下将MATH从19.6提升至24.1