PrismML 本周早些时候发布了 Bonsai 27B，这是一款 270 亿参数的 AI 模型，压缩到 3.9 GB，并在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。三元变体在满足智能手机内存约束的同时，保留了完整精度基准性能的 94.6%，这也是首次有具备这一能力等级的模型跨越消费级设备的内存预算。该压缩方法基于 Caltech 的知识产权，将每个模型权重从 16 比特降到单个符号值，使二进制变体达到每个权重 1.125 比特——比完整精度原始模型小 14 倍。
压缩技术将模型权重缩减为符号值
该压缩方法将每个模型权重从 16 比特的浮点精度压缩为单个符号——在二进制构建中为 +1 或 -1，在三元变体中为三种取值之一。每 128 个权重共享一个 16 比特的缩放因子。三元模型增加了一个零状态，以获得略强的表达能力，并将每个权重的比特数定为 1.71。三元变体在 5.9 GB 时，能在 M5 Pro 笔记本上达到约每秒 26 个 token。
没有更高精度的“逃生舱”：嵌入层、注意力以及完整的语言模型头端到端都被压缩。大多数量化构建会将某些敏感层保留为全精度，这会作为更高质量的代价而增加其体积。该模型采用混合注意力主干，其中约 75% 的层是线性的，而非完整的二次注意力，因此在设备端实现 262K-token 的上下文窗口是可行的。
3 月，PrismML 交付了 Bonsai 8B，这是一款 1.15 GB 的模型，事实证明在 80 亿参数规模下，1-bit 架构依然可行。两款模型均在 Apache 2.0 许可下免费提供。
基准性能在 15 项测试中平均为 80.49
在 NVIDIA H100 GPU 的“思考模式”下评估的 15 项基准——覆盖知识、数学、编码与工具使用——三元 Bonsai 27B 平均为 80.49，即为完整精度模型的 94.6%。1-bit 变体为 76.11。在 AIME25 和 AIME26（基于美国数学邀请赛）中，三元 Bonsai 27B 达到 93.7%，而 Qwen 3.6B 为 95.3%。在编码方面，Bonsai 得分 86，对比 Qwen 3.6 为 88；在一般知识方面，Bonsai 得分 77%，对比 Qwen 3.6 为 83%。
PrismML 随模型一同提供了 DSpark 推测式解码层——一种轻量化的“起草者”，会提出一组候选 token 块，然后由主模型在一次前向传递中完成验证，而不是逐 token 生成。在配备 H100 的情况下，可在不改变输出质量的前提下带来 1.37 倍吞吐提升。目前在 Apple Silicon 上尚未默认启用。
真实场景测试产出可运行代码与创意写作
在 Zombie Type 游戏（一款第一人称打字恐怖浏览游戏）中测试 Bonsai 27B。两轮编码产生了清晰的碰撞检测、正确的计分逻辑，并还能保持完整的图形效果。模型能在早期就把握结构；第二次传递是在打磨而不是重建。一些模型看起来比来自 GPT 5.6 Sol 的版本更精致。
在创意写作方面，Bonsai 生成的故事具备一致的内部逻辑、节奏与叙事弧线——在相当于 Claude Haiku 的水平，甚至在相近提示上，比 Sonnet 在更低投入下还要好。使用零-shot 提示时，结果并不特别有想象力。
Apple 评估用于设备端使用的技术
据 CNBC 报道，Apple 正与 PrismML 就底层压缩技术进行早期沟通。PrismML CEO Babak Hassibi 在接受 CNBC 采访时确认，公司正在与 Apple 进行早期对话，Apple 正在评估这项压缩技术用于潜在的设备端应用。Hassibi 表示，在路线图的下一步将是一个被压缩的 Gemma 模型，随后是更大型的前沿模型。
常见问题
PrismML 的 Bonsai 27B 模型是什么？
Bonsai 27B 是一款 270 亿参数的 AI 模型，压缩到 3.9 GB，并可在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。三元变体通过基于 Caltech 知识产权构建的压缩技术，保留了完整精度基准性能的 94.6%；该技术可将模型权重压缩为符号值。
Bonsai 27B 在基准测试中的表现如何？
在 NVIDIA H100 GPU 上对 15 项基准进行评估时，三元 Bonsai 27B 的平均得分为 80.49，即为完整精度模型的 94.6%。在 AIME 数学测试中它得分 93.7%，在编码任务中得分 86 分，在一般知识中得分 77%——同时所需内存比可比模型显著更少。
