7 月 14 日，Caltech 衍生公司 PrismML 发布 Bonsai 27B，称其基于阿里巴巴 Qwen3.6 27B 的 1-bit 版本占用约 3.9GB，可在 iPhone 17 Pro 上运行。按公司给出的口径，标准 16 位版本需要约 54GB。PrismML 获得 Khosla Ventures 支持，其 CEO Babak Hassibi 向 CNBC 表示，Apple 正在评估这项技术，「进展顺利」，但讨论仍处早期。
此时 Apple 也在推进 iOS 27 和新版 Siri AI，试图扩大助手的个人语境理解、屏幕感知和系统集成能力。更多任务放在设备上运行，有助于减少数据外传和云端调用，但手机可用内存、电池与散热空间都有限。
PrismML 试图通过降低权重精度，让较大的模型也能在这些限制下运行。
1-bit 版本约 3.9GB，三元版本在体积与质量间取舍
以 16 位精度存储每个权重时，270 亿参数仅权重就需要约 54GB，实际运行还要为缓存等分配额外内存。低比特量化通过减少每个权重的存储位数来压缩这一体积。
PrismML 同时发展二元和三元量化。三元版本把权重编码为 {-1, 0, +1} 三种状态，对应约 1.58 bits，并配合分组缩放因子。公司今年 3 月结束隐身运营，披露了 1625 万美元种子轮，并将当时发布的产品称为首个具备商用可行性的 1-bit LLM。4 月的 Ternary Bonsai 覆盖 80 亿、40 亿和 17 亿参数；公司报告称，它们在 MMLU、GSM8K 和 HumanEval 等基准上可与同规模全精度模型竞争。
此次 Bonsai 27B 的 1-bit 版本约为 3.9GB，1.58-bit 三元版本则约为 5.9GB，后者保留更多基准能力。CNBC 报道引述公司称，其压缩技术可把内存需求降至原来的约 1/10–1/15，响应速度提高至 6–8 倍，能耗降至约 1/3–1/6；公司还称，数据中心中部分原需 8 张 GPU 的推理任务可以在 1 张 GPU 上完成。这些收益取决于模型、任务和运行环境。
Hassibi 将这一思路类比为芯片行业从 8 位到 4 位计算的演进——"但我们走得更远"。Caltech 持有底层专利并独家授权给 PrismML，公司的技术路线图下一步是 Google 的开源 Gemma 模型，随后是更大的前沿模型。
不过，Hassibi 也坦承存在性能折损——"通常会损失几个百分点，事实性回忆最先下降，推理、数学和编程能力相对更稳定。"
压缩模型可能扩大本地功能，降低云端调用成本
对 Apple 而言，压缩技术的吸引力在于，能否用现有硬件支持更多本地 AI 功能。
首先是硬件覆盖范围。Apple 的 Siri AI 支持个人语境理解、屏幕感知和系统级集成，但其中更有表现力的声音、增强听写等功能依赖更强的端侧模型。该模型支持 iPhone Air、iPhone 17 Pro 系列、至少 12GB 统一内存的 M4 或更新 iPad、M3 或更新 Mac，以及 M5 版 Apple Vision Pro。模型压缩若能保持所需质量，有望降低部分功能的内存要求；这些要求也不同于 Siri AI 整体的设备支持范围。
其次是云端调用成本。Apple 将本地处理作为隐私设计的重要部分。Asymco 创始人 Horace Dediu 对 CNBC 表示，Apple 希望把多数常见 Siri 交互保留在设备上，只将复杂请求交给云端。「他们正在试图搞清楚，能在设备上塞进多大、多聪明的模型。」更多任务在本地完成，也可能减少网络等待和云服务费用。
合作关系也是背景之一。就在 PrismML 发布前四天，Apple 在加州北区联邦法院起诉 OpenAI，提出商业机密指控，并提及 400 多名前 Apple 员工被招募。这是 Apple 的指控。扩大本地能力可以减少部分外部模型调用，但目前的技术评估还不能说明 Apple 会怎样调整与模型提供商的合作。
Creative Strategies 分析师 Carolina Milanesi 指出，更小的模型可以让 Apple 把计算摄影、视频生成和健康工具等功能也都迁移到端侧——"能在设备上做的越多越好"，尤其是涉及用户不愿离开手机的敏感健康数据。
长提示词、持续耗电和设备兼容性仍需验证
多位分析师对 PrismML 的技术声称保持了谨慎。
Counterpoint Research 研究总监 Tarun Pathak 表示，模型在长提示词下的表现、多任务场景中的电池消耗、以及数百万级请求下的可靠性才是真正的考验——"终极测试是数百万次查询、数千种设备组合和大规模稳健验证。"
IDC 客户端处理器研究负责人 Phil Solis 则指出，功耗可能是最大的未解之谜。一个足够强大、能被频繁使用——或者在后台持续运行以支持 Agent 类任务——的模型，即使占用更少内存，"也可能迅速耗尽手机电池。"
目前 PrismML 的性能数字主要来自公司测试和演示。Bonsai 27B 已按 Apache 2.0 许可开放下载，并提供针对 Apple Metal 的定制内核，开发者可以检查模型在自己设备上的质量和资源消耗。现有材料还不足以说明它在大量设备和长期使用中的表现。
效率提高后，芯片需求可能转移或扩大
PrismML 的发布也引出了另一项讨论：模型需要的内存减少，会怎样影响芯片和数据中心需求？
摩根士丹利预计，Apple 2027 财年的平均 DRAM 每比特成本可能同比上涨约 190%，NAND 成本上涨约 180%，并预测 iPhone 18 起售价可能提高约 200 美元以保护利润率。模型压缩能够减少部分内存需求，但最终整机成本还受其他硬件和产品配置影响。
不过，DA Davidson 分析师 Gil Luria 指出，效率突破未必意味着芯片总需求的下降。它可能只是将芯片需求从数据中心迁移到手机和其他终端设备。"不是说不需要芯片了，"Luria 说，"你仍然需要 GPU，仍然需要内存。"
另一种可能是需求随成本下降而扩大，也就是通常所说的杰文斯悖论：更便宜、更快的推理让更多应用变得可行，增加的使用量可能抵消单次计算节省的资源。端侧功能的发展也可能带来新的硬件需求。
市场此前已对这类效率消息作出反应。今年 3 月，Google 发布 TurboQuant 压缩研究后，Micron 股价曾明显下跌，随后有所回升。PrismML 的手机演示则让开发者有机会直接检验，一项压缩技术究竟能节省多少设备资源。
Apple 仍在早期评估，产品整合尚无定论
PrismML 用 270 亿参数模型的手机运行展示了低比特量化的部署潜力，但 Apple 的评估仍处于「非常早期」阶段。Hassibi 也承认，讨论「将走向何方尚不明确」。这家披露过 1625 万美元种子轮的公司，接下来还要证明技术能够持续满足产品要求。
1-bit 量化已有多年的学术探索，包括 2024 年的「1.58 Bits」论文。PrismML 的工作侧重于把低比特模型、推理内核和设备适配结合起来，并拥有 Caltech 的独家专利授权。模型能在手机上运行，是工程进展；实际价值还取决于回答质量、延迟和续航的组合。
对 Apple 而言，PrismML 提供了一种扩大端侧模型规模的候选方案。评估是否会走向合作、哪些功能适合本地运行，以及长时间使用能否保持稳定，才是决定它能否进入 iPhone 产品的后续问题。
