llama.cpp 与 ggml 发布 v1.0.0,之后公开 API 不兼容将提升主版本号 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

llama.cpp 与 ggml 发布 v1.0.0,之后公开 API 不兼容将提升主版本号

2026-11-14 / 共 1,632 字

ggml-org

llama.cpp 是一套用 C/C++ 编写的本地推理库,许多桌面和服务器上的开放模型工具都建立在它的公开接口上。11 月 13 日,ggml-org 把 llama.cpp 和底层张量库 ggml 一起发到了 v1.0.0。GitHub 上的发布时间是 10:20 UTC,北京时间当天 18:20。

维护者强调的是一套更清楚的版本约定:以后再出现公开 C API 或 ABI 不兼容,会提升主版本号。

3.5 年之后,版本号开始承担承诺

Hugging Face 上的项目博文写,llama.cpp 已经发展了 3.5 年,目前支持超过 150 种模型架构变体,以及主流的推测解码方法。随着下游应用增多,开发者对稳定接口的依赖也在变重。

在 10 月 15 日的准备讨论里,维护者 ggerganov 把升到 v1.0.0 的主要目标说成:清掉公开 API 里的历史包袱,例如删除大多数已弃用接口。他同时写明,过去在 v0 阶段也曾做过破坏性变更,但没有严格体现在版本号上;从现在起会更严格,主版本号更新也可能比走到 1.0 所花的时间更频繁。

对下游来说,v1.0.0 的意义是把不兼容变更清楚记进版本号,接口并未就此锁死。

以后怎么看版本号

博文给出的规则适用于 ggml-org 下开始采用语义化版本的项目:主版本号对应 ./include 里公开 C API 的破坏性变更,次版本号对应向后兼容的功能、后端更新、新模型支持或 API 增加,修订号对应不改 API 的缺陷修复。

两个库同步到了 1.0.0:负责语言模型推理的 libllama,以及底层的 libggml。公开头文件分别在 llama.cpp/include/ 和 ggml/include/。

对已经链进这些库的下游项目来说,升级到 1.0.0 需要先处理被删除的旧接口;之后则可以按主版本号判断该不该跟着升级。

这次删了什么,又加了什么

发行说明列出的破坏项很具体。llama.h 删除了 llama_set_warmup、另外 35 个已弃用函数,以及 defrag_thold 和对应的命令行选项 --defrag-thold。原先放在 llama-ext.h 里的 NextN 接口(与推测解码相关)被提升进 llama.h,llama_set_embd_state_src 则改名为 llama_set_ctx_state_src。ggml 1.0.0 同样删掉了已弃用的公开 API,以及旧的 DIAG_MASK 运算。

功能侧,发行说明里对本地部署影响更直接的几项包括:键值缓存支持 OCP FP8(f8_e4m3);为混合专家模型增加可把未命中专家放到主机内存、并设定 CPU 分担比例的缓存;以及从单独的 GGUF 分片加载外部 PLE 或 engram 权重。自带的 llama-server 修补了 SSRF、CORS 和 DNS 重绑定等相关问题,客户端断开或超时时会取消 MCP 工具调用,并新增了与 OpenAI 兼容的 /v1/audio/speech 接口。这一版也加入了若干新架构,例如 Kimi-K3.1-Pro、Ripple、xing4_0,以及 drama-3 语音合成。

发行说明还列举了 CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU 等后端上的性能工作。这些是工程变更记录,本轮没有统一的第三方跑分,不宜据此排速度名次。

安装渠道已经铺开,升级仍要核对接口

项目同时列出了更多分发渠道,包括 Linux、macOS、Windows、Android 和 iOS 的预发布构建,以及 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和面向 Apple 平台的 XCFramework。持续集成得到了 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供的硬件支持,并使用 Hugging Face 的 Buckets 和 Jobs 来扩大测试容量。

对只通过命令行或图形界面使用 llama.cpp 的人,v1.0.0 更像一次常规功能更新。对把 libllama 或 libggml 链进自己软件的开发者,先看迁移说明、再决定何时跟进主版本号,会比把 1.0.0 理解成可以长期不再改接口更稳妥。

来源

  • llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem · Hugging Face
  • llama.cpp v1.0.0 · GitHub
  • dev : preparing for v1.0.0 · GitHub

评论

登录后即可参与评论。

加载评论中…

相关文章

  • ChatGPT 传统文本回答与 GPT-6 Intelligent UI 交互式回答的对比画面

    GPT-6 把聊天回答变成交互界面,原生组件仍留在 ChatGPT

    2026-10-24

  • GLM-5.2 在三个长周期编码基准上的表现对比

    智谱开源 GLM-5.2:部分长程编程测试接近 Opus 4.8

    2026-06-29

  • LiteLLM CVE-2026-42271 漏洞被 CISA 纳入已知被利用漏洞目录

    LiteLLM 漏洞已遭利用:AI 网关可能被控制,模型密钥面临泄露风险

    2026-06-11

AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact
GLM-5.3 基准测试表格截图,列出 CyberGym、ExploitGym、ExploitBench 三个网络安全基准与竞品模型的分数对比

Z.ai 发布 GLM-5.3,因网络安全能力增强将权重开放推迟两周

2026-08-14

  • Socket.dev 对 jscrambler 恶意版本的技术分析截图,展示异常文件结构和 preinstall 钩子

    jscrambler 的 npm 包遭投毒,恶意程序搜寻 AI 工具密钥

    2026-07-13

  • Developer Knowledge API 连接 gcloud CLI、Agent Skill、API Explorer 与多语言客户端的示意图

    Google 把开发文档接进编码 Agent,生成问答每天只给 50 次

    2026-10-23