AI 编程实时动态与要闻

llama.cpp 与 ggml 正式发布 v1.0.0:3.5 年来首个大版本,C API 改用语义化版本、破坏性变更必升主版本;同时移除 35 个废弃函数,新增 FP8 KV 缓存、MoE 专家缓存与 /v1/audio/speech

11 月 13 日,ggml-org 在 GitHub 发布 llama.cpp v1.0.0,并在 Hugging Face 博客宣布 llama.cpp 与 ggml 两个库同时进入 v1.0.0。今后 ./include 下公共 C API 出现破坏性变更时升主版本,向后兼容的新功能、后端和模型支持升次版本,纯修复升补丁版本。本次 release 移除 35 个废弃函数,把 NextN/投机解码 API 提升进 llama.h,新增 OCP FP8 KV 缓存、可设 CPU 分担比例的 MoE 专家缓存,加入 Kimi-K3.1-Pro 等新架构,llama-server 加固 SSRF/CORS/DNS rebinding 防护并新增 OpenAI 兼容的 /v1/audio/speech。作者 Georgi Gerganov 的发布帖约 4,180 赞。

llama.cpp 与 ggml 正式发布 v1.0.0:3.5 年来首个大版本,C API 改用语义化版本、破坏性变更必升主版本;同时移除 35 个废弃函数,新增 FP8 KV 缓存、MoE 专家缓存与 /v1/audio/speech

核心要点速览

  • 版本规则:MAJOR = ./include 公共 C API 破坏性变更;MINOR = 向后兼容的功能、后端、模型支持或 API 新增;PATCH = 不改 API 的修复
  • 破坏性变更:移除 llama_set_warmup、35 个废弃函数和 --defrag-thold;llama_set_embd_state_src 改名为 llama_set_ctx_state_src,嵌入 libllama 的项目升级前要改代码
  • 新能力:FP8 KV 缓存(-ctk/-ctv f8_e4m3)、MoE 专家缓存(moe_cache_size、moe_cache_cpu_share)、通过 --shard/--ple 加载外部 PLE 分片
  • llama-server 加固 SSRF、CORS、DNS rebinding 与 MCP 工具取消,新增 OpenAI 兼容 /v1/audio/speech,Web UI 重做(GitHub release)
  • 分发渠道包括 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和 XCFramework;项目目前支持 150+ 种架构变体
阅读全文
关联模型 / 智能体 / 厂商:

Zyphra 开源语音合成模型 ZONOS3-Mini:800M 总参、100M 激活的 MoE,Apache 2.0 协议,手机浏览器内实时运行,可逐词控制语气与声线克隆

Zyphra 11 月 9 日发布开源语音合成(TTS)模型 ZONOS3-Mini,权重以 Apache 2.0 协议上架 Hugging Face。它是稀疏 MoE 模型,总参数 8 亿、每 token 激活约 1 亿,用 112 张 H100 训练 2.5 天。官方口径:在 Pixel 9 浏览器里首段音频延迟低于 570 毫秒,M3 MacBook Air 上低于 150 毫秒;在自建的 ZTTS2-Eval(35 种语言朗读 + 20 种语言真实录音)能力指数上排名开源模型第一,领先 Fish S2 Pro 和 MOSS TTS v1.5。支持声线克隆、年龄/口音/性别调节和逐词语气控制,提供 WebGPU、SGLang、vLLM、GGML、MLX 等运行时。

Zyphra 开源语音合成模型 ZONOS3-Mini:800M 总参、100M 激活的 MoE,Apache 2.0 协议,手机浏览器内实时运行,可逐词控制语气与声线克隆

核心要点速览

  • 规模:800M 总参、约 100M 激活(64 专家、top-2 路由),上一代 ZONOS2 为 8B,Apache 2.0 开放权重
  • 速度(官方口径):Pixel 9 浏览器首段音频 <570 ms,M3 MacBook Air <150 ms;单张 H100 在 8 并发下中位首音 80 ms,峰值每秒生成 457 秒音频
  • 自研 ZAC-1 编解码器帧率 15 Hz(原 DAC 为 86 Hz),同等数据下词错率降低约 10 倍;单次最多生成 10 分钟 44.1 kHz 音频
  • 评测:ZTTS2-Eval 覆盖 35 种语言朗读 + 20 种语言真实录音,420 项能力指数中开源模型排名第一,其次为 Fish S2 Pro 与 MOSS TTS v1.5(自建基准,暂无第三方复现)
  • 上手:浏览器 WebGPU 免安装试用,或 sgl-omni serve --model-path Zyphra/ZONOS3-Mini 起 OpenAI 兼容 /v1/audio/speech 接口
阅读全文
关联模型 / 智能体 / 厂商:
⚡ ZONOS3-Mini🌐 Zyphra
g
ggml-org@AICoder·
👀216
🔥84

llama.cpp v0.6.0 稳定版发布:正式纳入 GLM-5.3-Flash(320B)与 Qwen4Exp MTP 投机解码,新 llama_batch_ext API,Apple GPU 小批量矩阵乘最高约 3 倍

ggml-org 于 10 月 5 日发布 llama.cpp v0.6.0 稳定版(上一版 v0.5.0 为 9 月 23 日)。本版把 GLM-5.3-Flash(GLM5-Next,320B 图文混合 MoE)支持带进正式版,Qwen4Exp 加入 MTP 投机解码(DGX Spark 上解码约 1.5 倍),引入支持 token/embedding 混合批次的 llama_batch_ext 与 llama_process() 新 API,并为 Apple GPU 新增小批量 MMA 矩阵乘内核(投机/批量解码场景最高约 3 倍),ggml 升级到 v0.26.0。会话格式版本号同时升级,旧会话文件需注意兼容。

核心要点速览

  • 新模型:GLM-5.3-Flash(GLM5-Next,320B KDA/DSA 混合图文 MoE,#27773)、Clef 图文决策模型、Ling 3.0 VL、LFM2.5-Encoder
  • 提速:Qwen4Exp MTP 投机解码在 DGX Spark 上解码约 1.5 倍;Metal 小批量 MMA 矩阵乘最高约 3 倍(#29869)
  • API:新增 llama_batch_ext + llama_process(),单批次混合 token 与 embedding(#24669);server 已迁移
  • 兼容性:LLAMA_SESSION_VERSION 升至 11、LLAMA_STATE_SEQ_VERSION 升至 4,旧的会话/状态文件需重新生成
  • Server:/v1/models 返回输入输出模态;/v1/embeddings 接受图像/音频/视频类型输入;新增 /v1/systemone 决策模型接口
阅读全文
关联模型 / 智能体 / 厂商:

llama.cpp 原生 Decision Models:/v1/systemone 一次前向出概率;支持 Julia-1/Laya/Kev-4B/lev/OpenJev

ggml-org 于 2026-10-02 宣布 llama.cpp server 合并 PR #29818,新增 /v1/systemone:对状态(文本/JSON/截图)与 typed 问题做单次前向打分,兼容 TypeSafe Jev / System One 客户端。首批模型:Julia-1(144M)、Laya(421M)、Kev-4B、lev、OpenJev(27B+视觉)。Cloudflare Clef 列为后续。

llama.cpp 原生 Decision Models:/v1/systemone 一次前向出概率;支持 Julia-1/Laya/Kev-4B/lev/OpenJev

核心要点速览

  • 官方博文:New in llama.cpp: Decision Models(2026-10-02);实现:PR #29818 合并于 2026-10-02T09:56Z(+2139/−15)
  • API:POST /v1/systemone;问题类型 choice / score / noul;响应含 probabilities + confidence;output_tokens: 0
  • 首批 GGUF:ggml-org/{Julia-1,Laya,Kev-4B,lev,OpenJev}-GGUF;RTX PRO 6000 官方中位时延约 3–43 ms/问
  • 与已入库 Ollama 0.35 / Cloudflare Clef 不同栈:本地 llama.cpp 推理运行时原生 System One;博文写明 Clef 将跟进
  • 开箱:llama serve -hf ggml-org/Kev-4B-GGUF 后 curl localhost:8080/v1/systemone;router 模式可按请求选模型
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Julia 1⚡ laya⚡ Kev 4b⚡ lev⚡ openjev🌐 Ggml org🌐 Huggingface
AD赞助内容

llama.cpp v0.5.0:CUDA conv2d 隐式 GEMM + Metal MoE/SSM 融合,新增 MiMo-V2.6 / HunyuanOCR / Mimir 1B

ggml-org 于 2026-09-23 发布 llama.cpp v0.5.0:CUDA conv2d 改隐式 GEMM 加速、Metal 侧 MoE 与 SSM_CONV 融合;server 支持多地址/--host 逗号列表与 UNIX socket;转换层新加 HRM-Text(DFM Mimir 1B)、MiMo-V2.6、HunyuanOCR(DFlash),并捆绑 ggml 0.25.0。

llama.cpp v0.5.0:CUDA conv2d 隐式 GEMM + Metal MoE/SSM 融合,新增 MiMo-V2.6 / HunyuanOCR / Mimir 1B

核心要点速览

  • 发布:v0.5.0(2026-09-23),相对站内既有 v0.4.1 为大版本跃迁
  • 性能:CUDA conv2d 隐式 GEMM(#29135);Metal MoE + SSM_CONV fusion(#28948);MTP drafting 启用 CUDA graphs(#28549)
  • 模型:HRM-Text / DFM Mimir 1B、MiMo-V2.6 转换、HunyuanOCR DFlash、Qwen4Exp hyper-connection + sparse FA、Nemotron MTP/H 扩展
  • Server:--host 支持逗号分隔 TCP 与 UNIX socket(#28690);function-call 输出可带 input_image;router 驱逐竞态修复
  • API:llama_adapter_lora_init_from_file_ptr();采样参数可走环境变量;llama-bench --version
阅读全文
关联模型 / 智能体 / 厂商:
⚡ qwen⚡ deepseek⚡ nemotron🌐 Ggml org

llama.cpp v0.4.1:新增 Maple/Hy4/Spark2.5,修 qwen3-coder 解析并升级 ggml 0.24.0

官方 @ggml_org 发布 llama.cpp v0.4.1:新增 Maple 20B-A1B、Tencent Hy 4、Spark2.5 等架构支持;改进 Kimi-K3 状态回滚、JSON schema、qwen3-coder 复杂类型解析与 MCP/多模态相关修复,并将 ggml 更新至 v0.24.0。发布说明见 GitHub ggml-org/llama.cpp releases/tag/v0.4.1。

核心要点速览

  • 官方发布 llama.cpp v0.4.1,支持 Maple 20B-A1B、Tencent Hy 4、Spark2.5。
  • 改进 qwen3-coder 解析、Kimi-K3 回滚、JSON schema 与多模态/服务端稳定性。
  • ggml 升级到 v0.24.0;发布页 ggml-org/llama.cpp v0.4.1。
阅读全文
关联模型 / 智能体 / 厂商: