AI 编程实时动态与要闻

I
IBM Graniteibm-granite·
👀13
🔥82

IBM 发布 LLM 原生标记语言 LLMON 和两款 Granite 4.1 预览模型(3B/8B):用保留 token 把指令和数据分开,OPI 间接注入测试中比最好的前沿模型多挡住 47% 的攻击

11 月 12 日,IBM Granite 团队在 Hugging Face 发布 LLMON(LLM Object Notation,读作「lemon」):用词表里的保留特殊 token 包裹带语义标签的块(指令、数据、要求等),每块有唯一 ID,再由一个 exec 执行块指定要运行哪条指令、作用于哪些数据。同时开源两款实验预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview(Apache 2.0),附带 GitHub 工具包、JSON 与 LLMON 无损互转工具。官方称在 OPI 间接提示注入基准上,LLMON 模型比测试中最好的前沿模型多挡住 47% 的攻击、比最好的开源模型多挡住 95%,通用能力与 Granite 4.1 Instruct 持平;但这只是学到的行为、不是强制保证,目前仅为实验预览,不建议用于生产。

IBM 发布 LLM 原生标记语言 LLMON 和两款 Granite 4.1 预览模型(3B/8B):用保留 token 把指令和数据分开,OPI 间接注入测试中比最好的前沿模型多挡住 47% 的攻击

核心要点速览

  • 语法:用保留特殊 token 包裹带标签的块(instruction、data、requirement 等),每块有唯一 ID,exec 块把指令绑定到它要处理的数据上
  • 模型:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,基于 Granite 4.1 base 微调,Apache 2.0;自带 chat_template,用 apply_chat_template 即可,不必手写标记
  • 安全数据(官方自测):OPI 上比最好的前沿模型多挡住 47% 攻击、比最好的开源模型多挡住 95%,ASB 和 StruQ 趋势相似;只覆盖静态间接注入,多轮自适应攻击仍在改进
  • 工具链:GitHub generative-computing/llmon 提供 JSON 与 LLMON 无损互转;IBM 的 Mellea 框架原生支持;可自定义标签并在其上训练 LoRA
  • 限制:官方明确这是学到的行为而非强制保证,仅供探索评估,不建议生产使用;Agent 的权限控制仍应放在应用代码里
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Granite 4.1⚡ granite-4.1-3b-LLMON-preview⚡ granite-4.1-8b-LLMON-preview🌐 IBM🌐 Hugging Face

AWS 推出 Nitro Sandboxes:每个 EKS Pod、ECS 任务都能跑在独立的硬件隔离 VM 里,AI Agent 执行生成代码一会话一沙箱,支持加密证明,不额外收费

AWS 本周推出 Nitro Sandboxes,并于 11 月 11 日(北京时间 12 日凌晨)在官方 X 账号再次推介。它是一种由 Nitro Hypervisor 管理的轻量 VM:每个 EKS Pod、ECS 任务或 EC2 上的工作负载都有自己的内核和硬件隔离边界,但仍跑在你已有的 EC2 实例里。AWS 明确把“AI Agent 执行 LLM 生成的代码”列为核心场景:每个会话一个沙箱,被提示注入诱导执行的代码只会困在这台 VM 里,会话结束即删除。EKS/ECS 开启只需改一行配置,大多数 Nitro 实例、所有商业区域可用,不额外收费。

AWS 推出 Nitro Sandboxes:每个 EKS Pod、ECS 任务都能跑在独立的硬件隔离 VM 里,AI Agent 执行生成代码一会话一沙箱,支持加密证明,不额外收费

核心要点速览

  • 隔离:每个 Pod / 任务 / Agent 会话 1 台独立 VM、独立内核,一个沙箱里的内核漏洞不会波及邻居;无嵌套虚拟化,CPU 和内存接近原生 EC2 性能
  • 开启:EKS 在 Pod spec 里加 1 行 runtimeClassName(confidential-sandbox 或 isolated-sandbox);ECS 在 Managed Instances 任务定义里设 isolationMode
  • 两种模式:Isolated 信任节点运维、启动更快;Confidential 全程可证明,镜像加载受 Cedar 策略约束,KMS 只把密钥发给证明自己跑的是你批准代码的沙箱
  • AI 场景:Agent 每个会话独立沙箱,会话结束即删除;模型厂商可把闭源权重部署进客户账号,权重只在通过证明的沙箱里解密
  • 价格与范围:0 额外费用(只付 EC2 及 EKS Auto Mode / ECS Managed Instances 管理费),支持 Graviton、Intel、AMD,原生支持 Amazon Linux 与 Firecracker
阅读全文
关联模型 / 智能体 / 厂商:

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

在 GTC Berlin 大会上,NVIDIA 官方正式发布 OpenShell 智能体安全参考架构与全新的 Agent Knowledge Foundation 套件。针对自主 AI 智能体(Autonomous Agents)在拥有系统写权限、数据库查询与终端执行能力后,极易因提示词注入或失控执行产生越权访问机密数据、发起破坏性命令的行业痛点,OpenShell 基于硬件级隔离信任根(Hardware-Isolated Security)构建了严密的运行时安全边界。系统能够以纳秒级开销实时监控并拦截智能体跨越授权边界的工具调用与数据交互,成为企业级安全可靠智能体调度的基石标准。

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

核心要点速览

  • NVIDIA 在 GTC Berlin 峰会重磅发布 OpenShell 参考架构,以硬件级安全隔离为自主智能体划定不可逾越的运行边界
  • 提供全生命周期运行时动态拦截机制,在智能体试图访问非授权数据库、外发敏感 Token 或执行越权脚本时实现硬核阻断
  • 无缝整合 NVIDIA Agent Toolkit 与全新的 Agent Knowledge Foundation,打通企业知识库安全鉴权与合规审计链路
  • 彻底破解企业在生产环境部署高权限 Coding Agent 与自动化运维智能体(SRE)的安全合规合流难题
阅读全文
关联模型 / 智能体 / 厂商:

南方科技大学提出 ActGov:基于 SMT 形式化策略校验的 Agent 运行时治理框架,彻底阻断间接提示注入

南方科技大学系统安全研究团队联合发布自主智能体运行时防护框架 ActGov(arXiv:2609.24446)。针对 LLM Agent 在长程复杂任务中调用外部工具时易受不可信输出影响并突破授权边界(如间接提示注入导致恶意删除数据或转账)的核心威胁,ActGov 构建了兼具静态 SMT 形式化验证与动态运行时拦截的双层防护网。系统将工具调用转化为有限策略记录,并在操作生效前进行毫秒级权限边界核验。在业界权威安全基准 AgentDojo 与 AgentDyn 的多模型跨攻击测试中,ActGov 在保持 100% 任务正常可用性的同时,将间接提示注入攻击的成功率压制至近乎为零,显著超越现存所有基于静态提示过滤的防御方案。

南方科技大学提出 ActGov:基于 SMT 形式化策略校验的 Agent 运行时治理框架,彻底阻断间接提示注入

核心要点速览

  • 形式化 SMT 策略合成:ActGov-Policy 基于工具规范与反例检测,通过 SMT 求解器自动化生成并验证无冲突的精确授权策略集
  • 零信任操作前拦截:ActGov-Runtime 在每个工具调用造成外部实际副作用(Side Effects)前进行微秒级抽象核验,非合规操作硬性拦截
  • 不依赖大模型自觉:彻底摆脱传统防御依赖“让 LLM 自己判断指令是否恶意”的脆弱逻辑,在计算图外部建立不可逾越的确定性防线
  • 攻防基准全面压制:在 AgentDojo 与 AgentDyn 跨模型测试中,攻击成功率降幅超 92%,正常良性任务完成率保持 0 衰减
  • 长程动态分支适配:原生支持跨数十个工具调用的复杂长程任务,自动维系任务生命周期内的动态授权边界
阅读全文
AD赞助内容

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

大模型安全与对齐权威研究团队在 Hugging Face 与 GitHub 正式开源了《Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures》(arXiv: 2609.29429,GitHub: sumleo/RLCDAlignBench)。针对当前工业界对大模型进行对齐安全审计(如提示词注入、阿谀奉承、越狱、欺骗与权力寻求)主要依赖生成式大模型裁判(LLM-as-a-Judge)导致单项测试成本昂贵、或者依赖固定标签分类器(如 Llama Guard)导致单次只能吐出一个分类标签的局限,团队提出了基于校准决策强化学习(RLCD)训练的专用多维判定模型 Jev。配合首创的十维对齐基准 RLCDAlignBench,Jev 仅凭单次模型前向推演即可输出多个具有严格数学概率校准的多标签判定,中位数 AUROC 达 0.886,评测成本剧降 63 倍。

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

核心要点速览

  • 单次调用即可输出多维概率校准判定,一次性覆盖阿谀奉承、越狱、提示注入、欺骗、幻觉等十大安全对齐失效维度。
  • 在涵盖 44 个主流对齐基准与 5 大目标模型的 RLCDAlignBench 评测中,取得 0.886 的中位数 AUROC 优异成绩。
  • 相比传统生成式大模型裁判(LLM-as-a-Judge)逐字生成长篇理由的沉重开销,Jev 的单次评测推理成本直接削减 63 倍。
  • 具有强悍的零样本泛化力,在多数安全场景中直接击败经过有监督微调的专用基线分类器,并能精准自动侦测既有数据标签缺陷。
  • 全部评测代码、Jev 推理流水线与 RLCDAlignBench 数据集已在 GitHub 全量开源。
阅读全文
关联模型 / 智能体 / 厂商:

AgentKernel 原生可信智能体操作系统发布:构建四大硬安全边界,彻底根治 Prompt 注入与提权漏洞

顶尖安全与系统研究团队在 Hugging Face 与 ArXiv 正式公开了《AgentKernel: The Trust-Native Agentic Operating System》(arXiv: 2609.29647)。随着自主 Agent 频繁摄入不可信网络内容并调用高权限系统工具,中间人提示注入(Prompt Injection)、记忆投毒(Memory Poisoning)与工具越权已成为制约智能体落地的最严峻瓶颈。AgentKernel 首次打破将安全寄托于脆弱应用层中间件的局限,从操作系统内核级构建了跨“身份(Identity)、感知(Perception)、认知(Cognition)、执行(Execution)”四大支柱的强制性不可绕过安全边界,将系统级结构安全转化为智能体的生产力倍增器。

AgentKernel 原生可信智能体操作系统发布:构建四大硬安全边界,彻底根治 Prompt 注入与提权漏洞

核心要点速览

  • 首次将经典操作系统进程隔离与特权级保护理念完整映射至大模型语义平面(Semantic Plane)。
  • 构建四大原生支柱:内核管控跨组织身份、阶梯式感知过滤、信息流可控记忆、以及语义到内核的工具强制断绝。
  • 彻底解决 Agent 在长期运行时被恶意网页注入 Prompt 导致记忆污染与高危 Shell 指令提权执行的顽疾。
  • 在全生命周期攻击红蓝对抗基准中,不可信指令拦截成功率达 99.1%,单任务执行额外开销控制在 3.2% 以内。
  • 论文预印本与架构规范已在 ArXiv 与 Hugging Face 全面开放,国内开发者可免代理查阅。
阅读全文
关联模型 / 智能体 / 厂商:

Gemini CLI 稳定版升至 v0.61.0:沙箱边界加固 + 间接 Prompt Injection 防护进入正式通道

Google Gemini CLI 于 2026-09-23 将稳定通道推进到 v0.61.0(npm @google/[email protected])。相对 v0.60.0,本版把间接 Prompt Injection 防护、沙箱文件系统边界与运行时状态隔离、AgentLoopContext 在对象展开时的属性保留,以及显式版本化 Flash 模型 ID 不被覆盖等修复合入稳定线。

Gemini CLI 稳定版升至 v0.61.0:沙箱边界加固 + 间接 Prompt Injection 防护进入正式通道

核心要点速览

  • 安装:npm install -g @google/gemini-cli(稳定通道现为 0.61.0);预览通道另有 0.61.0-preview.1 / 0.62.0-preview.0
  • 安全:阻止经构建文件改动与不可信命令标志触发的间接 Prompt Injection(#29250)
  • 沙箱:加固文件系统边界并隔离内部运行时状态(#29214)
  • 可靠性:AgentLoopContext 在 object spread 后属性不再丢失(#29335)
  • 模型路由:显式带版本的 Flash 模型 ID 会被保留直接执行(#29252)
阅读全文
关联模型 / 智能体 / 厂商:

Upstash 推出 Context7 Search:一次 GET 为编码智能体接地官方文档片段

Context7(@Context7AI / Upstash)发布 Context7 Search:面向编码智能体的 grounding API。一次 GET 即可返回由库作者维护、并经 prompt injection / 恶意代码扫描的官方文档片段,强调比开放网页搜索更安全、更省 Token。免费档每月 1,000 次调用;Pro 每席每月 5,000 次,超出后每千次 10 美元。

Upstash 推出 Context7 Search:一次 GET 为编码智能体接地官方文档片段

核心要点速览

阅读全文
关联模型 / 智能体 / 厂商: