AREXOpen in interactive Feed

AREX Feed Article

Cohere 把 DeepSeek、GLM 等开放模型接入 Model Vault,加密档只覆盖其中一部分

November 4, 2026

Cohere 在 2026 年 11 月 3 日(UTC)的中称,Model Vault 开始提供 DeepSeek V4.1 Flash、GLM 5.3 Flash、MiMo V2.6 Pro、Gemma 4、NVIDIA Nemotron、GPT-OSS、Phi 和腾讯 Hy3 等第三方开放模型;Model Vault Encrypted 也接入了其中一部分。企业可以在同一个托管、单租户环境中调用 Cohere 自家模型和这些开放模型;Cohere 称,Model Vault 默认不保留提示与输出。

但两个档位能选的模型不同。按博客的对照表,DeepSeek、GLM、MiMo、Nemotron 和 Hy3 只在 Model Vault 一栏标为可用,Model Vault Encrypted 一栏标为「No」;博客表格里,加密档列出的第三方家族是 Gemma、GPT-OSS 和 Phi。

同一平台,两份模型清单

这次公告新增的是第三方开放模型,变化在 Model Vault 的模型目录。按 Cohere 的说法,切入点是那些不能把敏感数据送进共享 API、又没有能力或容量自己运维推理集群的机构。Cohere 把这套安排称为「主权推理」(sovereign inference):客户自己决定数据放在哪、谁能访问、用哪个模型。Model Vault 这一档(文档里称 Standard Vault)是单租户的托管推理服务,Model Vault Encrypted 在此之上加机密计算。

博客表格列出 8 个第三方家族,其中标为加密档可用的只有 3 个:

模型家族开发者Model VaultModel Vault Encrypted
DeepSeekDeepSeek可用不可用
GLMZ.ai可用不可用
MiMoXiaomi可用不可用
GemmaGoogle可用可用
NemotronNVIDIA可用不可用
GPT-OSSOpenAI可用可用
PhiMicrosoft可用可用
Hy3Tencent可用不可用

上表据博客表格整理。加密档文档的清单与博客表格并不完全重合:里还列了 Qwen(Alibaba),以及 Mistral 的 Ministral、Devstral,但没有 DeepSeek、GLM、MiMo、Nemotron 和 Hy3。

机密计算把边界推到推理过程

Model Vault 按单个客户部署。按,负载均衡、服务中间件、推理服务器和 GPU 都专供该客户,没有共享 GPU,也没有邻租户。加密档的不同在于,模型处理数据的过程也留在保护范围内;传输和静态存储的保护,两档都有。

Cohere 在 10 月 22 日的里说明,模型服务栈跑在机密虚拟机内,GPU 侧用 NVIDIA 的机密计算模式,CPU 与 GPU 之间的通信也加密;写明,CPU 侧用的是 Intel TDX 或 AMD SEV-SNP 这类机密虚拟机。这篇文章还说明,请求内容用 Oblivious HTTP(OHTTP)加密到机密环境的公钥,中间设施只能看到密文,只有环境内的 OHTTP 网关能解密。

按这篇文章的描述,客户在发送请求前,会用远程证明(remote attestation)的签名证据对照自己的策略,检查硬件、固件和软件测量值是否符合预期;不符合,客户端就不发送。

硬件目录比标准档窄。文档说加密档清单里的每个模型都跑在一张 NVIDIA H100 80GB 上;标准档支持 L4、A100、H100、B200、GB200 和 AMD MI300X。

Cohere 在 10 月 22 日称这套能力以公开测试形式提供,跑在 Azure 的 H100 上;11 月 3 日的公告则称加密档在美国上线。

两套保护:不留存,与「看不到」

博客写明零数据保留(Zero Data Retention,ZDR):Model Vault 默认不保留提示和输出。把这一项同时标在标准档和加密档,并说明提示与输出在请求结束后不被留存。

标准档里,Cohere 运营客户的专用推理服务,并承诺不留存;加密档里,Cohere 说自己在结构上看不到明文,云厂商也看不到,因为数据在机密环境里保持加密。

这套保护的边界写在同一篇技术文章里:部分物理攻击和侧信道攻击不在防护范围内;运营方仍可能停止、延迟或阻断工作负载,机密计算不提供可用性保证;提示注入、工具调用不当、授权错误等应用层问题不会因为套上机密硬件就消失;请求时序、消息大小、流量和路由信息仍可能暴露,API 凭证和模型标识也在 OHTTP 保护之外。

文章还把硬件、固件、机密环境里被测的软件、参考测量值和证明基础设施列为仍需信任的组件。客户能验证环境是否符合策略,但信任仍落在这些组件上。

截至发稿,这些说法仍是 Cohere 的单方声明,未经独立验证。Cohere 说打算开源机密推理栈,让客户和研究者检查实现、复现测量值。

区域清单跟着 GPU 走

博客给出的区域是:Model Vault 在美国、欧盟、加拿大可用;Model Vault Encrypted 只在美国可用,欧盟和加拿大「即将支持」。

补了限制:区域在创建 vault 时选定,之后不能改;vault 里的每个模型都在该区域运行,提示与响应也在那里处理。美国区域提供全部受支持的模型和 GPU;欧盟区域只提供能在 B200 或 L4 上运行的模型;加拿大区域只提供能在 GB200 或 L4 上运行的模型。加密档依赖支持机密计算的 GPU,文档列出的是 H100 80GB。

同一份模型清单,不等于每个区域都能部署。欧盟客户能选的开放模型,取决于当地是否有对应 GPU。

Cohere 在 10 月 22 日的文章里还提醒,机密计算不是数据驻留机制:它管的是计算时谁能访问数据,不决定计算发生在哪个司法辖区。数据驻留要靠区域选择。

开放模型走 OpenAI 兼容接口,账单按 GPU 小时算

Cohere 的文档写明,开放模型走 OpenAI 兼容的 Chat Completions API,不走 Cohere SDK;Cohere 自家模型则可以把 Cohere SDK 的 base_url 指向 vault 端点来调用。还提醒,开放模型按各开发者的许可证提供,部署前要查看对应模型页。

创建 vault 时,要选区域、加模型、给每个模型选 GPU、设副本的最小值和最大值。文档说支持自动扩缩容、没有速率限制,并按每个副本运行的 GPU 小时计费。

博客说定价按 GPU 类型,提供按需(小时)和预留容量;预留可按月或按年承诺,需联系销售。文档的算法是:每小时 GPU 单价 × 每副本 GPU 数 × 副本数。

RWS 的证言,与加密档的下一步

Cohere 博客附上的客户证言来自 RWS 研发与产品开发副总裁 Dragos Munteanu。他说 Language Weaver 用 Model Vault 运行包括 LW Pro 在内的模型,看重零数据保留、数据驻留和客户对数据去向的控制;Cohere 负责托管和扩缩容,团队不用自己运维。

Cohere 说未来几个月会增加区域、把加密档扩展到加拿大和欧盟,并在每个区域增加模型。

对想把 DeepSeek 或 GLM 放进加密档的银行、医院或政府部门,Cohere 目前给出的选项是标准档;加密档的公开计划里还包括「更大的模型」。

参考链接