商汤开源 SenseNova-Loop-9B 正式版:32 层权重循环执行 56 次层计算,AWQ 量化版同日上线
11 月 17 日,商汤科技旗下大模型品牌「日日新」(SenseNova)正式发布并开源 SenseNova-Loop-9B 的模型权重与代码(新浪科技、Hugging Face 模型卡)。这是一款约 9B 参数的循环架构(looped architecture)多模态模型:32 个物理解码器层中的第 4~27 层共享权重、连续执行两次,一次前向传播完成 56 次解码器层计算,上下文长度最高 512K tokens,权重与代码以 Apache 2.0 许可开放。官方 AWQ 4-bit 量化版在发布首日同步提供。
官方自报的评测结果显示,正式版在全部七项基准上超过 10 月 31 日发布的 Preview 版,并在 Agent(智能体)与数据分析类评测中与 27B 级的 Qwen3.8-27B 互有胜负。
相隔 17 天:从 Preview 到正式版
Preview 版于 10 月 31 日先行开源(模型卡 News 标注),正式版在 17 天后上线。模型卡 News 一栏标注「2026-11-17: We release SenseNova-Loop-9B」,页面任务类型为 image-text-to-text(图文输入、文本输出),参数量标注 9.41B。IT之家报道称,商汤科技于 17 日晚间正式发布该模型(IT之家/搜狐);SenseTime 官方 X 账号当天发布公告,把更新点概括为相对 Preview 的大幅提升、Day-0 的 4-bit AWQ 权重,以及最高 512K 上下文(SenseTime 公告)。
权重与代码开放在两处:Hugging Face 的 sensenova 组织页与 GitHub 仓库 OpenSenseNova/SenseNova-Loop,仓库页显示 138 stars、8 forks;ModelScope 上此前已上架 Preview 镜像。README 提到,Preview 发布后社区在模型使用、推理部署与生态集成方面给出了反馈,正式版保留循环架构与双流 mHC,主要改进 Agent、编码与数据分析任务的表现。上下文长度也从 Preview 时期标注的 262,144 tokens 训练序列扩展到 512K。
循环块与双流 mHC:同一份权重如何跑两遍
结构上,输入先经过第 0~3 层,再进入由第 4~27 层组成的循环块,最后经第 28~31 层和输出头输出;官方把循环块的双重执行写作 B(B(h))。整个模型只需存储 32 份层权重,官方同时标注推理等效参数量约 14.6B。模型隐藏维度 4,096,前馈维度 12,288,词表规模 248,320,全注意力头 16 个、KV 头 4 个(模型卡)。
循环块内部的信息通路靠双流 mHC(manifold-constrained hyper-connections,流形约束超连接)维持:两条残差流并行携带隐状态,每一层通过可学习映射决定从两条流中读取什么、如何互相混合、把输出写回哪里;流间混合矩阵受 Sinkhorn 归一化约束,模型配置使用 20 次迭代。注意力是四层一组的混合模式:三层线性注意力接一层全注意力,循环边界与完整的四层组对齐,保证两次循环的注意力模式一致。
mHC 这一方法出自 2025 年 12 月底公开的一篇 arXiv 论文:论文把超连接(Hyper-Connections,HC)扩展出的残差连接空间投影到双随机矩阵流形上,以恢复残差连接的恒等映射特性,用于稳定大规模训练。SenseNova-Loop-9B 的主干权重为 BF16,mHC 路由参数以 FP32 存储。
对 Qwen3.8-27B:AutomationBench 持平、AIDABench 微胜、NL2Repo 落后
官方列出的七项对比(Preview→正式版):AutomationBench 14.33→36.67,Terminal-Bench 2.1 40.45→59.55,NL2Repo 19.91→41.36,GAIA 37.86→69.90,AIDABench 58.62→65.31,BIRD 71.38→72.34,T³-Banking 18.56→30.93(模型卡)。官方图表的对比对象除自家两版外,还包括 Qwen3.8-27B、Qwen3.6-27B、Qwen3.6-35B-A3B、iQuest-Coder 40B 与 Nanbeige4.2 3B。
与 Qwen3.8-27B 的对位,README 写明三项:AutomationBench 双方同为 36.67,AIDABench 65.31 对 65.01,NL2Repo 41.36 落后于对方的 44.60,措辞是「相当」(competitive)而非全面领先。评测的设置与复现条件以官方说明为准,七项成绩均为厂商自报,未经独立验证。
循环加深到三、四圈还能涨分,但默认只用两圈
官方同时公布了循环深度的实验(Loop Scaling):固定训练数据和其他设置,以单次前向传播(Loop 1)为基线,把循环次数从一圈加到四圈。三圈时 AIDABench-QA 相对基线提升 6.42%,Workbuddy-office 提升 16.93%;四圈时 LiveCodeBench V6 提升 8.10%,AIDABench 数据可视化提升 8.55%(模型卡)。
Preview 和正式版默认都只用两圈,以平衡推理效率。从两圈加深到四圈,LiveCodeBench V6 再涨 1.04 个百分点,AIDABench 数据可视化再涨 1.35 个百分点。官方称实验只覆盖一到四圈,更深循环的收益留待研究,并计划探索按输入复杂度自适应调整圈数的 Dynamic Loop 架构。
部署门槛:64K 上下文约 9 GiB,256K 约 15 GiB
按官方估算,AWQ 4-bit 版的权重约占 4.9 GB;配合 8-bit KV 缓存,64K、128K、256K 上下文的最低显存需求分别约为 10、12、15 GiB,换用 4-bit KV 缓存可降到约 9、10、12 GiB(模型卡)。IT之家把这组数字概括为「部署显存需求低至 10 GB 内」(IT之家/搜狐)。
软件环境方面,README 给出的已验证环境(基于 Preview 检查)是 Transformers 5.18.0、PyTorch 2.11.0 与 CUDA 13.0,加载时需要 trust_remote_code=True 以载入自定义模型实现。部署指引包括 LightLLM,以及包含 SenseNova Loop 实现的 SGLang PR #47281 和 vLLM PR #64832。模型支持 MTP 推测解码,DSpark 与 DFlash2 草稿模型的训练脚本已在 SenseSpec 仓库提供,发布版草案权重与启动配置待随模型更新;微调示例放在 OpenSenseNova/torchtitan。
官方列出的三项短板,与一天内到位的生态回应
模型卡列出三项已知短板:面对大量复杂工具定义或多重约束时,可能误解或遗漏要求;编码与通用 agent 任务表现不稳定,复杂长程任务的处理能力仍待改进;含复杂 3D 场景与丰富动画的网页可能一轮生成不完,部分示例需要用户反馈、两三轮迭代。SenseTime 官方账号在发布当天的后续推文中承认这些挑战,表示会继续改进、把 Loop 架构放大到更大规模并更频繁地发布更新(SenseTime 后续推文);README 同样预告计划将 Loop 架构应用于更大的模型。
发布数小时内,社区给出两类回应。开发者 cheatyyyy 的推文获得 649 次点赞,称该模型「与 Qwen 3.8-27B 相当」(X);账号 @ParisMichalas 宣布已完成 Apple Silicon 的 MLX 移植,自称 6-bit 版本体积 7.3 GB、96.7% 的情况下输出与原模型一致,另提供 4-bit 与 8-bit 版本(X)。也有用户提示适配成本:@wangwan97978269 指出,社区 GGUF 量化版目前需要修改版 llama.cpp 才能运行,LM Studio 与 Ollama 尚未支持(X)。
寒武纪官方宣布已完成对 SenseNova-Loop-9B 的 Day 0 适配:基于 vllm_mlu 打通模型在 MLU 平台上的推理链路,工作围绕 Loop 循环结构、MLU 算子适配与 mHC 路由优化三个方向展开(新浪科技/IT之家)。发布不到一天,这个循环架构已同时有了国产 MLU 芯片适配和 Apple Silicon 社区移植;官方给出的显存需求均为估算,这些平台上的实际吞吐与稳定性,要靠后续实测来回答。
参考链接
- Hugging Face 模型卡:sensenova/SenseNova-Loop-9B
- GitHub 仓库:OpenSenseNova/SenseNova-Loop
- ModelScope:SenseNova-Loop-9B-Preview
- IT之家(搜狐):商汤发布 SenseNova Loop-9B 模型
- SenseTime 官方 X 发布公告
- SenseTime 官方 X:限制与后续计划
- arXiv:mHC: Manifold-Constrained Hyper-Connections
- 新浪科技/IT之家:寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配
- X:cheatyyyy 对 SenseNova-Loop-9B 的评价
- X:@ParisMichalas 的 MLX 移植公告
- X:@wangwan97978269 的适配提示