AREX Feed Article
Kandinsky 6.0 Video 开源首日获 vLLM-Omni 推理支持:5 秒视频配同步音频,MIT 开放
北京时间 2026 年 10 月 6 日 16 时 09 分(UTC 08:08:58),vLLM 项目官方账号 @vllm_project 发帖宣布,vLLM-Omni 已为 Kandinsky 6.0 Video 提供 Day-0(发布日即支持)推理支持,并把成果归功于 Kandinsky Lab(@kandinskylab_ai)。帖文描述该模型可从文本或图像输入生成 5 秒视频片段,带同步音频与口型同步(lip-sync),代码与权重以 MIT 许可开放,推理支持「在发布时即已就绪」()。帖文附带的链接指向 vLLM-Omni 仓库的 ,GitHub 合并记录显示,这份支持代码已于当天 15 时 55 分(UTC 07:55)合入主干,改动 38 个文件、新增 8,574 行,距 Kandinsky Lab 的开源公告推文约 18 分钟。
从权重公开到代码合入,同日完成
公开时间戳勾勒出这条「Day-0」时间线的关键节点。承载 Kandinsky 6.0 的 GitHub 仓库 创建于 10 月 5 日 17 时 06 分(北京时间);10 月 6 日 15 时 37 分,Kandinsky Lab 发帖宣布 Kandinsky 6.0 Video 开源:「Lite(3B)与 Pro(29B)两个版本,用于带同步音频的视频生成,代码与权重以 MIT 发布」,并附上仓库链接 ()。7 分钟后,该账号又发帖感谢推理平台 fal「把 Kandinsky 6.0 Video 带上你们平台」()。
vLLM-Omni 这边的动作更早。 由用户 osipovmekete 于 10 月 6 日 13 时 31 分提交——比开源公告推文还早约两小时——15 时 55 分被合并,vLLM 官方帖文在其后约 14 分钟发出。16 时 36 分,Kandinsky Lab 回帖致谢:「感谢 @vllm_project 为 Kandinsky 6.0 Video 提供 vLLM 的 Day-0 支持,我们很高兴把模型带给 vLLM 社区」()。「Day-0」是 vLLM 一方对该次发布的定性,上述可核对的合并记录与之相符:支持代码确实在模型公开的同一个自然日内进了主干。
一个 DiT、两条流:音画同步的实现路径
PR 描述写明了工程侧的做法:vLLM-Omni 新增 Kandinsky6TI2VAPipeline 管线,支持从权重仓库 kandinskylab/Kandinsky-6.0-Pro-5s-Diffusers 做文本生成视频加音频、图像生成视频加音频两种任务;其核心是让同一个 DiT(Diffusion Transformer,扩散 Transformer)同时对视频与音频潜变量去噪。权重按 Hub 目录分块加载(transformer/、vae/、text_encoder/、text_encoder_2/、audio_vae/),发布检查点中的 videoT/audioT 命名在加载时映射为 video_dec_block/audio_dec_block。音频默认开启,输出 44.1 kHz AAC;图像输入则作为带掩码的尾帧参与生成 ()。
模型自身的架构在随发布公开的技术报告()里有更完整的说明。论文将每个 transformer 块画成两条并行流:视频流与音频流各自做自注意力、对文本嵌入做交叉注意力(T2V 与 T2A),随后经 V2A、A2V 两股跨模态注意力互相查询,再过前馈层输出。训练流程图还标注,视频流是从预训练的 Kandinsky 5.0 Video 模型初始化的 ()。
单卡 H100 实测:12 分半产出 5.22 秒成片
PR 附带的测试记录给出了可复核的运行参数与结果:在单张 NVIDIA H100 80GB 上,以 864×480 分辨率、125 帧、50 步、CFG 5.0、固定种子 42 运行 Pro 版文本生成视频加音频,开启 CPU offload 与 FlashAttention-3,基于 vLLM 0.31.0。引擎初始化 41 秒,生成耗时 751.7 秒(约 12 分 32 秒),迭代速度 14.4 秒/步,显存峰值预留 78.39 GiB;输出为 H.264 编码的 864×480、125 帧、24 fps、时长 5.22 秒的视频文件,外加 44.1 kHz 单声道 AAC 音轨(230,400 个采样),CPU 单元测试通过 ()。这些数字出自 PR 提交者自报的测试记录,随代码一并合入。
Lite 3B 与 Pro 29B:两种规格,三条分辨率档
按 Kandinsky Lab 仓库 README 的描述,Kandinsky 6.0 Video 是「同步文本到音视频生成」的基础扩散模型家族,分 Lite(3B 参数)与 Pro(29B 参数)两档,两者都生成 5 秒片段,配同步的 44 kHz 音频、含口型同步,支持文本到音视频(T2AV)与图像到音视频(TI2AV)两种模式;再由一个插件式超分模型把输出分辨率提到全高清 1920×1080 ()。本地运行要求 NVIDIA GPU 与 Python 3.13 或 3.14:Hopper 卡(H100/H200)安装 FlashAttention 3,Ampere、Ada 与消费级 Blackwell 卡则编译 SageAttention 2.2.0。
README 给出了一张自报的生成耗时表(非蒸馏模型、预热后,不含权重加载与 MP4 编码):H100 上 Pro 档 SD 分辨率一段 5 秒片段需 356 秒、Lite 档 239 秒;RTX 5090 上 Pro 档为 754 秒;消费级卡 RTX 5060 Ti 上 Pro 档则要 3,080 秒、Full HD 档 3,530 秒。技术报告同时给出了训练、强化学习后训练、蒸馏与超分各环节的流程图,以及与 Kling、LTX、Veo、Seedance 等系统的并排对比图与 VABench 雷达图 ()——这些对比结果均为论文作者一方评估。
发布首日的四条使用路径
发布当天,这个模型家族至少有四条入口。其一是 vLLM-Omni:该仓库定位为「面向全模态模型的高效推理框架」(),kandinsky6 的 API 文档页已在 docs.vllm.ai 上线,README 的更新日志也把「加入 vLLM-omni 支持」列为 10 月 6 日第一条 ()。其二是 fal 平台,来自 Kandinsky Lab 的致谢帖。其三是 ComfyUI:README 指引用户经 ComfyUI Manager 安装 与 kandinsky6-sr 两个节点。其四是 Hugging Face:README 链接到 和 ,README 写明的本地快速上手流程也会在首次运行时自动把权重下载到本地缓存目录。
对 Kandinsky Lab 而言,这不是第一次把模型推向开源社区:其账号时间线显示,2025 年 11 月开源了 19B 的 Kandinsky 5.0 Video Pro,2026 年 8 月又开源了面向自动驾驶、机器人与复杂物理场景的世界模型 Kandinsky WM 1.0,同样采用 MIT 许可 ()。
哪些说法已被独立核对,哪些仍是项目方口径
截至发稿,可以直接核对的事实包括:vLLM 官方帖文与其时间戳、PR #8537 的提交与合并记录(合并提交 5f95115e)及其改动量、kandinsky-6 仓库的 MIT 许可(经 GitHub API 确认)、README 全文,以及 vLLM-Omni 文档页已可访问。仍属项目方口径、未经独立验证的包括:5 秒音画同步与口型同步的实际生成质量、README 与 PR 中的全部耗时与显存数字、论文中的对比与基准结果,以及 fal 平台上的实际可用性——本次用于说明生成效果的分镜与波形图,也出自项目方论文。另外,Hugging Face 上的权重页面在撰写期间无法从本报道环境访问,相关链接以 README 所载为准。音画同步究竟成色如何,目前公开可查的证据仍限于项目方自己发布的示例、图表与自测数据,实际效果有待使用者按 README 标明的硬件门槛自行运行检验。