AREX Feed Article
Cong Wei 发帖称 PixelUMM 已开源：代码与四个 checkpoint 均可下载，权重仅限非商业用途
10 月 5 日，称「我们已开源代码与模型」，帖子附上三条链接：Hugging Face 论文页、GitHub 代码库、Hugging Face 模型页。他的 X 账号简介显示他是滑铁卢大学计算机科学博士生；按 arXiv 论文与仓库的署名，他是 PixelUMM 论文的第一作者，作者团队分属 NVIDIA 与滑铁卢大学。
三条链接都指向可以核对的内容：代码库里有推理与评测代码，模型页上列着四个 checkpoint（检查点）目录，论文登在 与 Hugging Face 论文页上。模型卡写出的参数总量是 15,199,672,064（约 152 亿），并把权重的用途限定在「非商业研究与评估」。
三条链接指向什么：代码、权重与论文
提供图像与视频生成、图像与视频理解的推理代码，外加一个「四步玩具训练」示例，以及 eval/ 下图像理解与视频理解两组视觉语言模型（VLM）评测脚本；根目录还有 modeling/、data/、experiments/ 与 CHECKPOINT.md、TRAIN.md、EVAL.md、GUARDRAILS.md 等文档。README 注明，这个训练示例是训练接口的功能演示，「不是完整训练配方」，也不保存优化器状态。
的文件列表里能看到四个 checkpoint 目录：S8-F18-R01、S8-F19-R03、S8-F21-R02、S8-F22-R05。仓库文档明确说明的是其中两个：S8-F22-R05 是 Stage 2 训练后的默认版本、也是论文评测所用，其权重文件合计约 28 GiB；S8-F18-R01 是中间版本，额外在 480p 与 720p 短边设置下微调了 1 万步，文生视频通常略好，但不支持视频理解；默认的 F22 版本则支持全部四类任务。
论文是 9 月 29 日提交的 arXiv 预印本（编号 2609.38597），31 页、21 张图，与 arXiv 条目对应同一篇。摘要的出发点是：统一多模态模型通常为理解与生成各自准备一套视觉表示，这拉长了视觉上下文，也让它们不易接入现有的视觉语言预训练管线；像素空间建模提供了无编码器的替代方案，但要从图像扩展到视频并不容易——视频理解与生成惯用的时间表示并不相同。
时间上还有一条线索：10 月 1 日，Cong Wei ，写明「代码与模型今日可用」；10 月 2 日，他再次发帖给出这三条链接（）。10 月 5 日的帖子给出的仍是这三条链接。
没有 VAE、没有视觉编码器：PixelUMM 的工作方式
仓库 README 的概括是：PixelUMM 只用一个仅含解码器（decoder-only）的 Transformer 直接读写原始像素，既不需要变分自编码器（VAE），也不需要视觉编码器。图像被切成 16×16 的图像块（patch），视频被切成 4 帧一组的时空小块（tubelet），经单层线性投影送进以 为主干的 Transformer；主干是 Mixture-of-Transformers（混合 Transformer）结构，理解与生成各有一套专家参数（注意力 QKV 与前馈网络 FFN），共享同一个多模态自注意力层——文本、干净像素与带噪像素在同一个注意力里交互。
任务层面，它覆盖文生图、文生视频、图像理解与视频理解四类。论文摘要把机制概括为：在共享注意力与任务专属参数的基础上，把「干净像素预测」扩展到视频生成，同时支撑自回归文本预测与像素空间的流匹配（flow matching）。的架构总览图注明，生成侧由一个线性头预测干净像素、去噪 35 步。
「开源」的条款：代码 Apache-2.0，权重限非商业
模型卡把代码与权重分开说明：源代码采用 Apache-2.0 许可；模型 checkpoint 是独立产物，采用 NVIDIA 单向非商业许可（NVIDIA One-Way Noncommercial License），仅限非商业研究与评估用途。
仓库 README 补充了代码侧的例外：多数源文件适用 Apache-2.0，个别沿用上游条款的文件保留单独声明，例如 modeling/pixelumm/modeling_utils.py 仍带着源自 DiT 的 CC BY-NC 4.0 说明。模型卡补充，它以 Apache-2.0 的 Qwen3-8B 为基础，并包含改自 BAGEL 的代码。
从下载到跑通：Linux、NVIDIA GPU 与受门控的护栏
模型卡列出的运行前提是 Linux、NVIDIA GPU、CUDA 版 PyTorch 与 FlashAttention。下载通过 huggingface_hub 脚本完成，文档固定了模型仓库的具体版本号（revision）；Qwen3-8B 一侧只需要配置与分词器（tokenizer）相关的 5 个文件，语言模型权重都在 PixelUMM 的 checkpoint 里。CPU 上可以先跑 check_checkpoint.py 做完整性检查；文档提醒，它只能验证文件与张量形状，不代表模型能装进某张显卡。
训练的门槛更高：TRAIN.md 的「四步玩具训练」从默认 checkpoint 出发，为 T2I（文生图）、T2V（文生视频）、图像 VLM、视频 VLM 各跑一步优化，需要 7 块 48 GiB 以上的 GPU，输出约 61 GB 的单精度（FP32）权重，且不保存优化器状态。文档说明，这是训练接口演示，不是收敛性或质量基准。
视频生成另有一层检查：默认的文生视频流程开启 Cosmos 护栏，需要单独申请受门控的 ——仅登录 Hugging Face 并不自动获得访问权；批量推理入口目前不跑护栏检查，跳过检查的开关只作用于单条命令的 T2V 流程。
项目页的基准数字，与它们不能证明的东西
项目页把 PixelUMM 与统一模型、视觉语言模型的成绩放在一起比较：图像侧，MMMU 41.67、DocVQA 90.42、CountBench 94.30；视频侧，MVBench 70.53、Video-MME（无字幕）57.33。成绩互有高低——MMMU 41.67 在表内偏低（对比模型分数多在 50～70 之间），MVBench 70.53 则高于表内 9 个对比模型中的 7 个。项目页自己的总结是整体「与基线相当」，同时注明：各模型训练数据不同，这些结果不能证明哪种架构更优，也不能证明谁收敛更快。
评测口径也写在页面上：图像与视频理解使用官方 LMMS-Eval 协议（21 项任务、64,750 次生成）；视频侧在稀疏采样模式（sparse_mode）下评测、采样上限为 96 帧，Video-MME 不带字幕，对照模型沿用各自原始协议。除基准表外，项目页还公布了 F1～F8 八组实验，覆盖图像块尺寸、输出头、像素与 VAE 的对比、模型规模与算力扩展等设计取舍。
模型卡与项目页自己列出的失败模式
项目页的 Limitations 一节列出三类典型失败：相似个体较多时（多只动物或多人重叠），身体可能合并、分裂或凭空出现，数量在整段视频里漂移；手部与细小结构容易出错，例如手指数量不对、小肢体糊在一起；物理与交互可能不合理——刚性物体弯曲变形，角色和物体的互动达不到预期效果。
模型卡写得更为谨慎：它可能产生不准确、冒犯或不合适的内容，可能不遵循提示，输出可能在语义或时间上不一致；性能会随语言、视觉领域、视频时长、分辨率、宽高比与硬件变化；并且「未针对生产环境或高风险场景做过验证」。
项目页还记录了一条与发布版本相关的限制：线性像素头会产生「patch 伪影」，在天空这类平滑、低纹理区域出现网格状的强度台阶，分类器无关引导（CFG）取较高值时更明显，页面给出的参考值约为 6。这次发布的 checkpoint、被基准评测的模型与所有在线演示，用的都是默认的线性输出头；项目页写明，卷积输出头能减轻伪影，但切换过去需要额外训练。