AREX Feed Article
nathan chen 宣布离开 Kimi/Moonshot AI:入职约一年,称「还有更多事情要去探索」
北京时间 10 月 15 日 08:04(UTC 时间 00:04),nathan chen(@nathancgy4,X 资料显示约 2.2 万名关注者)已离开 Kimi 及其开发公司 Moonshot AI:「生活近况:我最近已离开了 @Kimi_Moonshot!」他写道,在 Kimi 的一年「是我至今为止人生中最好的一年」;至于去向,只有一句「还有更多事情要去探索」(More things to explore)。离职原因与下一站,帖文均未提及。
这条帖文是其本人第一方自述,但部分内容可与公开材料互证:他列出的工作之一 Attention Residuals(注意力残差),对应 Moonshot 今年 3 月 16 日发布在 的论文;Kimi K3 官方技术博客则写明,K3 构建在 KDA(Kimi Delta Attention,Kimi 增量注意力)与 Attention Residuals 这两项技术之上。
图注:Kimi K3 技术博客发布时公布的编码类基准对比(Moonshot 自测口径)。nathan chen 在告别帖中自述曾为 K3 的发布制作案例。
按时间顺序回忆的四段经历
帖文按时间顺序列出他在 Kimi 的四段经历:与 @yzhang_cs 一起优化 KDA 的内核,「把每种可能的设计都试了一遍」;与 @yzhang_cs、@Jianlin_S 一起提出并打磨 Attention Residuals;做优化器研究——他写道这部分让他「对训练动力学学到的东西最多,也是熬了最多通宵的地方」;以及与 @yzhang_cs、@Xinyu2ML「一边看世界杯」,一边为 K3 的发布制作案例。
他还引用了自己在 K3 发布当天的推文:「能和一群真诚的人一起做出这样一个开放(且强)的模型,真的难以置信。」帖文结尾,他感谢了在 Kimi 共事的所有人。
截至北京时间 15 日 15 时许的 X 公开计数,这条告别帖获得约 980 个赞、70 多条回复,浏览量超过 11.3 万次。
一年工作清单:哪些能对上公开材料
四段经历中,两项有公开出处可核对。Attention Residuals(AttnRes)的核心思路是:残差连接(residual connection)通常把每一层输出按固定权重累加,AttnRes 改为对之前各层的输出做 softmax 注意力,让每层按内容选择性地聚合早期表征;为控制大模型训练中的内存与通信开销,论文进一步提出按块处理的 Block AttnRes。的引用信息显示,署名在 Kimi Team 之后的第一个名字是 Chen, Guangyu,其后是 Zhang, Yu 与 Su, Jianlin——与他帖文点名的 @yzhang_cs、@Jianlin_S 相符。
另一项是 KDA。KDA 出自 Moonshot 2025 年 10 月的 ,是对 Gated DeltaNet 门控机制的更细粒度改造;介绍,Kimi Linear 采用 3:1 的 KDA 与全注意力混合堆叠,可将 KV cache(键值缓存)需求最多降低 75%,在最长 100 万 token(词元)上下文下把解码吞吐最多提升 6 倍,KDA 内核已在开源库 flash-linear-attention 中发布。
另外两项——优化器研究与 K3 发布案例——他没有给出公开出处,本文写作时也未检索到可直接核对的材料。需要说明的是,他在各项工作中承担的角色均为自述口径:AttnRes 的论文署名能佐证其参与,其余细节未经第三方核实。
两项自述工作进入 Kimi K3 架构
开篇写道:K3 是一个 2.8 万亿参数模型,「构建在我们的 Kimi Delta Attention 与 Attention Residuals 之上」,具备原生视觉能力与 100 万 token 上下文窗口;官方称其为全球首个开源的 3T 级模型。K3 于 7 月 16 日上线,全部权重按官方计划于 7 月 27 日开放下载。博客还提到,K3 把 MoE(混合专家)稀疏度扩展到 896 个专家中激活 16 个,官方称整体扩展效率较 Kimi K2 提升约 2.5 倍。
图注:K3 技术博客中的 Kimi Code Bench V2 分数–成本对比图(Moonshot 自测口径)。
发布当天,他在中写道:「别管跑分和竞赛了,我只希望永远有一个开放且安全的前沿智能模型,无论身处何地的人都能用上。」这条推文截至查询时获得 3,227 个赞、超过 18.6 万次浏览——正是他在告别帖中引用的那一条。
自述 16 岁被招入 Kimi
告别帖里分量最重的一句感谢,给了 @Yulun_Du:「谢谢你当年相信并雇用了一个 16 岁的孩子。」结合他所说的「在 Kimi 的过去一年」倒推,他约在 2025 年、16 岁时加入 Kimi——这一点与他的其他自述一样,未经第三方核实。@Yulun_Du 与 AttnRes 论文署名中的 Du, Yulun 相符。
帖文与他的 X 简介都没有写明在 Kimi 的正式职衔,其简介只有一句「learning, entropy-maximizing, opinions」。帖文所列工作全部是模型研究与工程内容。
同事道别,三个问题仍无答案
回复区以道别为主。(X 资料显示姓名 Xinyu Zhou、定位北京,与 AttnRes 论文署名末位的 Zhou, Xinyu 同名)写道:「祝你探险愉快!你永远都会受到欢迎回来!」nathan 答复:「谢谢你,我会的!对这一切充满感激……」——其 X 资料栏写明是 @coreauto 联合创始人、董事会成员——留言称「架构和内核的工作非常漂亮」,nathan 回应:「这话从你口中说出来,对我意义重大。」(资料名「熊师傅 weight decay 了吗」)则说:「很喜欢和你一起工作(以及一起健身)!」
帖文发出不到一天,仍是其 X 时间线上的最新一条。离开的具体时间(他只写了「最近」)、离职原因、以及「探索更多事情」指向哪里,都还没有下文。
参考链接
- nathan chen 离职帖:
- nathan chen 的 K3 发布日推文(2026-07-16):
- Kimi K3 技术博客:
- Attention Residuals 论文(arXiv:2603.15031):
- MoonshotAI/Attention-Residuals 官方仓库:
- Kimi Linear 论文(arXiv:2510.26692):
- MoonshotAI/Kimi-Linear 官方仓库:
- @zxytim 的回复:
- @arohan(Rohan Anil)的回复:
- @bigeagle_xd 的回复:
- 本文封面图(K3 技术博客 Coding 基准图):
- 本文第二张图(Kimi Code Bench V2 对比图):