AREX Feed Article
Mirendil 发布首个模型 Fern 0.1：称从零预训练、上下文窗口最高 1000 万 token，主打 agentic coding
美西时间 10 月 26 日上午 8 时（北京时间 26 日 23 时），初创公司 Mirendil 在推出 Fern 0.1，这是这家公司的第一个模型。页面称 Fern 从零预训练（pretrained from scratch），上下文窗口（模型一次能同时读入的文本量）最高 1000 万 token，约相当于 23MB 代码、50 万行代码同时放进上下文；首个版本 Fern 0.1 在基座模型 Mirendil-Base 上经一轮短后训练（post-training）完成。
规格卡显示，Fern 0.1 参数量为 0.1～0.5T（即 1000 亿～5000 亿参数），输入为文本和代码，定位「高吞吐量 agentic 任务」（agentic coding，指让模型自主运行命令、读取输出并迭代到测试通过的编码方式）；访问方式目前标注为 Coming soon，页面只提供「Request early access」申请入口。公告同时列出两个更大的基座模型——Mirendil-Base-Large（0.5～2T 参数）与 Mirendil-Base-XL（2～10T 参数），均处于预训练中。页面上的全部基准成绩为公司自报，1000 万 token 上下文的实际有效性尚无第三方验证。
「The Mirendil grove」：家族名单与官宣推文
公告当天，Mirendil 联合创始人兼 CEO Behnam Neyshabur 在 ：「推出 Fern——Mirendil 的首个模型：从零预训练，上下文最高 1000 万 token！」他的 X 资料写明其现任 Mirendil 联合创始人兼 CEO，曾共同领导 Anthropic 的 Discovery 团队与 Google DeepMind 的 Blueshift 团队。这条推文截至北京时间 10 月 27 日上午获得 1,600 余次点赞、约 12 万次浏览。
页面把三个模型放进名为「The Mirendil grove」的家族列表：Fern 0.1 是其中唯一完成训练的型号，标为 Latest，描述是「我们的最高效模型」；Mirendil-Base-Large 标注「In pretraining · 80%+」，描述是「能力更强，面向更难、运行时间更长的工作」；Mirendil-Base-XL 标注「In pretraining · 20%+」，描述是「最强的模型，面向要求最高的工作」。页面还写明新版本会频繁发布（New versions ship frequently）。
这个窗口能同时装下什么：从代码库到完整 agent 轨迹
公告用「Context is intelligence」作小标题给出自己的逻辑：语言模型能力随算力增长，而算力有两种花法——参数量和上下文长度。参数更多，模型掌握的静态知识更多、能完成的推理步骤更复杂；上下文更长，模型能直接调用的任务信息更多：更多自身过往经验、更多规格与指令、更多文档与代码证据。
按页面换算，这个窗口装得下一个 Megatron-LM 库规模的代码库、数十到数百条完整 agent（智能体）轨迹，或一个 agent 数天的工作量——全部同时处于上下文之中。页面列出六项用途：在更大的代码仓库上工作；agentic coding；研究代码（训练循环、数据管道与评估）；从长日志和堆栈追踪里找出训练运行出错的位置；端到端读完整条 agent 或训练轨迹，解释发生了什么、为什么；审计预训练数据，在整个预训练分片里查找重复、基准污染和垃圾数据。
自报的 agentic 成绩：SWE-bench Verified 73.4%，Terminal-Bench 4.0 仅 6.1%
页面内嵌的基准数据显示，Fern 0.1 的 agentic 成绩全部由 Mirendil 自己以 OpenCode 运行、单次尝试测得：SWE-bench Verified 73.4%、SWE Atlas Codebase QnA 53.2%、SWE-Bench Pro v2-Hard 76.5%、DeepSWE v1.1 44.2%、Terminal-Bench 4.0 6.1%。同页对比数据取自 Scale、Mercor、Vals.ai、Artificial Analysis 等公开榜单与各厂模型卡，测试条件不一，有的取多次尝试平均。在 SWE-bench Verified 一项，同页对比数字为 Kimi-K3 93.4%、GLM-5.3 95.4%、Claude Opus 5.5 98.2%、GPT-6 Astra 86.0%；Terminal-Bench 4.0 上，Claude Opus 5.5 为 66.4%，Fern 0.1 的 6.1% 约为其十分之一。在公司自己给出的参照里，Fern 0.1 与这些模型的差距仍然明显。规模也不同：据 Mirendil 此前的，Kimi-K3 是 2.8T 总参数、104B 激活的 MoE（混合专家）模型，而 Fern 0.1 只有 0.1～0.5T。
发布当天，Sakana AI 创始成员、研究科学家 Robert Lange（据其 X 资料）在 了这批数字，称其为「早期预览版」（early preview release）。所有成绩目前都出自 Mirendil 一方。
长上下文证据：检索项接近满分，多跳问答在 10M 处只有 45%
页面用两组数据支撑长上下文声明。第一组是 RULER（长上下文基准），测的是基座 Mirendil-Base 而非后训练后的 Fern 0.1，覆盖 32K 到 10M 共七档上下文长度，每格平均 100 个样本（10M 档为 20 个），采用 RULER 标准设置：答案前缀、贪心解码、关闭思考、精确字符串匹配。10M 档五项成绩为：单针检索 100%、多键检索 90%、多键全取 100%、变量追踪 100%（在 4M 档曾降至 75%）、多跳问答（HotpotQA）45%。多跳问答是五项中最弱的一项，且在 10M 以外的各长度档也只有 60%～65%。
第二组是一条 bits-per-byte（每字节交叉熵损失，越低越好，可跨分词器比较）曲线：把 Mirendil 仓库的代码拼成一条 42.9MB 的流，用滑动窗口测损失。Fern（Mirendil-Base）的曲线延伸到 23 MiB 窗口、约 10.2M token，损失从 0.2456 一路降到 0.1552；对比模型只测到各自约 90 万～98 万 token 的窗口，页面注明是「其标称窗口或更长」。这条曲线同样出自公司自报，且包含一处对己方不利的细节：在曲线重叠段，后训练模型 Kimi-K3 和 Beam 始终低于 Fern——在 Kimi-K3 窗口上限（约 90 万 token）附近的最后一个共同数据点上，Kimi-K3 为 0.1395，Fern 为 0.1589；即便在 Fern 自己的最长窗口处，0.1552 也没有低于 Kimi-K3 的这个值。按公告的呈现，这条曲线的意义在于延伸：损失在对比模型止步的长度之外仍在下降。页面写明更完整的长上下文结果即将发布。
底座由来：一名研究员、3.5 个月、不到 1000 万美元
Fern 0.1 的基座 Mirendil-Base 在 10 月 21 日的中有完整交代：这是一场实验——一名研究员与 agents 协作，能否预训练一个有竞争力的编码模型。结果是 3.5 个月、算力总投入不到 1000 万美元，含 agents 的 token 花费与数据处理；99% 以上的代码由 AI agents 编写，研究员负责决定尝试什么、相信什么、何时介入。训练基础设施、模型架构、训练算法与数据管道全部从空仓库自建，只基于 PyTorch、JAX 等通用库；数据只用公开来源（GitHub、公开网页与公开数据集），未购买或授权额外数据，也没有蒸馏或合成数据。第三方媒体 AIParabellum 的提醒，这组成本数字目前只有 Mirendil 自己的口径。该文还给出在七个「模型训练之后才发布」的外部仓库上的 bits-per-byte 对比：Kimi-K3 平均 0.193 最低，Mirendil-Base 以 0.222 排第二，GLM-5.3（0.242）、DeepSeek-V4-Pro-Base（0.243）、Nemotron-550B-Base（0.247）在其后。
种子轮与尚未兑现的部分
Mirendil 今年 6 月走出隐身。领投其种子轮，并介绍四位创始成员：Behnam Neyshabur（在 Google 与 Anthropic 有 7 年以上 AI for science 经历）、Harsh Mehta（在 Anthropic 从一人团队起步搭起第一版 autoresearch 平台）、Shayan Salehian（xAI ML 工程团队核心成员）、Tara Rezaei（MIT 毕业生、奥赛奖牌得主）。据 AIParabellum 报道，该轮规模约 2 亿美元、估值 10 亿美元，由 a16z 与 Kleiner Perkins 联合领投，Nvidia 也参与。
截至发稿：Fern 0.1 已发布，但访问未开、价格未公布；从零预训练、10M 上下文，连同 3.5 个月与不到 1000 万美元的成本，目前都只有公司一方口径。下一个可核验的节点，要么是 early access 开放后的外部测试，要么是 Mirendil-Base-Large 与 Mirendil-Base-XL 训练完成。