这项由JetBrains盘考团队与德国不来梅Constructor University合股开展的盘考，于2026年5月以技巧讲演神色发布，编号为arXiv:2605.31268v1，感有趣的读者可通过该编号检索完整论文。
**一个让法度员纷扰的老问题**
每当法度员怒放电脑，面临一个需要写代码、改bug、查文档、问AI的下昼，他们都在费解期待着一件事——有一个既明智又响应赶紧的AI助手，随时等在附近帮衬。问题是，明智的AI时常需要破钞无数算力，运行起来要么很贵，要么很慢，要么两者敩学相长。低廉又快的AI，又时常在遭受复杂任务时掉链子。
JetBrains是一家以开辟专科编程器具着名的公司，他们的居品每天都在大门户百万法度员的电脑上运行。正因如斯，他们比任何东说念主都透露：一个信得过好用的AI编程助手，不行只会填写代码片断，还要能写通盘函数、改旧代码、找出bug、调用各式器具、在一个大名目的文献之间穿梭导航，以致要能像一个教育丰富的共事那样和你聊编程。而这一切，都必须在法度员的普通电脑上清楚运行，不行让东说念主比及捏狂。
为了措置这个矛盾，JetBrains推出了他们的新一代模子——Mellum 2。这是他们早期阿谁只会填写代码的粗浅模子Mellum的全面升级版。新模子领有120亿个参数，却只在处理每个词的时候激活其中25亿个，十分于一个领有丰富常识储备的大家，想考时只调用最联系的部分，而不是把系数缅想都翻一遍。
**一、大脑的结构：为什么不是"越大越好"**
要厚实Mellum 2的瞎想想路，不错把AI模子的参数想象成一家大型藏书楼的藏书量。藏书越多，能回应的问题就越平庸；但每次有东说念主来查贵寓，淌若必须把通盘馆的书都翻一遍，那遵守就太低了。明智的典籍管理员只会在联系的书架上查找。Mellum 2吸收的中枢技巧叫"羼杂大家架构"（Mixture-of-Experts，简称MoE），恰是这个事理事理：模子里有64位"大家"，每次处理一个词时，只须其中8位大家信得过参与使命。这么，模子悉数存储了120亿参数的常识，但施交运算量只十分于一个25亿参数的小模子。
JetBrains在选用这个架构之前，作念了无数的对比实验。他们起先尝试了密集型模子（Dense Model），也便是每次处理都激活系数参数的传统方式。他们测试了各式不同深度和宽度的建立，层数从24层到40层不等，荫藏维度从2304到4096不等，以致还尝试了DeepSeek团队瞎想的一种叫作念"多头潜在把稳力"（MLA）的特殊架构。遣披发现，在他们设定的速率管理下，莫得任何一个密集模子能踏实地超越Qwen2.5-7B这个7B参数的标杆模子。MLA架构确乎允许把模子扩展到约55亿参数，同期保持疏通速率，但质料提高并不及以弥补测验复杂度增多带来的代价，而且其时守旧的潜在秩维度对他们的模子鸿沟来说太大了。
转向MoE架构后，他们参考了Qwen3-30B-A3B这个模子的瞎想，按比例缩小以适配单张H100显卡的内存上限（低于180亿总参数）。大家数目固定为64个，因为更多大家会超出显卡内存。他们测试了不同的激活大家数目：激活2个大家的模子比激活8个的快约1.5倍，但质料彰着变差；而在小鸿沟模子上，疏淡渡过高确乎有损质料，这与学术界此前的盘考论断一致。最终，"64个大家，每次激活8个"成为质料与速率的最好平衡点，在这个建立下，模子最高不错扩展到约150亿总参数，同期与Qwen2.5-7B保持十分的推理速率。
**二、把稳力机制的全心剪辑**
除了大家架构自己，模子里还有一套叫作念"把稳力机制"的装配，负责让模子厚实笔墨之间的关联——比如，在一段代码里，"这个变量"到底指的是前边哪个界说。这部分的瞎想对运行速率影响极大。
传统的多头把稳力机制，就像让一群东说念主同期盯着整篇文档的每个边缘作念条记，然后汇总。JetBrains在Mellum 2中使用了分组查询把稳力（Grouped-Query Attention，GQA），把存储中间遣散（也便是KV缓存）所需的"纪录员"数目从时常的许多个压缩到只须4个。这个数字的选用经过了仔细衡量：8个纪录员会导致在高并发场景下吞吐量大幅着落，而只用2个纪录员时，模子质料又会彰着变差。4个恰好是甘好意思点。实验数据自满，Qwen2.5-7B用4个KV头能达到的并发吞吐量，与他们的前代模子Mellum-4B用8个KV头时约略十分，尽管前者参数目简直是后者的两倍。
另一个关节瞎想是"滑动窗口把稳力"（Sliding Window Attention，SWA）。正常的把稳力机制，每个词都要关爱输入文本里系数其他词，跟着输入文本变长，诡计量会急剧推广。滑动窗口把稳力则像一个焦点灯，每次只照亮隔邻一小段区域，大大裁减了大多数层的诡计量。Mellum 2把28层Transformer中的21层（即四分之三）成立为滑动窗口把稳力，窗口大小为1024个词元（token），剩余7层保持全局把稳力，以确保模子在需要时仍能捕捉远距离的高下文信息。实验标明，窗口大小1024比512在质料基准上施展更好；而且带有滑动窗口把稳力的MoE模子，在输入长度翻倍的情况下仍能保持与Qwen2.5-7B十分的蔓延，在需要处理长代码文献的使命进程中上风权贵。
还有一个颇具巧想的瞎想：多词元筹议头（Multi-Token Prediction，MTP）。时常模子每次筹议下一个词，而MTP让模子在测验时绝顶筹议再下一个词，用一个绝顶的Transformer层齐备，测验时绝顶增多的时刻约7%。这个头在谨慎推理时会被移除，不影响模子自己的筹议，但它带来了双重自制：一方面当作支持测验倡导提高了模子质料，另一方面不错充任"推测解码"（speculative decoding）的草稿生成器，加快推理。在对比实验中，加入MTP的模子在HumanEval代码生成测试上提高了10.4个百分点，在MMLU常识测试上提高了3.6个百分点，在MMLU-Pro上提高了3.3个百分点，在GSM8K数学测试上提高了3个百分点。
**三、测验数据的三段式厨艺形而上学**
模子的"灵敏"开头于它看过的文本数据。Mellum 2的测验数据约达10.6万亿个词元，涵盖网页文本、源代码和数学内容三大类别。淌若把测验过程比作沿路全心瞎想的套餐，那这三个阶段的安排就像是先打底、再提质、终末精湛。
第一阶段叫"基础建筑"，处理了约6.18万亿词元，占总量58%。这一阶段以网页和通用常识为主（约70%），代码占23%，数学只须6%。目的是让模子先建立平时的说话厚实才协调基础代码厚实。这一阶段涵盖了学习率预热和保持阶段。
第二阶段叫"质料提高"，处理了约2.79万亿词元，占总量26.2%。代码比例大幅提高至42%，高质料精选数据集（包括指示跟从数据、推理问答、STEM教学数据、常识对皆著作）被引入。此阶段的精选数据是在学习率踏实后引入的，因为精选数据在这个时候后果更好。同期引入了新的合成代码数据集，原始代码语料库投入第二轮学习。
第三阶段叫"才调锐化"，处理了约1.69万亿词元，占总量15.9%。学习率投入线性衰减，代码比例进一步升至59%，网页内容缩减为只须最高质料的精选开头。绝顶引入了代码审查和跨说话代码转机等合成数据集，原始代码语料库投入第三轮学习。
代码数据本因素为三类：一是来自公开仓库的原始代码，按文献去重；二是从Common Crawl（一个大鸿沟网页快照）索求的含代码网页；三是合成和生息代码数据集，通过代码节录、功能扩展、说话转机、测试生成、提交信息等方式为代码附受骗然说话注解，还有问答、代码重写、代码审查、代码教学讲解注解等合成数据。盘考发现，合成代码数据对小鸿沟MoE模子的匡助尤为彰着，因为这类模子更需要数据的各类性。
网页和通用常识数据包括大鸿沟合成网页语料、教化类网页内容、教化PDF、多说话推理和问答数据集，以及精选常识开头——维基百科改写、合成百科要求等。数学数据则包含数学指示调优数据、多质料层级的数学网页内容、数学讲义和数学SFT数据。
数据类似计谋也经过了全心瞎想。高质料数据因为稀缺，会被屡次使用。微型精选代码数据集诱导三个阶段，原始代码语料库经验三轮学习，揣摸孝敬约9580亿词元。但莫得任何数据集被类似卓绝4次，因为实验发现卓绝这个次数之后，不竭类似还是带不来收益了。而且关于MoE测验来说，高质料数据的屡次测验能有用锐化大家专科化，这是只看一遍嘈杂数据作念不到的。
**四、填空测验：为IDE瞎想的特殊手段**
除了法度的"下一词筹议"测验，Mellum 2还特意作念了填空中间（Fill-in-the-Middle，FIM）测验。这对IDE代码补全至关进攻——当法度员把光标停在代码中间某处，需要AI补全这段内容时，AI必须同期看到光标前后的高下文，而不仅仅前边的部分。
FIM测验把文档就地分红三段（前缀、中间、后缀），用特殊标记再行枚举后当作测验样本。盘考团队使用PSM（前缀-后缀-中间）和SPM（后缀-前缀-中间）两种枚举各占50%。FIM的比例也随测验阶段动态调理：第一阶段50%（应用于所罕有据）；第二阶段降至10%（精选数据主要用法度筹议方式消化）；第三阶段收复至50%，但只应用于源代码文献，非代码数据不竭用法度筹议。
**五、优化器的选用：Muon的告成**
选用合适的优化器（即限制模子学习方式的算法）对测验质料至关进攻。盘考团队测试了AdamW（深度学习领域最常用的优化器）和Muon（一种新式优化器，对荫藏层参数使用正交化更新）两种有谋划，并在两种不同的Muon建立下进行了对比：Megatron默许建立（绝顶缩放因子1.0）和Moonlight建立（绝顶缩放因子0.2）。
在密集型7B架构上，Megatron默许建立在测验约210亿词元时径直发散崩溃，而Moonlight建立大幅打败AdamW，考据赔本裁减了约0.028（十分于约2.5%的立异）。在MoE 14B架构上，两种Muon建立都能拘谨，Megatron默许建立最终赔本略好（低约0.026，约2.4%），Moonlight紧随后来。最终选用Moonlight建立，因为它在密集和MoE架构上都保持了踏实性。
学习率吸收"预热-保持-衰减"（Warmup-Hold-Decay，WHD）计谋：先线性预热2000步到峰值3×10??，在第一和第二阶段保持峰值，在第三阶段（约49306步，占总测验时刻15%）线性衰减到零。线性衰减到零比余弦衰减到非零最小值后果更好，能以更低的有用诡计量达到同等赔本。全局批量大小从2048个序列线性斜升到4096个序列，每步处理约3360万词元。测验精度以BF16为基础，合营FP8羼杂精度测验，梯度规约保持FP32精度以确保数值踏实性。
**六、测验过程中的不测插曲**
任何大鸿沟测验都会遭受出东说念主意象的勤苦，Mellum 2也不例外，而且盘考团队选用坦诚地纪录了这些经验。
测验初期出现了两次赔本尖峰，追查后发现是数据中有些序列词汇各类性极低——比如通盘高下文窗口里就类似团结个词元。措置有谋划是过滤掉独到词元少于82个（占8192高下文长度1%）的样本。
此外，数据准备管说念按词元序列的哈希值排序，导致一些弥散长的文档被切割成多个8192词元的块之后，这些块形成了全都疏通的副本。哈希排序把这些副本放在每个数据分片的疏通位置，而每个测验阶段由16个均匀分片组成，导致每个阶段出现16次周期性的赔本着落。这些影响不大，是小幅且孑然的，对测验动态莫得可测量的影响，盘考团队决定不处理。
测验半途，诡计集群从32节点搬动到16节点，保持全局批量大小不变。搬动后全局负载平衡赔本彰着着落，但这不是模子行径的变化，而是Megatron-LM齐备全局支持赔本的方式在节点数变化时产生的集中语义互异——节点减少意味着每步梯度集中的微批次更多，运行平均值更接近真的散播，算出的赔本系统性地更低，但优化信号是等价的。
**七、扩展到超长高下文：从8K到128K的高出**
基础预测验完成后，Mellum 2的高下文窗口还只须8192个词元，约略只可装下十几页代码。为了让模子处理更大的代码库和更长的对话，盘考团队进行了特意的长高下文扩展测验，将高下文扩展至131072个词元（约128K）。
扩展的中枢技巧是YaRN——一种调理模子位置编码频率的步履，匡助模子厚实更长序列中词语的相对位置。但有一个关节的巧想：盘考团队并莫得把YaRN应用到系数层，而是只应用到全局把稳力层（每四层中的那一层），让滑动窗口层保持正本的位置编码参数。这种"层选用性YaRN"的想路最早由Gemma 3团队惨酷，OLMo 3也随后吸收。Mellum 2的消融实验与他们的发现一致：在64K评估高下文下，层选用性YaRN的RULER评分（一个测试长高下文厚实才调的基准）为0.64，彰着优于长入调理RoPE基础（0.52）和不作念任何调理（0.33）。差距随高下文长度增多而扩大，不调理的模子在卓绝32K后全都崩溃，长入调理则毋庸要隘干豫了本来运作正常的滑动窗口层。
长高下文测验数据是第三阶段预测验数据的再行平衡版块，加入了一部分当然包含长高下文示例的智能代理SFT数据。再行平衡时特意下采样了长推理链，因为发现它们主导了长高下文数据的尾部，会让模子偏向推理格调输出而死一火通用长高下文才调。盘考团队还在扩展数据中加入了基于仓库级高下文的FIM形状样本，延续Mellum 1的作念法，将联系文献级连合成前缀，确保模子在长距离跨文献代码补全时也能学到正确的把稳力模式。
测验约300亿词元后，RULER评分在系数测试高下文长度上就还是接近最终值（裂缝约1个百分点），龙虎棋牌IOS/安卓版手机APP官网下载但MoE路由器的负载平衡赔本在而后仍持续着落——路由器还在不竭顺应新的序列长度模式。基于这个信号，盘考团队将测验延长到3500轮（约1170亿词元），让开由器充分踏实后再退火。峰值学习率为3×10??，比预测验低一个量级。
**八、两个本性不同的"学生"：Instruct和Thinking**
长高下文测验完成的基础模子还不行径直被用户使用，还需要"后测验"：先作念监督微调（SFT），再作念强化学习。盘考团队从团结个长高下文查验点启航，测验出两个格调不同的变体。
Instruct（无想考）变体是一个径直回应助手，不展示里面推理过程，赔本诡计隐敝对话中的每个助手轮次，开头数据中的推理字段会被丢弃。Thinking（想考）变体是一个推理增强助手，在给出最终谜底前会先生成一段里面推理链，只须终末一个助手轮次（连同它的推理轨迹）孝敬赔本，清贫推理轨迹的对话会被摒除，而且为了放大多轮对话数据的有用信号，每段多轮对话最多会产生5个测验样本（通过在连气儿助手轮次上滑动赔本倡导齐备）。
两个SFT版块的数据涵盖多个大类。通用对话和指示跟从，包括开放域问答、阅读厚实、多选题和短形状指示跟从。单轮编码，涵盖多种编程说话的代码生成、编订、讲解注解和翻译，有特意针对C++、Python、C#、JavaScript和TypeScript竞赛编程的子集。智能代理编码，包括长程交互代理轨迹（早期和纠正版），包含SWE格调的仓库级编订任务，为模子提供导航代码库、规划多法度编订、考据中间遣散的模式。器具使用和函数调用，涵盖通用函数调用形状、Bash推论、澄莹器具和搜索器具，教导模子正确调用器具并从器具特地中收复。推理轨迹，包含带有想维链的示例，涵盖数学、代码和通用推理，在处理时为Instruct变体过滤掉。安全数据，来自开放许可安全语料库，目的是减少无益输出而不毁伤良性代码请示的有用性。身份示例，一小组自我符号对话，过采样3倍，让模子可靠地以"Mellum 2"先容我方。真谛的是，在莫得这类数据的开动测验中，模子永久把我方形色为谷歌开辟的AI助手，尽管测验中莫得使用任何谷歌模子生成的合成数据。
SFT测验从长高下文YaRN查验点开动化，与预测验使用疏通的散播式Muon优化器，在各自的打包数据集上测验三轮。学习率峰值为3×10??（预测验峰值的十分之一），余弦衰减至3×10??（峰值的10%）。MoE支持负载平衡系数从10??降至10??，因为路由器在预测验后还是平衡，更小的系数幸免在较窄的SFT散播上过度管理大家行使率。Instruct版块破钞约470亿词元，Thinking版块破钞约1670亿词元。
**九、用奖励机制打磨最终手段**
SFT之后是强化学习（RL）阶段，用法度可考据的奖励信号（RLVR）进一步精湛。选用RLVR而非依赖东说念主类反馈强化学习（RLHF）的原因是：测验语料库中每个请示都有明确的法度化正确性查验步履，不需要测验一个单独的奖励模子（阿谁模子的裂缝会混浊梯度信号）。
RL基础设施分为测验节点（持有计谋权重、运行梯度更新）和推理节点（托管生成引擎、产生测验样本）两组，由Ray更变、Kubernetes编排。测验用NeMo-RL框架，通过Megatron-Bridge建立，精度与预测验疏通（BF16/FP8羼杂）。生成用vLLM。奖励诡计寥寂运行在单独的微处事集群，通过考据网关路由到不同后端：代码推论沙箱（基于单位测试）、数学谜底考据器（标记和数值比拟）、LLM-as-a-Judge处事（评判目田神色输出），以偏激他专用环境（如有情景器具对话的会话管理）。
2026世界杯开运(中国)官方平台RL数据分为Instruct和Thinking两套组合，各约26万条测验请示和3600条考据请示，按才调领域散播。代码域各占22%，各57500条。数学域在Instruct中占23%（6万条），Thinking中占28%（7.2万条）。智能器具使用在Instruct中占14%（3.6万条），Thinking中占12%（3.1万条）。指示跟从在Instruct中占19%（4.95万条），Thinking中占21%（5.35万条）。推理在两套中各占13%（3.5万条）。常识在Instruct中占9%（2.25万条），Thinking中仅占4%（1万条），因为过多MCQA泄露会毁伤指示跟从质料。
代码域数据结合了竞赛编程题库、数学与代码配对数据集（让模子用Python推论器具措置数学问题，也计入数学域），以及盘考团队自建的12种编程说话真的任务集——隐敝全新齐备、从堆栈追踪调试、测试生成、行径修改、文献系统与API集成、安全加固六类使命，每个任务附带测试套件，通过率界说奖励信号。
数学域数据以三种互补格调组成：纯数学（无器具，严格匹配考据）、带诡计器器具的数学（模子发出诡计器器具调用并使用复返值）、带代码推论的数学（用Python推论器具诡计中间量）。
RL算法是GRPO（一种近端计谋优化变体）的定制版块。赔本在词元层面诡计，每个有用生成词元对梯度孝敬疏通（受命DAPO和Dr. GRPO的建议）。上风用留一基线诡计，不作念法度差归一化（受命Dr. GRPO）。每个请示采样G个响应，过采样约1.5倍，丢弃组内奖励方差为零的请示组。PPO剪辑使用分歧称范围（低剪辑低于高剪辑），"更高剪辑"成立让正上风更新比负上风更新流动得更目田（来自DAPO）。不使用KL刑事职守项将计谋锚定到SFT参考，与最近的大鸿沟开放RL系长入致。
MoE路由器带来了一个特殊挑战：即使推理时和测验时用的是团结套权重，团结个荫藏情景可能被路由到不同大家，导致对团结词元的对数概率不同。盘考团队用IcePop截断步履措置这个问题：对每个生成词元，只在测验-推理比率（ρ_t）处于[α， β]区间内时才保留其赔本孝敬，超出区间则径直归零，而不是像PPO剪辑那样压缩到界限值。这是更安全的作念法，因为大ρ_t很可能是大家切换导致的，而不是真适值得应用的计谋更新。
奖励塑形还加入了两条文定。一是软超长刑事职守（来自DAPO）：在最大响应长度的缓冲区内，奖励在区间下边缘的原始分数和长度上限处的建立下限之间线性插值，卓绝长度上限的全都从赔本中删除。二是圣洁性刑事职守，特意应用于非想考型响应：在早期Instruct运行中发现模子脱手在莫得think标签的情况下产生内嵌推理，与Instruct模子的部署表率违犯。这种"等等，我再想想"式的推理模式有十分踏实的词汇标记，盘考团队按触发词数目分三个强度档乘性地缩减正确响应的奖励，只在这些词汇不属于正当输出的任务上应用。这个刑事职守后果权贵：在接近测验收尾时采样的数学响应中，无圣洁刑事职守版块平均每个响应有7.3个反想触发词（每千字符0.75个），而启用刑事职守的坐褥版块只须0.6个（每千字符0.21个）。
RL超参数两个阶段分享，每步256个请示，每请示16个生成，全局批量大小4096，过采样因子1.5倍，轨迹最大滞后2步，PPO剪辑范围0.2/0.28，IcePop区间[0.5， 5.0]，KL系数为零，AdamW优化器（β?=0.9， β?=0.999，权重衰减0.01），峰值学习率1×10??，衰减至1×10??，梯度范数上限1.0，最多10轮器具调用。主要互异在于：Instruct最大序列16384词元，测验500步；Thinking最大序列40960词元（需要更长想维链），测验100步，每步微批次大小降至1。
**十、实战施展：那处强，那处弱**
预测验评估将Mellum 2 Base与OLMo-3-7B、Qwen2.5-7B、Qwen3-4B-Base和Qwen3.5-4B-Base对比。尽管只激活25亿参数，Mellum 2在多个推理和代码任务上能与7B密集模子竞争以致超越。在MMLU-Pro（高等多任务常识测试）上达到59.3%，卓绝Qwen3.5-4B（52.4%）和Qwen2.5-7B（48.6%）。BBH（复杂推理）达74.9%，超越OLMo-3-7B（63.6%）、Qwen2.5-7B（69.0%）和Qwen3-4B（71.3%）。GSM8K（数学笔墨题）达81.7%，与Qwen2.5-7B（81.9%）和Qwen3-4B（82.0%）持平。MBPP/MBPP+（代码生成）辞别达62.4%/61.4%，超越OLMo-3-7B和Qwen3.5-4B。GPQA Main（盘考生级科学问答）达35.0%，超越OLMo-3-7B（27.9%）和Qwen2.5-7B（34.2%）。相对薄弱的是HumanEval（41.5%），不事后测验阶段权贵提高了这个方针。
后测验评估则将两个变体与Qwen3.5-4B、Qwen3.5-9B、OLMo-3-7B、Ministral-3-14B、Seed-Coder-8B对比，隐敝代码、器具使用、数学、常识、对话和安全七个才调域。
在代码域，EvalPlus（HumanEval+和MBPP+的平均，测试函数级代码合成才调）上Mellum 2-RL达78.4%，最初系数对比模子，包括Qwen3.5-9B（71.8%）和代码专用的Seed-Coder-8B（73.8%），这恰是预测验数据径直针对的领域。LiveCodeBench v6（竞赛编程）上Instruct变体为37.2%，过期Qwen3.5系列（51.0%和63.7%），但Thinking变体的SFT版块达75.1%，成为测试组中的最高分，最初Qwen3.5-9B-Thinking 6.8个百分点，讲解算法推理在模子才调范围内，但需要显式想考预算才能开释。MultiPL-E（多说话代码）居中。
在器具使用域，RL带来了最大的单步提高：BFCL v3（多轮函数调用）从43.1%跳至66.3%（Instruct），Thinking变体的SFT到RL从60.5%升至69.4%，卓绝Qwen3.5-9B-Thinking（68.5%）。BFCL v4（加入智能网页搜索和缅想器具）上，Mellum 2-RL-Thinking以45.6%最初全组，高于Qwen3.5系列（42.9%/42.7%）。
数学域雷同受益于RL：AIME（高中数学竞赛，2025和2026各30题）从SFT-Instruct的29.9%提高至RL-Instruct的41.7%，Thinking模式从20.0%提高至58.4%。SFT-Thinking的AIME得分低于SFT-Instruct，盘考团队以为这是因为Thinking头需要经过RL阶段的数学推理测验才能正确校准。GSM-Plus（数学鲁棒性测试）RL-Thinking达87.0%，接近Qwen3.5-9B-Thinking（90.7%）。
常识域是最彰着的缺欠：MMLU-Redux和GPQA Diamond上Qwen3.5系列最初权贵（91.1%/79.8% vs. 78.1%/40.9% Instruct），GPQA（盘考生级科学问答）尤为彰着，这径直响应了测验数据倾向代码和开辟者文档而非平庸百科常识的衡量。
对话域呈现存趣分化：JetBrains里面临比Qwen2.5-7B-Instruct的配对胜率，Mellum 2-RL-Thinking以69.5%最初全组，高于Ministral-3-14B-Thinking（63.8%）和Qwen3.5-9B-Thinking（56.7%），讲解在代码感知的开辟者场景下，领域老到度振荡为了真的上风。而在通用对话（IFEval、MixEval）上则居中。BS-Bench（测试对特地前提的反驳才调）上Mellum 2得分14-24，彰着低于Qwen3.5系列（56-70），讲解SFT/RL信号倾向谨守而非反驳，这是后续版块需要立异的倡导。
安全域上，SFT-Instruct在HarmBench（无益率，越低越好）上以8.4%成为Instruct表格中最安全的模子，Ministral-3-14B（56.5%）和Seed-Coder-8B（40.0%）远高于此。RL变体寂然至23.1%，与偏好优化阶段减轻隔断行径的已知表象一致，这是盘考团队明确标注的待立异项。XSTest（安全合规率）上Mellum 2过期最大基准模子约10个百分点，讲解有些安全请示被过度隔断，与HarmBench寂然组成对称问题，需要合股优化。
**十一、跑得快才能留得住：推理遵守的实测数据**
在施行部署速率测试中，系数对比在单张H100 GPU（80GB）上使用vLLM处事和动态FP8量化，以代码补全坐褥使命负载为代表性测试场景（平均输入2304词元，平均输出256词元），测试同步模式（单申请串行蔓延）和吞吐量模式（并发高负载持续处理）。
遣散数据：同步模式下Mellum 2达192词元/秒，与Qwen2.5-7B的193词元/秒简直持平，Qwen3-8B只须169词元/秒。吞吐量模式下Mellum 2达5179词元/秒，比Qwen2.5-7B（4283词元/秒）高21%，比Qwen3-8B（2897词元/秒）高79%。持续申请率辞别是Mellum 2每秒20.2个申请，Qwen2.5-7B每秒16.7个，Qwen3-8B每秒11.3个。这讲解Mellum 2齐全达成了瞎想倡导：单申请蔓延匹配7B密集基准，并发处事才调大幅最初。
**改日的路梵衲待措置的问题**
归根结底，Mellum 2是JetBrains在一个具体工程管理下的细致探索：给定一张普通显卡、一个速率预算，如安在这个管理下塞进尽可能多的才调。他们的谜底是120亿总参数、25亿活跃参数的MoE结构，加表层选用性滑动窗口把稳力和多词元筹议头。
这套有谋划在代码合成、器具调用、数学推理上施展可不雅，在平庸宇宙常识和安全反驳上还有彰着差距。盘考团队莫得侧目这些缺欠，何况明确指出了下一步倡导：把模子推向更复杂的软件工程仓库级任务（SWE RL倡导），扩大RL基础设施和环境隐敝，以及再行注目长高下文中期测验数据的配方。此外，他们还缱绻鄙人一个版块切换到无支持赔本的负载平衡有谋划，并再行评估羼杂把稳力架构（如Gated DeltaNet）——前者跟着开源推理框架的守旧缓缓锻真金不怕火，后者在短高下文推理遵守方面的谬误也在跟着内核优化而缩小。
更长期地看，选用架构时以固定推理预算为管理条件的瞎想步履，自己也为改日更大、依然关爱推理遵守的Mellum怒放了门。系数基础、Instruct和Thinking查验点都以Apache 2.0许可证开放，感有趣的盘考者和开辟者不错通过arXiv编号2605.31268v1找到完整技巧讲演。
Q&A
Q1：Mellum 2的MoE架构和普通AI模子有什么区别？
A：普通模子每次处理都激活全部参数，而Mellum 2的MoE架构在64个"大家"中每次只激活8个，十分于领有120亿参数的常识储备，但施交运算量只须25亿参数级别。这让模子能在普通显卡上以较低的诡计老本提供更强的常识隐敝，推理速率与7B密集模子十分以致更快。
Q2：Mellum 2的Instruct版和Thinking版有什么区别？
A：Instruct版径直给出谜底，不展示推理过程，符合需要快速响应的日常编程任务。Thinking版在回应前会先生成一段里面推理链，类似于先在草稿纸上推演再写谜底，在数学竞赛题和复杂算法问题上施展更好，LiveCodeBench上Thinking-SFT版块以75.1%最初系数对比模子。
Q3：Mellum 2的长高下文扩展是若何作念到的？
A：盘考团队吸收了"层选用性YaRN"技巧，只对全局把稳力层调理位置编码频率，让滑动窗口层保持原参数，将高下文从8192词元扩展到131072词元（约128K）。关节发现是测验约300亿词元后质料就已接近上限龙虎棋牌IOS/安卓版手机APP官网下载，但路由器还在持续顺应，因此将测验延长到1170亿词元让开由器充分踏实。