海外對(duì)美團(tuán)開源的這個(gè)模型 LongCat-Flash 評(píng)價(jià)不錯(cuò)啊，刷到好幾個(gè)介紹貼了。

基準(zhǔn)測(cè)試與 DeepSeek-V3、Qwen3 等差不多，同時(shí)推理速度非?？?，比DeepSeek-V3 快了至少一倍，在千億參數(shù)量下，還能用低成本實(shí)現(xiàn)100 tokens/秒的推理速度，非常經(jīng)濟(jì)了可以說。

仔細(xì)看了一下論文和介紹記個(gè)筆記

MoE 模型總參數(shù) 560B，激活參數(shù)平均 27B，能根據(jù)上下文自適應(yīng)激活參數(shù)數(shù)量。

在 20T 數(shù)據(jù)上訓(xùn)練，數(shù)據(jù)處理包括：長(zhǎng)上下文擴(kuò)展，預(yù)處理有抽取、過濾和去重。

得益于“Zero-Computational expert”機(jī)制。模型架構(gòu)創(chuàng)新包括每層有兩個(gè)注意力塊（Attention block），同時(shí)包含前饋網(wǎng)絡(luò)（FFN）和混合專家（MoE），并引入零計(jì)算專家作為“匯聚點(diǎn)”，讓簡(jiǎn)單 token 可以選擇不計(jì)算，提升效率。

負(fù)載均衡方面，采用類似 dsv3 的輔助損失和衰減機(jī)制。擴(kuò)展性上，模型先訓(xùn)練小模型再堆疊擴(kuò)展，并用超參數(shù)遷移優(yōu)化。穩(wěn)定性方面，跟蹤梯度范數(shù)比和專家余弦相似度，采用 z-loss 控制激活值，優(yōu)化 Adam epsilon。

生僻概念解釋：

Zero-Computational expert（零計(jì)算專家）：模型中的一種特殊專家，token 可以選擇它而不進(jìn)行實(shí)際計(jì)算，相當(dāng)于“跳過”處理，節(jié)省算力。

dsv3（輔助損失機(jī)制）：用于負(fù)載均衡的損失函數(shù)，幫助模型合理分配 token 到不同專家。

z-loss：一種正則化損失，用于控制隱藏狀態(tài)的激活值，防止梯度爆炸。
Adam epsilon：Adam 優(yōu)化器中的一個(gè)參數(shù)，影響數(shù)值穩(wěn)定性，設(shè)得很小可以提升訓(xùn)練精度。

模型可以在這里體驗(yàn)：https://longcat.chat/