Zyphra公司近日發(fā)布了Zamba2-mini 1.2B，一款專為設(shè)備端應(yīng)用程序設(shè)計的尖端小語言模型。

這款端側(cè)開源AI模型共有12億參數(shù)，并且在4bit量化下內(nèi)存占用低于700MB。被稱為端側(cè)SOTA（state-of-the-art）小語言模型的Zamba2-mini，雖然尺寸不大，但其性能卻媲美諸如谷歌的Gemma-2B、Huggingface的SmolLM-1.7B、蘋果的OpenELM-1.1B以及微軟的Phi-1.5等更大規(guī)模的模型。

1

小身材，大能量：挑戰(zhàn)更大模型的性能

Zamba2-mini的發(fā)布引起了廣泛關(guān)注，原因在于它成功將高效性能與低內(nèi)存占用結(jié)合。

這款“小鋼炮”級別的模型在推理任務(wù)中的表現(xiàn)令人驚嘆。與谷歌的Gemma-2B、Huggingface的SmolLM-1.7B、蘋果的OpenELM-1.1B以及微軟的Phi-1.5等更大規(guī)模模型相比，Zamba2-mini并不遜色。它不僅首次令牌時間快了一倍，還能在內(nèi)存占用上減少27%。

這一性能得益于其高度優(yōu)化的架構(gòu)設(shè)計。Zamba2-mini結(jié)合了Transformer和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的元素，既保留了大型密集變壓器的高質(zhì)量輸出，又維持了較小模型的計算和內(nèi)存效率。這種高效性使得Zamba2-mini特別適合資源有限但對高性能有需求的設(shè)備端AI應(yīng)用。

2

優(yōu)化架構(gòu)：效率與質(zhì)量的完美平衡

Zamba2-mini 1.2B的卓越表現(xiàn)歸功于其高度優(yōu)化的架構(gòu)設(shè)計。該模型結(jié)合了不同神經(jīng)網(wǎng)絡(luò)設(shè)計的優(yōu)點，既能保持大型密集變壓器的高質(zhì)量輸出，又能以更小模型的計算和內(nèi)存效率運行。

與前代Zamba1相比，Zamba2-mini引入了兩個共享注意力層（attention layers），增強了模型在不同深度上保持信息的能力，從而進一步提高了整體性能。此外，模型在共享注意力層中引入了旋轉(zhuǎn)位置嵌入，進一步提升了其運算效率。

3

龐大數(shù)據(jù)集與精心預(yù)訓(xùn)練：卓越性能的基礎(chǔ)

Zamba2-mini是在一個包含三萬億個tokens的龐大數(shù)據(jù)集上進行預(yù)訓(xùn)練的。

這些數(shù)據(jù)來自Zyda和其他公開來源，經(jīng)過了嚴(yán)格的過濾和重復(fù)處理，以確保最高質(zhì)量的訓(xùn)練數(shù)據(jù)。

在annealing階段，模型還在1000億個極高質(zhì)量的tokens上進行了專門訓(xùn)練。這一精心設(shè)計和處理的數(shù)據(jù)集為Zamba2-mini提供了卓越的性能基礎(chǔ)，使其在各種推理任務(wù)中表現(xiàn)出色。

4

開源許可：推動行業(yè)創(chuàng)新的動力

Zyphra已承諾將Zamba2-mini作為Apache 2.0許可下的開源模型。此舉旨在推廣先進的AI技術(shù)，促進整個行業(yè)的創(chuàng)新和發(fā)展。

通過提供Zamba2-mini的開源模型權(quán)重，Zyphra使開發(fā)人員和研究人員可以在他們的項目中自由使用這一模型，推動高效語言模型的進一步研究和開發(fā)。

Zamba2-mini的出現(xiàn)對當(dāng)前AI發(fā)展的方向提出了新的思考。在過去，AI模型的發(fā)展常常陷入“越大越好”的誤區(qū)，追求高參數(shù)量和復(fù)雜結(jié)構(gòu)，往往忽略了實際應(yīng)用中的資源消耗和效率問題。Zamba2-mini以其“小身材”展示了“大能力”，證明了高效和高性能不一定依賴于龐大的參數(shù)和復(fù)雜的架構(gòu)。

Zamba2-mini這樣的高效小模型不僅降低了硬件的要求，還能在更多場景中靈活部署，帶來更好的用戶體驗和商業(yè)價值。

從未來發(fā)展的角度來看，設(shè)備端AI將越來越多地應(yīng)用于物聯(lián)網(wǎng)、移動設(shè)備和邊緣計算，這些場景都對AI模型的資源消耗提出了更高要求。