允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

7B量級(jí)模型，向來是端側(cè)部署與個(gè)人開發(fā)者的心頭好。

輕量化特性讓它能靈活適配各類終端場(chǎng)景，而強(qiáng)勁性能又能覆蓋圖像信息抽取、文檔理解、視頻解析、物體定位等高頻需求。

剛剛，華為重磅推出開源新玩家openPangu-VL-7B，直接瞄準(zhǔn)這一核心場(chǎng)景精準(zhǔn)發(fā)力。

昇騰原生的模型結(jié)構(gòu)，讓openPangu-VL-7B的推理性能極具性價(jià)比：

720P圖像在單張Ascend Atlas 800T A2卡上首字模型推理時(shí)延（ViT與LLM模型時(shí)延和）僅160毫秒，能夠進(jìn)行5FPS的實(shí)時(shí)推理；訓(xùn)練階段的MFU更是達(dá)到42.5%。

更值得關(guān)注的是，模型在預(yù)訓(xùn)練階段完成了3T+tokens的無突刺集群長(zhǎng)穩(wěn)訓(xùn)練，為開發(fā)者使用昇騰集群提供了極具價(jià)值的實(shí)踐參考。

openPangu-VL-7B在通用視覺問答、文檔圖表理解&OCR、視覺定位、短視頻理解等核心任務(wù)上表現(xiàn)突出，在開源榜單中力壓同量級(jí)模型，展現(xiàn)出強(qiáng)悍的綜合實(shí)力。

官方提供的cookbook也展現(xiàn)了模型在這些領(lǐng)域的優(yōu)異能力。

比如我們給模型一張菜品圖，讓模型找到一共有多少個(gè)櫻桃番茄，模型能夠點(diǎn)出所有的位置并正確計(jì)數(shù)。

給模型一張年報(bào)截圖，模型也能將其轉(zhuǎn)變?yōu)閙arkdown格式，省去了人工摘錄的痛苦。

除了亮眼的榜單成績(jī)和針對(duì)昇騰的訓(xùn)推優(yōu)化，技術(shù)報(bào)告中還披露了若干核心技術(shù)細(xì)節(jié)，揭秘模型高性能背后的設(shè)計(jì)巧思：

1）適配昇騰的高性能視覺編碼器

業(yè)界傳統(tǒng)視覺編碼器多針對(duì)GPU架構(gòu)設(shè)計(jì)，沒有充分發(fā)揮昇騰硬件優(yōu)勢(shì)。

團(tuán)隊(duì)通過大量先導(dǎo)實(shí)驗(yàn)與性能分析，找到模型結(jié)構(gòu)的最優(yōu)平衡點(diǎn)——相同參數(shù)量下，該視覺編碼器在昇騰芯片上的吞吐較使用窗注意力的ViT-H系列編碼器提升15%。

同時(shí)，采用多標(biāo)簽對(duì)比學(xué)習(xí)框架，讓模型具備更優(yōu)的細(xì)粒度理解能力，為后續(xù)VLM訓(xùn)練中的視覺定位數(shù)據(jù)學(xué)習(xí)筑牢基礎(chǔ)。

2）樣本均衡的損失設(shè)計(jì)

為解決不同長(zhǎng)度訓(xùn)練樣本的學(xué)習(xí)均衡問題，openPangu-VL-7B創(chuàng)新采用 “加權(quán)逐樣本損失+逐令牌損失” 的混合訓(xùn)練方案，加權(quán)系數(shù)由令牌位置和樣本重要性動(dòng)態(tài)決定。

這一設(shè)計(jì)讓模型在訓(xùn)練中既能吃透長(zhǎng)回復(fù)數(shù)據(jù)，也不忽視短回復(fù)信息，避免 “顧此失彼”，消融實(shí)驗(yàn)已充分驗(yàn)證其有效性。

3）帶填充的定位數(shù)據(jù)格式

區(qū)別于業(yè)界主流的0-999定位方案，openPangu-VL-7B采用000-999千分位帶填充相對(duì)坐標(biāo)完成視覺定位。

整齊的三個(gè)token進(jìn)行位置回歸，不僅降低了模型學(xué)習(xí)難度，更顯著提升了格式遵從性，讓定位任務(wù)的精度和效率同步提升。

此外，技術(shù)報(bào)告還深入探索了預(yù)訓(xùn)練數(shù)據(jù)配比、位置編碼、模型融合等關(guān)鍵策略，為開發(fā)者提供了全面的技術(shù)細(xì)節(jié)參考。

對(duì)于昇騰使用者而言，openPangu-VL-7B 的開源無疑是一大利好。

這款兼具輕量化、高性能與強(qiáng)通用性的多模態(tài)模型，既為端側(cè)開發(fā)和個(gè)人使用提供了新選擇，也將進(jìn)一步豐富昇騰生態(tài)的應(yīng)用場(chǎng)景，為創(chuàng)新注入新動(dòng)力。

模型鏈接：
https://ai.gitcode.com/ascend-tribe/openPangu-VL-7B
技術(shù)報(bào)告：
https://ai.gitcode.com/ascend-tribe/openPangu-VL-7B/blob/main/doc/technical_report.pdf