始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

11月11日，百度文心多模態(tài)思考模型ERNIE-4.5-VL-28B-A3B-Thinking正式開源。本模型僅3B激活參數(shù)，媲美頂級(jí)大模型性能！ERNIE-4.5-VL-28B-A3B-Thinking是在ERNIE-4.5-VL-28B-A3B基礎(chǔ)上訓(xùn)練的深度思考模型，在視覺語(yǔ)言多模態(tài)理解能力上實(shí)現(xiàn)了顯著提升。模型具備領(lǐng)先的文檔與圖表理解能力，在理科與文科綜合推理、通用視覺推理等任務(wù)中表現(xiàn)優(yōu)異，展現(xiàn)出更強(qiáng)的跨模態(tài)推理與問題解決能力。同時(shí)，結(jié)合空間定位與工具調(diào)用，該模型推出“圖像思考”等創(chuàng)新功能，為多模態(tài)思維與交互應(yīng)用帶來更豐富的可能。

ERNIE-4.5-VL-28B-A3B-Thinking模型以Apache License 2.0協(xié)議開源，允許商業(yè)使用。模型已上線始智AI-wisemodel開源社區(qū)，歡迎體驗(yàn)。

模型地址

https://wisemodel.cn/models/PaddlePaddle/ERNIE-4.5-VL-28B-A3B-Thinking

文心4.5系列開源模型全景

01.

在核心亮點(diǎn)速遞

基于強(qiáng)大的ERNIE-4.5-VL-28B-A3B架構(gòu)，全新升級(jí)的ERNIE-4.5-VL-28B-A3B-Thinking在大規(guī)模多模態(tài)學(xué)習(xí)領(lǐng)域?qū)崿F(xiàn)了實(shí)質(zhì)性躍升。在中期訓(xùn)練（Mid-Training）階段，模型引入了海量高質(zhì)量視覺-語(yǔ)言數(shù)據(jù)，這顯著增強(qiáng)了模型的表征能力與跨模態(tài)語(yǔ)義對(duì)齊能力，從而顯著提升了視覺文本推理性能。

同時(shí)，ERNIE-4.5-VL-28B-A3B-Thinking在可驗(yàn)證的任務(wù)上采用大規(guī)模多模態(tài)強(qiáng)化學(xué)習(xí)，它利用GSPO和IcePop策略來穩(wěn)定基于MoE的RL訓(xùn)練，結(jié)合了動(dòng)態(tài)難度采樣機(jī)制，提升強(qiáng)化學(xué)習(xí)的有效率。

我們注意到，社區(qū)開發(fā)者對(duì)模型的定位能力有著顯著需求。為此，我們進(jìn)一步強(qiáng)化了該能力，并提升了模型的指令遵循性。當(dāng)用戶需要時(shí)，可更便捷地觸發(fā)視覺定位功能。

此外，我們引入了“圖像思考”創(chuàng)新能力，讓本模型兼?zhèn)鋱D片放大和圖片搜索等工具調(diào)用能力，因此本模型與環(huán)境交互的能力顯著提升，能夠有效幫助開發(fā)者們構(gòu)建多模態(tài)智能體。

ERNIE-4.5-VL-28B-A3B-Thinking作為激活僅3B的輕量級(jí)模型，在各項(xiàng)測(cè)試中的表現(xiàn)緊咬業(yè)界頂級(jí)旗艦?zāi)Ｐ停暂p量級(jí)規(guī)模實(shí)現(xiàn)了接近SOTA的視覺表現(xiàn)。

小模型，大能量

（左右滑動(dòng)查看大圖）

視覺推理

通過大規(guī)模強(qiáng)化學(xué)習(xí)策略，模型在復(fù)雜視覺任務(wù)中展現(xiàn)卓越的多步推理、圖表解析與因果推理能力。

復(fù)雜圖表解析，避開高峰時(shí)段

學(xué)科計(jì)算

憑借強(qiáng)大視覺能力，模型在拍照解題等學(xué)科推理中實(shí)現(xiàn)飛躍式提升，復(fù)雜題目也能輕松搞定！

解決物理學(xué)科電阻問題

視覺定位（Grounding）

定位更精準(zhǔn)，指令執(zhí)行更靈活，輕松觸發(fā)復(fù)雜工業(yè)場(chǎng)景下的定位功能，效率直線上升！

快速識(shí)別穿西服戴禮帽人物數(shù)量及定位

模型Grounding輸出結(jié)果的可視化——圖中邊界框?qū)?yīng)模型生成的 “穿西裝的人” 的bbox_2d坐標(biāo)。

圖像思考（Thinking with Images）

如同真人般思考，模型可對(duì)圖片自由放大縮小，把控每個(gè)細(xì)節(jié)，洞察每一處信息！

支持圖片自由放大，

識(shí)別圖片細(xì)節(jié)信息

工具調(diào)用

具備強(qiáng)大的工具調(diào)用能力，模型可即時(shí)調(diào)用圖片搜索等功能，輕松識(shí)別長(zhǎng)尾知識(shí)，實(shí)現(xiàn)全方位信息獲??！

工具調(diào)用認(rèn)識(shí)更多熱門IP

視頻理解

模型具備卓越的時(shí)間感知與事件定位能力，能夠精準(zhǔn)識(shí)別視頻中不同時(shí)間段的內(nèi)容變化，讓視頻分析更智能、更高效！

卓越定位廣告片不同時(shí)段內(nèi)容變化、分析更智能

（上下滑動(dòng)查

看）

為方便社區(qū)開發(fā)者適配和拓展應(yīng)用場(chǎng)景，團(tuán)隊(duì)提供了涵蓋Transformers、vLLM、大模型高效部署套件FastDeploy、文心大模型開發(fā)套件ERNIEKit等開箱即用的工具和全流程的支持。共邀廣大開發(fā)者即刻啟動(dòng)，反饋真實(shí)需求和使用體驗(yàn)。接下來團(tuán)隊(duì)也會(huì)陸續(xù)推出詳盡、實(shí)用的技術(shù)教程與最佳實(shí)踐，與全球開發(fā)者攜手共進(jìn)，推動(dòng)大模型技術(shù)在更多領(lǐng)域落地。

02.

在線體驗(yàn)/API

wisemodel社區(qū)-鏡像上線了“百度/ERNIE-4.5-VL-28B-A3B-Thinking”的鏡像，支持一鍵創(chuàng)建在線體驗(yàn)或者API服務(wù)，選中該鏡像，點(diǎn)擊部署在線體驗(yàn)或者部署API服務(wù)。

進(jìn)入后，根據(jù)需要填寫相應(yīng)的信息，點(diǎn)擊“提交訂單”按鈕，體驗(yàn)進(jìn)入后臺(tái)的啟動(dòng)階段。大概等待1分鐘左右，體驗(yàn)進(jìn)入運(yùn)行中的狀態(tài)。

公開狀態(tài)的在線體驗(yàn)可以在wisemodel社區(qū)-體驗(yàn)與API”的頁(yè)面上點(diǎn)擊相應(yīng)的體驗(yàn)，進(jìn)入體驗(yàn)的頁(yè)面；私有狀態(tài)的在線體驗(yàn)需要前往“用戶中心-我的資源-體驗(yàn)”進(jìn)入體驗(yàn)的頁(yè)面。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看