智東西
作者 王涵
編輯 心緣

智東西12月9日?qǐng)?bào)道，昨晚，智譜開源了其GLM-4.6V系列多模態(tài)大模型，包括面向云端與高性能集群場(chǎng)景的基礎(chǔ)版GLM-4.6V（106B-A12B）以及面向本地部署與低延遲應(yīng)用的輕量版GLM-4.6V-Flash（9B）。

此外，今天上午，智譜還開源了大模型交互智能體AutoGLM，類似于“豆包手機(jī)助手”，該智能體在去年10月發(fā)布之時(shí)曾被業(yè)內(nèi)視為“全球首個(gè)具備手機(jī)操作能力的AI Agent”。

▲GLM-4.6V開源主頁（圖源：Hugging Face）

▲AutoGLM開源主頁（圖源：Hugging Face）

據(jù)官方介紹，GLM-4.6V能夠完成智能圖文混排與內(nèi)容創(chuàng)作、識(shí)圖購物與導(dǎo)購、前端復(fù)刻與多輪視覺交互開發(fā)以及長(zhǎng)上下文的文檔與視頻理解等任務(wù)，智東西第一時(shí)間對(duì)其進(jìn)行了體驗(yàn)。

在實(shí)際體驗(yàn)中，GLM-4.6V的圖像搜索、全網(wǎng)比價(jià)以及長(zhǎng)文本和視頻的理解能力表現(xiàn)較為穩(wěn)定，其生成文字和網(wǎng)頁的速度快、內(nèi)容準(zhǔn)。但圖文混排能力上，其所生成的圖片一直無法顯示。對(duì)于模糊指令，GLM-4.6V的理解有些許偏差。

GLM-4.6V系列模型將訓(xùn)練時(shí)上下文窗口提升到128k tokens，其首次在模型架構(gòu)中將Function Call（工具調(diào)用）能力原生融入視覺模型。

在性能上，在同等參數(shù)規(guī)模下，GLM-4.6V系列模型在多模態(tài)交互、邏輯推理和長(zhǎng)上下文等關(guān)鍵能力上取得SOTA表現(xiàn)。

其中，9B版本的GLM-4.6V-Flash在覆蓋了通用視覺問答、多模態(tài)推理、多智能體、多模態(tài)長(zhǎng)文本、圖表識(shí)別以及空間定位能力的34項(xiàng)測(cè)試中，有22項(xiàng)的分?jǐn)?shù)超過Qwen3-VL-8B，106B參數(shù)12B激活的GLM-4.6V表現(xiàn)則與有著2倍參數(shù)量的Qwen3-VL-235B相接近。

▲GLM-4.6V系列模型基準(zhǔn)測(cè)試（圖源：z.ai/blog/glm-4.6v）

價(jià)格上，GLM-4.6V系列相較于GLM-4.5V降價(jià)50%，API調(diào)用價(jià)格低至輸入1元/百萬tokens，輸出3元/百萬tokens，GLM-4.6V-Flash全面免費(fèi)。

▲GLM-4.6V系列模型價(jià)格表（圖源：智譜AI）

GLM-4.6V開源地址：

GitHub：

https://github.com/zai-org/GLM-V

Hugging Face：

https://huggingface.co/collections/zai-org/glm-46v

魔搭社區(qū)：

https://modelscope.cn/collections/GLM-46V-37fabc27818446

GLM-4.6V體驗(yàn)地址：

https://chat.z.ai/

一、智能圖文混排：可生成推文大綱，但無法顯示圖片

首先是智能圖文混排與內(nèi)容創(chuàng)作能力，GLM-4.6V構(gòu)建了原生多模態(tài)工具調(diào)用能力，可以直接理解圖像、截圖、文檔頁面等多模態(tài)數(shù)據(jù)，無需先轉(zhuǎn)為文字描述再解析。

我們上傳了GLM-4.5V的技術(shù)報(bào)告，要求其生成一篇圖文并茂的微信公眾號(hào)文章。大約1-2分鐘，GLM-4.6V就完成了對(duì)整個(gè)文檔的閱讀和理解，輸出了包含標(biāo)題、導(dǎo)語、五個(gè)章節(jié)以及結(jié)語的完整公眾號(hào)文章，但經(jīng)過多次嘗試，其依舊無法顯示出圖片。

▲智能圖文混排

二、識(shí)圖購物與導(dǎo)購：自動(dòng)比價(jià)一氣呵成，但模糊搜索理解不到位

為了體驗(yàn)GLM-4.6V識(shí)圖購物與導(dǎo)購功能，我們直接輸入“幫我搜索現(xiàn)在iPhone 17 Pro Max在各平臺(tái)的價(jià)格?！?/p>

GLM-4.6V會(huì)自動(dòng)調(diào)用相關(guān)工具在全網(wǎng)中搜索，并且形成商品名、平臺(tái)、品牌、商品圖、商品鏈接以及店鋪名的比價(jià)表格，直接點(diǎn)擊鏈接即可跳轉(zhuǎn)到購買頁面。

▲商品比價(jià)

我們還可以直接讓GLM-4.6V搜索《瘋狂動(dòng)物城2》中尼克狐尼克的同款眼鏡，其通過圖像搜索功能直接搜索出了其同款眼鏡的實(shí)拍圖。

▲模糊搜索導(dǎo)購

三、網(wǎng)頁復(fù)刻：一張圖絲滑生成網(wǎng)頁代碼，但圖標(biāo)更換不對(duì)

我們上傳了一張X平臺(tái)的登錄頁面截圖，要求用戶GLM-4.6V生成HTML代碼和網(wǎng)頁預(yù)覽。

▲截圖生成網(wǎng)頁代碼

▲生成網(wǎng)頁預(yù)覽

收到指令后，GLM-4.6V就立刻開始逐行生成HTML代碼，并顯示出預(yù)覽頁面。可以看出，其生成的“仿X”登錄網(wǎng)頁與原網(wǎng)頁幾乎一模一樣。

此外，GLM-4.6V還支持多輪視覺交互，直接根據(jù)結(jié)果用自然語言指令修改網(wǎng)頁的色彩、調(diào)整按鈕位置等。

比如，我們?cè)谏弦惠嗇敵龅幕A(chǔ)上，要求其將網(wǎng)頁主題色改為天藍(lán)色，圖標(biāo)X改為Z，但還保持原風(fēng)格。可以看到，針對(duì)修改主題色的要求，GLM-4.6V完成的很完善，但對(duì)于圖標(biāo)X改為Z的指令，其誤生成了一個(gè)“向上箭頭”形狀。

▲修改網(wǎng)頁元素

四、長(zhǎng)上下文的文檔理解：可同時(shí)處理多篇中英文論文，長(zhǎng)文檔理解準(zhǔn)確

GLM-4.6V將視覺編碼器與語言模型的上下文對(duì)齊能力提升至128k，在實(shí)際應(yīng)用中，128k上下文約等于150頁的文檔、200頁P(yáng)PT或一小時(shí)視頻。

為驗(yàn)證其長(zhǎng)上下文的文檔理解能力，我們直接甩給GLM-4.6V三篇網(wǎng)絡(luò)平臺(tái)治理領(lǐng)域的論文，其中有兩篇中文文獻(xiàn)和一篇英文文獻(xiàn)，讓其閱讀以上論文，并生成一篇學(xué)習(xí)筆記。

▲生成論文學(xué)習(xí)筆記

從GLM-4.6V生成的效果來看，圖片依舊沒有顯示出來，但文字部分內(nèi)容齊備，邏輯清晰，將每篇文獻(xiàn)中的核心觀點(diǎn)和結(jié)論都清晰地羅列了出來，英文文獻(xiàn)處理也沒有錯(cuò)漏。

五、視頻理解：能快速解析視頻內(nèi)容和拍攝技巧，但視頻大小有限制

最后，GLM-4.6V還可以理解長(zhǎng)視頻內(nèi)容，用戶可以上傳一部200M以內(nèi)的MP4影片，要求其分析視頻的拍攝手法和內(nèi)容、結(jié)構(gòu)等。

比如，我們上傳了一段6分48秒的視頻制作技巧分享視頻，想要其總結(jié)一下視頻的思路和內(nèi)容，并給一些做攝影類自媒體的建議。

▲視頻內(nèi)容理解（上下滑動(dòng)查看完整圖片）

GLM-4.6V在幾秒鐘之內(nèi)就給出了包含視頻思路、敘事技巧、鏡頭運(yùn)用和設(shè)備選用等的完整詳解，并且給出了循序漸進(jìn)的四條成為攝影博主的建議，回答準(zhǔn)確且清晰完整。

結(jié)語：GLM-4.6V降低了視覺模型接入門檻

從實(shí)際體驗(yàn)來說，GLM-4.6V在日常工作上已經(jīng)能幫不少忙，但生成效果還不太穩(wěn)定，生成公眾號(hào)文章時(shí)圖片出不來、改網(wǎng)頁細(xì)節(jié)時(shí)仍會(huì)有瑕疵，但其價(jià)格降到了上一個(gè)版本的一半，輕量版還免費(fèi)，對(duì)于想嘗試多模態(tài)AI的個(gè)人或小團(tuán)隊(duì)來說，門檻確實(shí)降低了不少。

在當(dāng)前各家AI能力越來越接近的情況下，誰能把體驗(yàn)做得更順暢、成本更低，誰就可能吸引更多開發(fā)者。

在官方推文中，智譜團(tuán)隊(duì)寫到本周是其開源發(fā)布周，將會(huì)有更多成果開源，值得期待。