作者｜畢樂(lè)天

來(lái)源｜AI先鋒官

如果你沒(méi)有時(shí)間看，沒(méi)關(guān)系，我制作了播客，在聽(tīng)的過(guò)程你可以忙些自己的事情

你有沒(méi)有過(guò)這種經(jīng)歷？

對(duì)著智能音箱喊了半天，

它卻一臉懵逼。

或者，

它只聽(tīng)到了你的話(huà)，

卻對(duì)旁邊燒開(kāi)的水壺、窗外的雷聲、甚至狗子的狂吠……

充耳不聞。

如果，你的AI不止能聽(tīng)懂“人話(huà)”，

還能聽(tīng)懂全世界的聲音呢？

別懷疑，

這一天已經(jīng)來(lái)了。

小米剛剛開(kāi)源了一個(gè)大模型，

MiDashengLM-7B。

名字不重要，

重要的是，它給所有智能設(shè)備，

裝上了一雙超凡的耳朵。

這正是小米“人車(chē)家全生態(tài)”構(gòu)想的核心：

讓你的設(shè)備不再是被動(dòng)地等你下命令，

而是主動(dòng)地感知你周?chē)氖澜纭?/p>

獨(dú)門(mén)秘籍：憑啥這雙AI耳朵這么神？

一句話(huà)：它不只是“聽(tīng)”，它在“理解”。

以前的語(yǔ)音助手：像個(gè)速記員

你手機(jī)里大部分的語(yǔ)音助手，

核心技術(shù)叫ASR（自動(dòng)語(yǔ)音識(shí)別）。

你可以把它當(dāng)成一個(gè)“法庭速記員”。

它的任務(wù)只有一個(gè)：

把你說(shuō)的每個(gè)字，都變成文字。

旁邊有音樂(lè)？忽略。

有噪音？可能會(huì)識(shí)別錯(cuò)。

至于你說(shuō)話(huà)的語(yǔ)氣、開(kāi)不開(kāi)心……

它根本不懂。

小米的新玩法：像個(gè)電影導(dǎo)演

小米的MiDashengLM，不想只當(dāng)個(gè)速記員。

它的目標(biāo)，是成為一名“電影導(dǎo)演”。

它會(huì)給聽(tīng)到的所有聲音，

寫(xiě)一個(gè)內(nèi)容豐富的“劇本”。

舉個(gè)栗子：

一段音頻里，有男人說(shuō)話(huà)，還有車(chē)聲。

• 速記員（舊AI）只會(huì)寫(xiě)：“一個(gè)男人在說(shuō)話(huà)?！?/p>

• 導(dǎo)演（小米AI）會(huì)寫(xiě)：“一個(gè)男人正在用英語(yǔ)談?wù)撨M(jìn)城，伴隨著車(chē)輛行駛的聲音?！?/code>

再舉個(gè)栗子：

一段音頻里，有音樂(lè)和歡呼聲。

• 速記員（舊AI）只會(huì)寫(xiě)：“有噪音和音樂(lè)?！?/p>

• 導(dǎo)演（小米AI）會(huì)寫(xiě)：“人群在歡呼鼓掌，背景是電子音樂(lè)，合成器營(yíng)造出一種黑暗又充滿(mǎn)活力的氛圍。”

看到?jīng)]？

這就是差距。

它能理解聲音里的所有元素，

把它們串聯(lián)成一個(gè)完整的故事。

下面是視頻演示

這對(duì)“順風(fēng)耳”，都有啥超能力？


它能干的事，多到你眼花。

? 語(yǔ)言大師

不只懂中英文，

印尼、泰國(guó)、越南話(huà)，照樣聽(tīng)得懂。

? 聲音偵探

能同時(shí)聽(tīng)見(jiàn)好幾種聲音。

“狗叫+汽車(chē)?yán)?下雨聲”？

小菜一碟。

音樂(lè)品鑒家

它能聽(tīng)出樂(lè)器、風(fēng)格，

甚至音樂(lè)想表達(dá)的情緒。

讀心神探

通過(guò)你的聲音，

猜出你的性別、口音，甚至心情。

超級(jí)知識(shí)王

你可以隨便問(wèn)它關(guān)于聲音的問(wèn)題。

比如：“剛才那段聲音里，有小孩子嗎？”

它會(huì)告訴你答案。

?? 金牌書(shū)記員

當(dāng)然，把語(yǔ)音轉(zhuǎn)成文字這種基本功，

它也做得又快又好。

未來(lái)已來(lái)：你將在哪里遇到它？

這不是科幻片。

小米已經(jīng)把這些能力，

用在了超過(guò)30個(gè)智能功能上。

在你的車(chē)?yán)铮ū热缧∶譙U7）

• 超級(jí)哨兵模式：車(chē)停在外面，它24小時(shí)聽(tīng)著。一旦有砸玻璃、碰撞的聲音，立刻給你手機(jī)報(bào)警。

• 更懂你的導(dǎo)航：就算你開(kāi)著音樂(lè)、開(kāi)著窗，它也能在嘈雜中聽(tīng)清你的指令。

• 隨行外教：上下班路上練外語(yǔ)？它能實(shí)時(shí)糾正你的發(fā)音。

在你的家里

• 全天候保安：能聽(tīng)出煙霧報(bào)警、嬰兒哭聲、或者有人撬門(mén)的聲音，然后通知你。

• 隔空操作：拍拍手開(kāi)燈，打個(gè)響指關(guān)電視，懶人福音。

• 貼心管家：它聽(tīng)見(jiàn)廚房水開(kāi)了，會(huì)主動(dòng)問(wèn)你：“水開(kāi)了，要幫你關(guān)火嗎？”。

它還能……

• 幫視障朋友“聽(tīng)”懂視頻里的畫(huà)面和氛圍。

• 幫直播平臺(tái)自動(dòng)揪出不良聲音。

• 幫音樂(lè)App給你推薦更合口味的歌。

最關(guān)鍵的是，它跑得飛快，還很省資源。

這意味著，這些超能力可以直接在你的手機(jī)、汽車(chē)、音箱上運(yùn)行，不需要一直連著網(wǎng)。

終極對(duì)決：它和別的AI比怎么樣？


不吹不黑，直接上數(shù)據(jù)。

小米把它和業(yè)界頂尖的幾個(gè)模型比了一圈，

在22個(gè)公開(kāi)測(cè)試?yán)铮⑿铝艘淮蠖延涗洝?/p>

有些地方，簡(jiǎn)直是碾壓。

比如，在一個(gè)叫VGGSound的環(huán)境音識(shí)別測(cè)試?yán)铮?/p>

小米MiDashengLM，得分 52.11。

它的對(duì)手，得分 0.97。

你沒(méi)看錯(cuò)，是五十多倍的差距。

當(dāng)然，它也不是完美的。

它就像一個(gè)奧運(yùn)十項(xiàng)全能冠軍。

在“聽(tīng)懂所有聲音”這件事上，它是王者。

但如果只比“英文語(yǔ)音轉(zhuǎn)寫(xiě)”這一個(gè)單項(xiàng)，

可能某個(gè)只練這個(gè)的“百米飛人”會(huì)稍微快一點(diǎn)點(diǎn) 。

但別忘了，

它不僅更“懂”，還更“快”。

響應(yīng)速度比別人快4倍，處理能力強(qiáng)20倍。

這意味著，你用起來(lái)會(huì)更爽，幾乎沒(méi)延遲。

所以呢？這跟我們有啥關(guān)系？

簡(jiǎn)單說(shuō)三點(diǎn)：

• 你的設(shè)備，活了。

  它們終于有了真正的“聽(tīng)覺(jué)”，變得更智能、更主動(dòng) 。

• 它跑得動(dòng)，用得起。

  超高的效率，讓這些強(qiáng)大的AI功能可以塞進(jìn)你身邊的每個(gè)設(shè)備里 。

• 最牛的是：它免費(fèi)！

  小米把模型、代碼、數(shù)據(jù)，全部開(kāi)源了。

  這意味著，全世界的開(kāi)發(fā)者都可以用它來(lái)創(chuàng)造更好玩、更有用的東西。

  AI的未來(lái)，不會(huì)被幾家大公司壟斷 。

我們的設(shè)備，

先是學(xué)會(huì)了“看”（攝像頭），

然后學(xué)會(huì)了“讀”和“寫(xiě)”（語(yǔ)言模型）。

現(xiàn)在，

小米讓它們，

真正學(xué)會(huì)了如何去“聽(tīng)”。

這個(gè)世界，

馬上就要變得更有趣了。

• 想親自體驗(yàn)一下？

  交互式Demo

  ( https://huggingface.co/spaces/mispeech/MiDashengLM )

• 如果你是開(kāi)發(fā)者：

  GitHub項(xiàng)目主頁(yè)：


• https://github.com/xiaomi-research/dasheng-lm

• 模型下載：

• https://huggingface.co/mispeech/midashenglm-7b

掃碼邀請(qǐng)進(jìn)群，我們帶你一起來(lái)玩轉(zhuǎn)ChatGPT、GPT-4、文心一言、通義千問(wèn)、訊飛星火等AI大模型，順便學(xué)一些AI搞錢(qián)技能。

往期文章回顧