Mu 小語(yǔ)言模型使 AI 代理能夠?qū)?shù)百個(gè)系統(tǒng)設(shè)置執(zhí)行操作。它現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。點(diǎn)擊輸入圖片描述（最多30字）Mu 進(jìn)行實(shí)時(shí)問(wèn)答的屏幕截圖。圖片：Windows YouTube 頻道微軟用于設(shè)備端處理的最新小語(yǔ)言模型MU有一個(gè)特定的用例：Windows 11 設(shè)置應(yīng)用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語(yǔ)言模型，旨在直接在 Windows 設(shè)備上運(yùn)行。Mu 專(zhuān)為增強(qiáng)新的設(shè)置代理而構(gòu)建，已在 Copilot+ PC 的預(yù)覽版中提供，并且是免費(fèi)提供的。Mu 是 Settings （設(shè)置） 菜單中 AI 代理背后的技術(shù)，允許用戶(hù)提出自然語(yǔ)言問(wèn)題。獲得許可后，代理可以自行采取行動(dòng)來(lái)解決用戶(hù)提出的問(wèn)題。因此，它需要能夠解釋和操作數(shù)百個(gè)系統(tǒng)設(shè)置。Mu 現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。Mu 如何將處理能力打包到相對(duì)緊湊的硬件上Mu 是由 Microsoft 研究團(tuán)隊(duì)開(kāi)發(fā)的 3.3 億參數(shù)模型。與基于云的大型語(yǔ)言模型不同，Mu 完全使用神經(jīng)處理單元 （NPU） 在設(shè)備上運(yùn)行。這使它能夠直接響應(yīng)自然語(yǔ)言命令，例如“打開(kāi)暗模式”或“調(diào)整亮度”，而無(wú)需依賴(lài)云服務(wù)或互聯(lián)網(wǎng)連接。目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設(shè)置”應(yīng)用程序開(kāi)始。在 6 月 23 日的新聞稿中，微軟透露了“設(shè)置”中 AI 代理背后的設(shè)備上小語(yǔ)言模型的工作原理。Mu 首先在 Azure 機(jī)器學(xué)習(xí)上的 NVIDIA A100 GPU 上進(jìn)行訓(xùn)練。訓(xùn)練后，Mu 在 PC 的神經(jīng)處理單元（NPU）上運(yùn)行，以每秒100多個(gè)令牌的速度響應(yīng)。Mu建立在微軟從Phi Silica 學(xué)到的在設(shè)備上運(yùn)行小型語(yǔ)言模型的基礎(chǔ)上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構(gòu)建的模型。據(jù)微軟稱(chēng)，選擇編碼器-解碼器語(yǔ)言模型而不是僅解碼器架構(gòu)也可以提高效率?！巴ㄟ^(guò)將輸入令牌與輸出令牌分開(kāi)，Mu 的一次性編碼大大減少了計(jì)算和內(nèi)存開(kāi)銷(xiāo)?！蔽④浉笨偛眉?Windows 應(yīng)用科學(xué)杰出工程師 Vivek Pradeep 在博客文章中寫(xiě)道?！霸趯?shí)踐中，這意味著在專(zhuān)用硬件上具有更低的延遲和更高的吞吐量?！蔽④洷硎?，編碼器-解碼器語(yǔ)言模型比僅解碼器模型更高效。Mu 使用編碼器-解碼器 transformer 架構(gòu)構(gòu)建，與傳統(tǒng)的純解碼器模型相比，該架構(gòu)可以更高效地處理輸入。據(jù)稱(chēng)，Mu 提供了：·Qualcomm NPU 上的首令牌延遲縮短 47%·與僅使用標(biāo)準(zhǔn)解碼器設(shè)置相比，解碼速度提高了 5倍·推理速度超過(guò)每秒 100 個(gè)令牌，在 Surface Laptop 7 等設(shè)備上達(dá)到 200 個(gè)令牌/秒以上響應(yīng)時(shí)間低于 500 毫秒為了進(jìn)一步優(yōu)化 Windows 設(shè)備的 Mu，Microsoft 集成了以下功能：·共享輸入/輸出嵌入層·旋轉(zhuǎn)嵌入和分組查詢(xún)注意力·雙層規(guī)范·8 位或 16 位量化，處理速度更快·針對(duì) Intel、AMD 和 Qualcomm NPU 的硬件特定調(diào)整這些改進(jìn)使 Mu 即使在資源受限的硬件上也能高效運(yùn)行。Mu 針對(duì) Copilot+ PC 上的 NPU 進(jìn)行了優(yōu)化在使用 NPU 的過(guò)程中，微軟的開(kāi)發(fā)人員學(xué)會(huì)了如何塑造 Mu 的設(shè)計(jì)以適應(yīng)處理器。這包括確保模型架構(gòu)和參數(shù)形狀與硬件的并行度和內(nèi)存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。通過(guò)使用相同的權(quán)重集來(lái)表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內(nèi)存受限的 NPU 上快速執(zhí)行的關(guān)鍵因素。如果用戶(hù)提出的問(wèn)題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。此外，對(duì)變壓器架構(gòu)和模型量化技術(shù)的更改提高了NPU的電源效率?！霸O(shè)置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預(yù)覽體驗(yàn)成員在開(kāi)發(fā)人員頻道中訪(fǎng)問(wèn)。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪(fǎng)問(wèn)權(quán)限。

Mu 小語(yǔ)言模型使 AI 代理能夠?qū)?shù)百個(gè)系統(tǒng)設(shè)置執(zhí)行操作。它現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。

Mu 進(jìn)行實(shí)時(shí)問(wèn)答的屏幕截圖。圖片：Windows YouTube 頻道

微軟用于設(shè)備端處理的最新小語(yǔ)言模型MU有一個(gè)特定的用例：Windows 11 設(shè)置應(yīng)用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語(yǔ)言模型，旨在直接在 Windows 設(shè)備上運(yùn)行。Mu 專(zhuān)為增強(qiáng)新的設(shè)置代理而構(gòu)建，已在 Copilot+ PC 的預(yù)覽版中提供，并且是免費(fèi)提供的。

Mu 是 Settings （設(shè)置） 菜單中 AI 代理背后的技術(shù)，允許用戶(hù)提出自然語(yǔ)言問(wèn)題。獲得許可后，代理可以自行采取行動(dòng)來(lái)解決用戶(hù)提出的問(wèn)題。因此，它需要能夠解釋和操作數(shù)百個(gè)系統(tǒng)設(shè)置。

Mu 現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。

Mu 如何將處理能力打包到相對(duì)緊湊的硬件上

Mu 是由 Microsoft 研究團(tuán)隊(duì)開(kāi)發(fā)的 3.3 億參數(shù)模型。與基于云的大型語(yǔ)言模型不同，Mu 完全使用神經(jīng)處理單元 （NPU） 在設(shè)備上運(yùn)行。這使它能夠直接響應(yīng)自然語(yǔ)言命令，例如“打開(kāi)暗模式”或“調(diào)整亮度”，而無(wú)需依賴(lài)云服務(wù)或互聯(lián)網(wǎng)連接。

目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設(shè)置”應(yīng)用程序開(kāi)始。

在 6 月 23 日的新聞稿中，微軟透露了“設(shè)置”中 AI 代理背后的設(shè)備上小語(yǔ)言模型的工作原理。Mu 首先在 Azure 機(jī)器學(xué)習(xí)上的 NVIDIA A100 GPU 上進(jìn)行訓(xùn)練。訓(xùn)練后，Mu 在 PC 的神經(jīng)處理單元（NPU）上運(yùn)行，以每秒100多個(gè)令牌的速度響應(yīng)。

Mu建立在微軟從Phi Silica 學(xué)到的在設(shè)備上運(yùn)行小型語(yǔ)言模型的基礎(chǔ)上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構(gòu)建的模型。

據(jù)微軟稱(chēng)，選擇編碼器-解碼器語(yǔ)言模型而不是僅解碼器架構(gòu)也可以提高效率。

“通過(guò)將輸入令牌與輸出令牌分開(kāi)，Mu 的一次性編碼大大減少了計(jì)算和內(nèi)存開(kāi)銷(xiāo)?！蔽④浉笨偛眉?Windows 應(yīng)用科學(xué)杰出工程師 Vivek Pradeep 在博客文章中寫(xiě)道?！霸趯?shí)踐中，這意味著在專(zhuān)用硬件上具有更低的延遲和更高的吞吐量?！?/p>

微軟表示，編碼器-解碼器語(yǔ)言模型比僅解碼器模型更高效。

Mu 使用編碼器-解碼器 transformer 架構(gòu)構(gòu)建，與傳統(tǒng)的純解碼器模型相比，該架構(gòu)可以更高效地處理輸入。據(jù)稱(chēng)，Mu 提供了：

·Qualcomm NPU 上的首令牌延遲縮短 47%

·與僅使用標(biāo)準(zhǔn)解碼器設(shè)置相比，解碼速度提高了 5倍

·推理速度超過(guò)每秒 100 個(gè)令牌，在 Surface Laptop 7 等設(shè)備上達(dá)到 200 個(gè)令牌/秒以上

響應(yīng)時(shí)間低于 500 毫秒

為了進(jìn)一步優(yōu)化 Windows 設(shè)備的 Mu，Microsoft 集成了以下功能：

·共享輸入/輸出嵌入層

·旋轉(zhuǎn)嵌入和分組查詢(xún)注意力

·雙層規(guī)范

·8 位或 16 位量化，處理速度更快

·針對(duì) Intel、AMD 和 Qualcomm NPU 的硬件特定調(diào)整

這些改進(jìn)使 Mu 即使在資源受限的硬件上也能高效運(yùn)行。

Mu 針對(duì) Copilot+ PC 上的 NPU 進(jìn)行了優(yōu)化

在使用 NPU 的過(guò)程中，微軟的開(kāi)發(fā)人員學(xué)會(huì)了如何塑造 Mu 的設(shè)計(jì)以適應(yīng)處理器。這包括確保模型架構(gòu)和參數(shù)形狀與硬件的并行度和內(nèi)存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。

通過(guò)使用相同的權(quán)重集來(lái)表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內(nèi)存受限的 NPU 上快速執(zhí)行的關(guān)鍵因素。

如果用戶(hù)提出的問(wèn)題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。

此外，對(duì)變壓器架構(gòu)和模型量化技術(shù)的更改提高了NPU的電源效率。

“設(shè)置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預(yù)覽體驗(yàn)成員在開(kāi)發(fā)人員頻道中訪(fǎng)問(wèn)。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪(fǎng)問(wèn)權(quán)限。