“TinyML將在未來(lái)10年成為MCU市場(chǎng)的最大推動(dòng)力。未來(lái)五年內(nèi)，公司5億個(gè)MCU將運(yùn)行某種形式的TinyML 或AI工作負(fù)載?！币夥ò雽?dǎo)體微控制器和數(shù)字IC事業(yè)部總裁Remi El-Ouazzane曾經(jīng)這樣說(shuō)道。

TinyML（Tiny Machine Learning）是一種在資源受限的微控制器和邊緣設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型的技術(shù)。目標(biāo)是在低功耗、低內(nèi)存和低計(jì)算資源的設(shè)備上實(shí)現(xiàn)高效的機(jī)器學(xué)習(xí)算法，以支持實(shí)時(shí)數(shù)據(jù)處理和決策。它們的功能雖然不如大型語(yǔ)言模型（LLM）那樣通用，但在特定任務(wù)上表現(xiàn)出色，例如通過(guò)圖像識(shí)別植物病害，準(zhǔn)確率可達(dá)95%~99%。

用人話解釋，就是“小而強(qiáng)”的機(jī)器學(xué)習(xí)，力求能在MCU之類低功耗設(shè)備上運(yùn)行。因?yàn)镸CU沒(méi)有DRAM，沒(méi)有操作系統(tǒng)（OS），并且嚴(yán)格的內(nèi)存限制（SRAM小于256kB，F(xiàn)LASH為只讀）。

用一組數(shù)據(jù)也能解釋TinyML的重要性：TinyML每臺(tái)設(shè)備（包括傳感器）的成本為2美元~60美元，每臺(tái)設(shè)備的平均功耗≤1~100毫瓦；而LLM每顆AI芯片平均成本20K~70K美元，需要數(shù)萬(wàn)顆芯片，每顆AI芯片的平均功耗700~1200瓦。

近年來(lái)，巨頭們紛紛押注TinyML。隨著AI技術(shù)進(jìn)一步發(fā)展，這一市場(chǎng)正在逐漸爆發(fā)。

巨頭押注TinyML

目前，比較出名的TinyML或者AutoML包括SensiML、Stream Analyze、Qeexo AutoML、NanoEdge AI Studio、Imagimob（英飛凌收購(gòu)）、Reality AI（瑞薩收購(gòu)）、Neuton.ai（Nordic收購(gòu)）、Edge Impulse（高通收購(gòu)）、eIQ ML（NXP）等，很多MCU廠商都選擇與這些廠商合作，提供完整的邊緣AI解決方案。

當(dāng)然，為了補(bǔ)全自己的邊緣AI版圖，其中不乏許多收購(gòu)：2022 年 7 月，瑞薩電子收購(gòu)嵌入式AI和TinyML解決方案優(yōu)秀供應(yīng)商Reality Analytics, Inc.（Reality AI），成為了瑞薩電子的間接全資子公司；2023年5月，英飛凌宣布已收購(gòu)位于斯德哥爾摩的TinyML和AutoML初創(chuàng)企業(yè)Imagimob。

而今年，隨著AI進(jìn)一步火熱，加上Agentic AI（自主智能體AI）在邊緣端興起，廠商開(kāi)始加快對(duì)于TinyML的投入力度。迄今為止，共有三樁收購(gòu)案值得關(guān)注：

今年3月，高通（Qualcomm）宣布將收購(gòu)邊緣AI開(kāi)發(fā)平臺(tái)Edge Impulse，希望此舉能擴(kuò)展其對(duì)支持IoT的產(chǎn)品的AI能力。

Edge Impulse在TinyML領(lǐng)域的地位不可小覷。Edge Impulse 的開(kāi)發(fā)平臺(tái)包括用于數(shù)據(jù)收集和準(zhǔn)備、模型訓(xùn)練、部署和監(jiān)控的工具，具有少量代碼或無(wú)代碼界面。開(kāi)發(fā)人員使用 Edge Impulse 的平臺(tái)將計(jì)算機(jī)視覺(jué)、時(shí)間序列數(shù)據(jù)、音頻事件和語(yǔ)音識(shí)別等 AI 功能添加到資產(chǎn)跟蹤和監(jiān)控、制造、異常檢測(cè)和預(yù)測(cè)性維護(hù)系統(tǒng)中的嵌入式系統(tǒng)中。

今年4月，意法半導(dǎo)體（ST）收購(gòu)加拿大AutoML初創(chuàng)公司Deeplite。Deeplite號(hào)稱邊緣AI的DeepSeek，該公司在模型優(yōu)化、量化和壓縮方面有獨(dú)特技術(shù)，可使AI大模型在邊緣設(shè)備上運(yùn)行得更快、更小、更節(jié)能。

6月17日，在收購(gòu)AI硬件IP初創(chuàng)公司Atlazo兩年后，Nordic Semiconductor收購(gòu)了 Neuton.ai，這是一家用于微控制器級(jí)AI的TinyML工具公司。Neuton的技術(shù)為時(shí)間序列數(shù)據(jù)應(yīng)用程序開(kāi)發(fā)了特定于應(yīng)用程序的神經(jīng)網(wǎng)絡(luò)算法，該算法比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法小10倍之多。通過(guò)將 Nordic 的 nRF54 系列超低功耗無(wú)線 SoC 與 Neuton 的神經(jīng)網(wǎng)絡(luò)框架相結(jié)合，現(xiàn)在可以為資源最受限的設(shè)備帶來(lái)可擴(kuò)展的高性能 AI。

Neuton是Edge Impulse的競(jìng)爭(zhēng)對(duì)手，目前已經(jīng)與北歐競(jìng)爭(zhēng)對(duì)手合作，包括 ST 和Silicon Labs。雖然目前Neuton沒(méi)有終止任何客戶合作的計(jì)劃，但計(jì)劃在未來(lái)專注于Nordic硬件。

隨著廠商補(bǔ)全自己的軟件算法層面的方案，市場(chǎng)更加熱鬧了。

TinyML的現(xiàn)在和未來(lái)

“TinyML將使AI無(wú)處不在?！边@是Science一篇文章所說(shuō)的話。

TinyML是機(jī)器學(xué)習(xí) (ML) 領(lǐng)域的一個(gè)分支，專注于在資源極其有限的設(shè)備上運(yùn)行AI模型，例如物聯(lián)網(wǎng) (IoT) 設(shè)備和微控制器 (MCU)。這些設(shè)備通常只有幾百KB內(nèi)存，沒(méi)有操作系統(tǒng)，并且處理能力遠(yuǎn)低于智能手機(jī)或云計(jì)算服務(wù)器。TinyML 帶來(lái)了多項(xiàng)關(guān)鍵優(yōu)勢(shì)，包括成本效益、低功耗、實(shí)時(shí)響應(yīng)、數(shù)據(jù)隱私、無(wú)需網(wǎng)絡(luò)連接。

目前，TinyML和AI大模型一樣，主要關(guān)注推理和訓(xùn)練兩個(gè)方向。

推理方面，近年來(lái)，TinyML及其在MCU上的深度學(xué)習(xí)應(yīng)用飛速發(fā)展，不過(guò)對(duì)于TinyML來(lái)說(shuō)，也有挑戰(zhàn)，主要在于內(nèi)存和計(jì)算性能的局限性上。例如，一款常見(jiàn)的MCU可能僅有數(shù)百KB的SRAM（用于讀寫數(shù)據(jù)）和1MB的閃存（用于存儲(chǔ)模型），同時(shí)處理器速度也遠(yuǎn)低于普通電腦。為了克服這些限制，研究人員提出了多種解決方案，主要分為算法優(yōu)化和系統(tǒng)優(yōu)化兩大類。

算法解決方案常見(jiàn)的方法包括模型壓縮（通過(guò)剪枝、量化和張量分解來(lái)減小模型大?。⒅R(shí)蒸餾（和DeepSeek類似，用教師模型轉(zhuǎn)移給小型學(xué)生模型）、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、神經(jīng)架構(gòu)搜索（NAS，例如TinyNAS和MicroNets）、統(tǒng)一設(shè)計(jì)搜索空間（UDC）。

系統(tǒng)解決方案?jìng)?cè)重于優(yōu)化部署和運(yùn)行環(huán)境，以適應(yīng)MCU硬件限制。主流的深度學(xué)習(xí)框架（如 PyTorch、TensorFlow）因其龐大的運(yùn)行時(shí)開(kāi)銷而不適用于 MCU，因此出現(xiàn)了專門針對(duì)微控制器的輕量級(jí)框架和技術(shù)：

• 優(yōu)化內(nèi)核庫(kù)：如CMSIS-NN和X-Cube-AI，提供針對(duì)ARM Cortex-M處理器優(yōu)化的深度學(xué)習(xí)運(yùn)算內(nèi)核，以提高速度、減少內(nèi)存占用和提高能效；

• 輕量級(jí)運(yùn)行時(shí)系統(tǒng)：TensorFlow-Lite Micro (TF-Lite Micro) 是最早支持裸機(jī)MCU的深度學(xué)習(xí)框架之一。TinyEngine（MCUNet的一部分）則將大部分操作從運(yùn)行時(shí)轉(zhuǎn)移到編譯時(shí)，并優(yōu)化整體網(wǎng)絡(luò)內(nèi)存調(diào)度；

• 編譯技術(shù)：通過(guò)優(yōu)化循環(huán)嵌套、重新排序操作執(zhí)行或臨時(shí)交換數(shù)據(jù)來(lái)減少內(nèi)存需求；

• 混合精度內(nèi)核庫(kù)：如CMix-NN，支持混合精度量化，進(jìn)一步減少內(nèi)存占用；

• 逐塊推理調(diào)度：MCUNetV2提出的通用逐塊推理調(diào)度，使得高分辨率輸入在MCU上成為可能，通過(guò)分塊處理顯著減少峰值內(nèi)存使用；

• 內(nèi)存擴(kuò)展：TinyOps結(jié)合快速內(nèi)部存儲(chǔ)器和慢速外部存儲(chǔ)器，通過(guò)直接存儲(chǔ)器訪問(wèn) (DMA) 擴(kuò)大內(nèi)存并加速推理；

• 簡(jiǎn)潔的推理內(nèi)核庫(kù)：TinyMaix專注于提供優(yōu)化且易于理解的推理內(nèi)核庫(kù)。

訓(xùn)練方面，在小型設(shè)備上直接進(jìn)行模型訓(xùn)練日益受到關(guān)注。設(shè)備上訓(xùn)練能提供個(gè)性化服務(wù)并保護(hù)用戶隱私，因?yàn)閿?shù)據(jù)無(wú)需上傳到云端。然而，訓(xùn)練比推理更具挑戰(zhàn)性，因?yàn)樗枰鎯?chǔ)中間激活和梯度，對(duì)內(nèi)存和計(jì)算操作的要求更高。

研究人員正積極探索減少訓(xùn)練內(nèi)存占用的方法，包括輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)與NAS、內(nèi)存與計(jì)算的權(quán)衡、分層訓(xùn)練、激活剪枝、優(yōu)化器與量化。

近期，多項(xiàng)研究致力于在MCU上實(shí)現(xiàn)更高效的設(shè)備上訓(xùn)練，包括Tiny-Transfer-Learning、TinyOL、POET (Private Optimal Energy Training)、MiniLearn、MCUNetV3。

TinyML未來(lái)大有可為

全球邊緣AI市場(chǎng)預(yù)計(jì)將實(shí)現(xiàn)顯著增長(zhǎng)，這預(yù)示著TinyML在未來(lái)十年將扮演越來(lái)越重要的角色。根據(jù)預(yù)測(cè)，全球邊緣AI市場(chǎng)規(guī)模將從2023年的190億美元增至2033年的約1630 億美元。

目前來(lái)看，推動(dòng)TinyML發(fā)展的核心要素包括幾個(gè)：第一，MCU硬件性能越來(lái)越強(qiáng)大，存儲(chǔ)空間越來(lái)越大，為TinyML提供更強(qiáng)大的基礎(chǔ)；第二，MCU廠商和第三方廠商在關(guān)鍵工具上優(yōu)化越來(lái)越多，更容易使用；第三，NPU在MCU中開(kāi)始興起，加強(qiáng)了TinyML的發(fā)展；第四，如量化、剪枝之類的AI模型壓縮技術(shù)不斷在發(fā)展；第五，MLOps（機(jī)器學(xué)習(xí)運(yùn)維）等工具的進(jìn)步，使得在云端訓(xùn)練的模型能夠更快、更高效地部署到TinyML硬件上，從而縮短了價(jià)值實(shí)現(xiàn)時(shí)間，幫助項(xiàng)目突破概念驗(yàn)證（PoC）階段。

當(dāng)然，盡管前景廣闊，TinyML市場(chǎng)的發(fā)展也面臨一些障礙，其中之一是IoT設(shè)備的生命周期。對(duì)于那些生命周期長(zhǎng)達(dá)五年或更長(zhǎng)的現(xiàn)有IoT項(xiàng)目，尤其是在工業(yè)領(lǐng)域，將TinyML整合為一種良好且自然的解決方案可能比想象中更具挑戰(zhàn)性。

由于TinyML應(yīng)用多元性和高度定制化需求，僅僅依靠原廠完成所有開(kāi)發(fā)是困難的。對(duì)具體應(yīng)用場(chǎng)域的深刻理解（Know-how），是推動(dòng)TinyM 落地的關(guān)鍵。這些領(lǐng)域知識(shí)通常掌握在電子行業(yè)之外的專業(yè)人士手中，且因地域不同而千差萬(wàn)別。因此，提供開(kāi)源平臺(tái)變得尤為重要。

目前，TinyML的先驅(qū)SensiML已經(jīng)開(kāi)源了自己的工具。SensiML Analytics Toolkit 提供了一個(gè)端到端的開(kāi)發(fā)平臺(tái)，涵蓋數(shù)據(jù)收集、標(biāo)記、算法和固件自動(dòng)生成及測(cè)試，通過(guò)獨(dú)特的數(shù)據(jù)收集和標(biāo)記方法解決了人工智能項(xiàng)目中最常見(jiàn)的失敗問(wèn)題。SensiML提供了最全面的功能，從簡(jiǎn)單的點(diǎn)選式用戶界面模型創(chuàng)建到模型構(gòu)建和測(cè)試工作流的完整流水線控制。

對(duì)于MCU來(lái)說(shuō)，有些場(chǎng)景需要實(shí)現(xiàn)的功能非常簡(jiǎn)單，AI也許并非一個(gè)必選項(xiàng)，這或許會(huì)是TinyML的瓶頸之一。此外，讓MCU開(kāi)發(fā)人員掌握各種AI技能，也會(huì)是一個(gè)挑戰(zhàn)，相關(guān)人才的建設(shè)也需要很久的時(shí)間。

不過(guò)，市場(chǎng)趨勢(shì)就在這里，也許過(guò)些年，這些問(wèn)題會(huì)隨著開(kāi)發(fā)工具和算法不斷迭代，迎刃而解。

參考文獻(xiàn)

[1]Science：https://www.science.org/content/article/what-s-tinyml-global-south-s-alternative-power-hungry-pricey-ai

[2]J. Lin, L. Zhu, W. -M. Chen, W. -C. Wang and S. Han, "Tiny Machine Learning: Progress and Futures [Feature]," in IEEE Circuits and Systems Magazine, vol. 23, no. 3, pp. 8-34, thirdquarter 2023, doi: 10.1109/MCAS.2023.3302182. keywords: {Deep learning;Training;Adaptation models;Microcontrollers;Memory management;Inference algorithms;Tiny machine learning;Microcontrollers;Machine learning;TinyML;efficient deep learning;on-device training;learning on the edge},

歡迎將我們?cè)O(shè)為“星標(biāo)”，這樣才能第一時(shí)間收到推送消息。

關(guān)注EEWorld旗下訂閱號(hào)：“機(jī)器人開(kāi)發(fā)圈”

回復(fù)“DS”領(lǐng)取《DeepSeek:從入門到精通》完整版

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對(duì)面交流經(jīng)驗(yàn)