Art Hu

“【提示】2025第八屆年度金猿頒獎(jiǎng)典禮將在上海舉行，此次榜單/獎(jiǎng)項(xiàng)的評(píng)選依然會(huì)進(jìn)行初審、公審、終審三輪嚴(yán)格評(píng)定，并會(huì)在國(guó)內(nèi)外渠道大規(guī)模發(fā)布傳播歡迎申報(bào)。

隨著AI應(yīng)用的浪潮從模型訓(xùn)練逐漸過渡到部署和實(shí)施，企業(yè)面臨著諸多問題：如何優(yōu)化戰(zhàn)略投資以實(shí)現(xiàn)最大回報(bào)？其中一個(gè)核心問題是——那些在訓(xùn)練過程中消耗了大量資源的模型，究竟該選擇大型語(yǔ)言模型（LLM）還是小型語(yǔ)言模型（SLM）？答案在于理解兩者之間的權(quán)衡，并明確它們?cè)谒膫€(gè)關(guān)鍵方面的影響：硬件能力、安全性、延遲以及邊緣計(jì)算。雖然行業(yè)內(nèi)對(duì)此存在爭(zhēng)論，但所謂的“LLM與SLM之爭(zhēng)”其實(shí)并不是真正的爭(zhēng)論。企業(yè)只需根據(jù)應(yīng)用場(chǎng)景進(jìn)行選擇，答案自然清晰。

硬件成本與復(fù)雜性

將模型規(guī)模與硬件能力匹配至關(guān)重要，因?yàn)長(zhǎng)LM對(duì)計(jì)算能力的需求遠(yuǎn)高于普通應(yīng)用，包括高帶寬內(nèi)存（HBM）和多塊GPU。大多數(shù)LLM依賴集中式云基礎(chǔ)設(shè)施，因?yàn)樵诒镜剡\(yùn)行它們成本高昂，幾乎不可能在受限設(shè)備上實(shí)現(xiàn)。

相比之下，SLM的參數(shù)更少（通常低于40億），因此所需內(nèi)存顯著減少，并且不需要HBM。這使得它們能夠在更廣泛的硬件上高效運(yùn)行，并顯著降低基礎(chǔ)設(shè)施成本和復(fù)雜性。在計(jì)算能力有限的環(huán)境中，如物聯(lián)網(wǎng)設(shè)備、移動(dòng)平臺(tái)或AI PC，SLM往往是唯一可行的解決方案。

安全性與數(shù)據(jù)主權(quán)

SLM在數(shù)據(jù)隱私和安全方面也具有顯著優(yōu)勢(shì)。數(shù)據(jù)泄露或泄密無論何時(shí)都代價(jià)高昂，但對(duì)于金融、醫(yī)療或交通等高度監(jiān)管行業(yè)的企業(yè)來說，風(fēng)險(xiǎn)更大。這些企業(yè)無法將敏感數(shù)據(jù)跨網(wǎng)絡(luò)長(zhǎng)距離傳輸至云端API。雖然隔離或自托管的LLM可以緩解數(shù)據(jù)傳輸問題，但它們效率極低，因?yàn)樾枰笠?guī)模資源和復(fù)雜架構(gòu)。

SLM可以完全在本地部署，甚至直接嵌入硬件，使企業(yè)能夠保持嚴(yán)格的數(shù)據(jù)治理和合規(guī)性。當(dāng)數(shù)據(jù)絕對(duì)不能離開數(shù)據(jù)中心或設(shè)備時(shí)，SLM不僅是一個(gè)選擇，而是必需品。

延時(shí)與實(shí)時(shí)決策

選擇語(yǔ)言模型時(shí)，延遲敏感性是另一個(gè)關(guān)鍵因素。隨著行業(yè)從訓(xùn)練轉(zhuǎn)向推理，這些模型被部署在分布式、去中心化的環(huán)境中。許多應(yīng)用需要實(shí)時(shí)數(shù)據(jù)來支持決策，延遲往往無法容忍。對(duì)于響應(yīng)至關(guān)重要的場(chǎng)景，如語(yǔ)音助手、客服機(jī)器人或邊緣設(shè)備，延遲可能帶來嚴(yán)重影響。如果延遲升級(jí)為停機(jī)，財(cái)務(wù)后果可能是災(zāi)難性的。

與駐留在數(shù)據(jù)中心或云端、引入2至10秒數(shù)據(jù)傳輸和處理時(shí)間的LLM不同，SLM專為速度而設(shè)計(jì)。它們可以實(shí)現(xiàn)亞秒級(jí)響應(yīng)，非常適合需要即時(shí)反饋的應(yīng)用。

底層模型對(duì)用戶來說可能是“隱形”的，但其響應(yīng)速度和準(zhǔn)確性卻至關(guān)重要。對(duì)于優(yōu)先考慮無縫、快速用戶體驗(yàn)的企業(yè)，SLM是最佳選擇。

邊緣應(yīng)用

前面三個(gè)因素最終指向一個(gè)簡(jiǎn)單事實(shí)——SLM是為邊緣計(jì)算應(yīng)用而生的。無論是驅(qū)動(dòng)遠(yuǎn)程醫(yī)療設(shè)備還是工業(yè)機(jī)器，SLM都可以獨(dú)立于網(wǎng)絡(luò)運(yùn)行。它們能夠在本地進(jìn)行決策，確保隱私，例如醫(yī)院在邊緣部署AI患者監(jiān)測(cè)，或在工廠車間進(jìn)行實(shí)時(shí)異常檢測(cè)，即使連接不穩(wěn)定也能運(yùn)行。

在各行業(yè)中，下一代邊緣解決方案（如聯(lián)想的TruScale for Edge and AI），旨在將實(shí)時(shí)智能帶到數(shù)據(jù)生成的更近位置，體現(xiàn)了向敏捷、分布式AI轉(zhuǎn)變的趨勢(shì)，這種AI優(yōu)先考慮速度和安全，而非規(guī)模。共同點(diǎn)是韌性，因?yàn)檫@些應(yīng)用需要更精簡(jiǎn)的計(jì)算基礎(chǔ)設(shè)施、更高的數(shù)據(jù)安全性和最低延遲才能運(yùn)行。

當(dāng)速度和效率是更重要的考量時(shí)，SLM是首選。即使在隔離環(huán)境中，LLM的規(guī)模和基礎(chǔ)設(shè)施要求使其在邊緣部署中不切實(shí)際。對(duì)于邊緣AI，SLM不僅是更優(yōu)選擇——它們是必不可少的。

LLM的應(yīng)用場(chǎng)景

然而，并非所有應(yīng)用都運(yùn)行在邊緣。

雖然大多數(shù)企業(yè)在評(píng)估邊緣應(yīng)用以最大化生成式AI投資，但有些確實(shí)需要LLM的功能，這些功能存在于核心數(shù)據(jù)中心或云端。全面推理、深度上下文理解和跨領(lǐng)域知識(shí)都來自LLM。

這類應(yīng)用更看重全面甚至詳盡的分析，而非快速?zèng)Q策。因此，它們需要巨大的計(jì)算能力來運(yùn)行LLM，以生成所需輸出。在這種情況下，某些延遲是可以接受的。擁有支持云訪問或本地化部署基礎(chǔ)設(shè)施的企業(yè)能夠從中受益。此外，這些應(yīng)用通常不屬于高度監(jiān)管行業(yè)，因此數(shù)據(jù)隱私和安全標(biāo)準(zhǔn)相對(duì)寬松

成本與資源考量

評(píng)估LLM與SLM時(shí)，最后一個(gè)考量是所需資源。LLM的處理和分析能力遠(yuǎn)強(qiáng)于SLM，但代價(jià)也更高。除了訪問云API的成本外，運(yùn)行這些模型還需要持續(xù)投資于專用基礎(chǔ)設(shè)施。它們的計(jì)算需求和數(shù)據(jù)消耗使其僅適用于預(yù)算充足、需要通用智能或特定領(lǐng)域深度的大型項(xiàng)目。

相反，SLM更具成本效益，所需計(jì)算資源相對(duì)較少，部署輕量化。它們適用于中小企業(yè)、初創(chuàng)公司和企業(yè)邊緣部署。對(duì)于常規(guī)任務(wù)、模板化響應(yīng)或延遲敏感操作，它們?cè)诓辉黾舆\(yùn)營(yíng)負(fù)擔(dān)的情況下提供顯著投資回報(bào)。

結(jié)論：基于需求，而非標(biāo)簽

選擇LLM還是SLM應(yīng)由應(yīng)用場(chǎng)景決定，而非流行詞匯——因?yàn)橛脩舨⒉魂P(guān)心模型是“大”還是“小”，他們關(guān)心的是速度、準(zhǔn)確性、隱私和成本。智能的AI戰(zhàn)略應(yīng)權(quán)衡這些實(shí)際因素，以部署最適合的模型。

隨著企業(yè)不斷擴(kuò)展AI能力，許多企業(yè)會(huì)發(fā)現(xiàn)SLM能夠在邊緣實(shí)現(xiàn)新的可能性，而LLM在復(fù)雜、集中化任務(wù)中仍不可或缺。認(rèn)識(shí)到兩者的應(yīng)用場(chǎng)景并在它們之間找到平衡，是企業(yè)釋放AI全部潛力的關(guān)鍵。

換句話說，成功的AI并非“一刀切”，而是將合適的模型與業(yè)務(wù)需求、基礎(chǔ)設(shè)施和風(fēng)險(xiǎn)狀況匹配。無論企業(yè)需要在數(shù)據(jù)中心實(shí)施LLM，還是在邊緣部署SLM，都必須選擇具備混合AI方法和專業(yè)服務(wù)的合作伙伴，以滿足其在AI旅程中的不同階段。

·申報(bào)人“Art Hu”簡(jiǎn)介：

Art Hu，聯(lián)想集團(tuán)高級(jí)副總裁，首席信息官，方案服務(wù)業(yè)務(wù)集團(tuán)首席技術(shù)和交付官

作為聯(lián)想的全球首席信息官（Global CIO），Art Hu領(lǐng)導(dǎo)著覆蓋整個(gè)企業(yè)的信息技術(shù)組織，負(fù)責(zé)提供信息服務(wù)、管理關(guān)鍵運(yùn)營(yíng)系統(tǒng)，并推動(dòng)聯(lián)想的技術(shù)驅(qū)動(dòng)型轉(zhuǎn)型。憑借他將IT視為業(yè)務(wù)戰(zhàn)略合作伙伴的遠(yuǎn)見卓識(shí)，他推動(dòng)了聯(lián)想從一家以PC為主導(dǎo)的公司成長(zhǎng)為全球領(lǐng)先的技術(shù)解決方案企業(yè)。

這場(chǎng)轉(zhuǎn)型包括構(gòu)建全球技術(shù)平臺(tái)，支持聯(lián)想快速發(fā)展的業(yè)務(wù)，包括電子商務(wù)和游戲業(yè)務(wù)，以及新的“即服務(wù)”（as a Service）業(yè)務(wù)模式，為客戶提供更多選擇和以結(jié)果為導(dǎo)向的交付方式。

除了擔(dān)任全球CIO的角色外，Art于2023年2月被任命為聯(lián)想方案服務(wù)業(yè)務(wù)集團(tuán)（SSG）的首席技術(shù)與交付官（CTDO）。作為CTDO，Art領(lǐng)導(dǎo)一個(gè)新成立的組織，將全球IT、研發(fā)、服務(wù)支持和交付職能整合在一起，以提升聯(lián)想向全球客戶提供創(chuàng)新解決方案的能力。

2023年，Art被《福布斯》評(píng)為值得關(guān)注的CIO之一，并帶領(lǐng)團(tuán)隊(duì)獲得多個(gè)CIO100獎(jiǎng)項(xiàng)，該獎(jiǎng)項(xiàng)表彰通過技術(shù)推動(dòng)創(chuàng)新、轉(zhuǎn)型和業(yè)務(wù)價(jià)值的組織及其IT團(tuán)隊(duì)。2024年，在北京舉辦的企業(yè)智能轉(zhuǎn)型峰會(huì)上的榮獲“杰出CIO獎(jiǎng)”。他的遠(yuǎn)見領(lǐng)導(dǎo)力和卓越戰(zhàn)略能力還為他贏得了面向全球管理人群的媒體C-Suite Insider頒發(fā)的2025年全球“年度CIO”獎(jiǎng)，2025福布斯中國(guó)科技創(chuàng)新人物獎(jiǎng)，以及2025年HotTopics全球名人堂大獎(jiǎng)，及2025年鼎革獎(jiǎng)年度CIO。

★本文由聯(lián)想集團(tuán)CIO Art Hu撰寫并投遞參與“數(shù)據(jù)猿第八屆年度金猿策劃活動(dòng)——2025中國(guó)大數(shù)據(jù)產(chǎn)業(yè)年度優(yōu)秀CIO榜單及獎(jiǎng)項(xiàng)”評(píng)選。