近日，百度智能云成功點(diǎn)亮昆侖芯三代萬(wàn)卡集群，這也是國(guó)內(nèi)首個(gè)正式點(diǎn)亮的自研萬(wàn)卡集群。據(jù)悉，百度智能云將進(jìn)一步點(diǎn)亮3萬(wàn)卡集群。這一重大突破標(biāo)志著百度在人工智能算力領(lǐng)域邁出了堅(jiān)實(shí)的一步，不僅為百度自身的技術(shù)發(fā)展提供了強(qiáng)大動(dòng)力，也為整個(gè)中國(guó)科技界、互聯(lián)網(wǎng)行業(yè)和AI行業(yè)帶來(lái)了新的發(fā)展機(jī)遇。

萬(wàn)卡集群優(yōu)勢(shì)凸顯，助力算力突破與成本優(yōu)化

萬(wàn)卡集群的建成不僅為百度帶來(lái)了強(qiáng)大的算力支持，還推動(dòng)了模型降本的趨勢(shì)。在過(guò)去一年中，整個(gè)行業(yè)都在努力降低大模型的使用成本，而算力緊張是導(dǎo)致成本居高不下的重要因素之一。百度通過(guò)自研芯片和大規(guī)模集群的建設(shè)，不僅解決了自身算力供應(yīng)的問(wèn)題，還為整個(gè)行業(yè)提供了新的思路和方向。

?從算力上看，超大規(guī)模并行計(jì)算能力可實(shí)現(xiàn)訓(xùn)練效率躍升，萬(wàn)卡集群可將千億參數(shù)模型的訓(xùn)練周期大幅降低，滿足AI原生應(yīng)用快速迭代的需求。同時(shí)也能支持更大模型與復(fù)雜任務(wù)和多模態(tài)數(shù)據(jù)，支撐Sora類應(yīng)用的開發(fā)。此外，萬(wàn)卡集群能夠支持多任務(wù)并發(fā)能力，通過(guò)動(dòng)態(tài)資源切分，單集群可同時(shí)訓(xùn)練多個(gè)輕量化模型，通過(guò)通信優(yōu)化與容錯(cuò)機(jī)制減少算力浪費(fèi)，實(shí)現(xiàn)訓(xùn)練成本指數(shù)級(jí)下降。

?隨著國(guó)產(chǎn)大模型的興起，萬(wàn)卡集群逐漸從“單任務(wù)算力消耗”到“集群效能最大化”過(guò)渡，通過(guò)模型優(yōu)化、有效訓(xùn)練率提升、動(dòng)態(tài)資源分配等手段，智能調(diào)度任務(wù)，將訓(xùn)練、微調(diào)、推理任務(wù)混合部署，從而提升集群綜合利用率，降低單位算力成本。

百舸賦能，全方位提升集群性能與穩(wěn)定性

過(guò)去，多芯混訓(xùn)和激增的故障率等難題，成為萬(wàn)卡集群部署過(guò)程中的巨大挑戰(zhàn)。而24年9月升級(jí)的百度百舸AI異構(gòu)計(jì)算平臺(tái)4.0（以下簡(jiǎn)稱“百舸平臺(tái)”），在萬(wàn)卡集群的建設(shè)中發(fā)揮了至關(guān)重要的作用。

?首先，突破硬件擴(kuò)展性瓶頸，如卡間互聯(lián)的拓?fù)湎拗疲苊馔ㄐ艓挸蔀槠款i；同時(shí)，圍繞芯片及集群功耗，基于萬(wàn)卡規(guī)模常規(guī)方案功耗可達(dá)十兆瓦或更高，采用創(chuàng)新性散熱方案，從而解決萬(wàn)卡集群的能效與散熱問(wèn)題；完善模型的分布式訓(xùn)練優(yōu)化，采用高效并行化任務(wù)切分策略，訓(xùn)練主流開源模型的集群MFU提升至58%；在提升穩(wěn)定性方面，提供容錯(cuò)與穩(wěn)定性機(jī)制，避免由于單卡故障率隨規(guī)模指數(shù)上升而造成的萬(wàn)卡集群有效性大幅下降，保障有效訓(xùn)練率達(dá)到98%；最后，針對(duì)機(jī)間通信帶寬需求，建設(shè)超大規(guī)模HPN高性能網(wǎng)絡(luò)，優(yōu)化拓?fù)浣Y(jié)構(gòu)，從而降低通信瓶頸，帶寬有效性達(dá)到90%以上。

?百舸4.0構(gòu)建了十萬(wàn)卡級(jí)別的超大規(guī)模HPN高性能網(wǎng)絡(luò)，針對(duì)跨地域通信中的高延遲問(wèn)題，通過(guò)優(yōu)化的拓?fù)浣Y(jié)構(gòu)、多路徑負(fù)載均衡策略及通信策略，實(shí)現(xiàn)了幾十公里的跨地域通信。在通信效率上，百舸通過(guò)先進(jìn)的擁塞控制算法和集合通信算法策略，實(shí)現(xiàn)了完全無(wú)阻塞，并通過(guò)10ms級(jí)別超高精度網(wǎng)絡(luò)監(jiān)控，保障了網(wǎng)絡(luò)的穩(wěn)定性。

在多芯混訓(xùn)方面，百舸展現(xiàn)了強(qiáng)大的資源整合能力。它能夠?qū)⒉煌攸c(diǎn)、不同規(guī)模的異構(gòu)算力進(jìn)行統(tǒng)一管理，構(gòu)建起多芯資源池。當(dāng)業(yè)務(wù)提交工作負(fù)載時(shí)，百舸可自動(dòng)進(jìn)行芯片選型，依據(jù)集群剩余的芯片資源，選擇性價(jià)比最高的芯片來(lái)運(yùn)行任務(wù)，從而最大化地利用集群的剩余資源，實(shí)現(xiàn)高達(dá)95%的萬(wàn)卡多芯混合訓(xùn)練效能。

此外，在集群穩(wěn)定性方面，百舸提供了全面的故障診斷手段，能夠快速自動(dòng)偵測(cè)到導(dǎo)致訓(xùn)練任務(wù)異常的節(jié)點(diǎn)故障。百度自研的BCCL（百度集合通信庫(kù)）能夠快速定位故障并提供自動(dòng)化的容錯(cuò)能力，將故障恢復(fù)時(shí)間從小時(shí)級(jí)降低到分鐘級(jí)，極大地提高了集群的可靠性和可用性。

?日前，花旗銀行發(fā)布研報(bào)表示，DeepSeek、百度等中國(guó)模型展現(xiàn)出高效和低成本優(yōu)勢(shì)，將有助于加速全球AI應(yīng)用開發(fā)，并在全球引發(fā)更多技術(shù)創(chuàng)新，推動(dòng)2025年人工智能應(yīng)用的拐點(diǎn)。中國(guó)工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民也表示，當(dāng)下構(gòu)建國(guó)產(chǎn)自主萬(wàn)卡系統(tǒng)充滿挑戰(zhàn)，但"至關(guān)重要"。