大模型走出“象牙塔”，這項技術(shù)將扮演關(guān)鍵角色

2024-01-03 16:03:45 來源：中國科學(xué)報

觀看：261

ChatGPT將AI帶入了大模型時代，開啟了IT技術(shù)新紀(jì)元。一時間，大模型領(lǐng)域的技術(shù)創(chuàng)新有如雨后春筍、不斷涌現(xiàn)，其中關(guān)注度最高的當(dāng)屬大模型本身。

當(dāng)下大模型領(lǐng)域上演的“百模大戰(zhàn)”方興未艾，其本質(zhì)上是為了搶占大模型時代的入口，可以稱之為“魔派”。次之為，模型的開發(fā)平臺旨在為大模型時代提供訓(xùn)練、精調(diào)、優(yōu)化，數(shù)據(jù)的清洗、知識庫的生成等功能，它們意圖成為大模型時代的“賣鏟人”，可稱之為“鏟派”。此外，作為大模型訓(xùn)練的根基，GPU、NPU、DPU等各種芯片技術(shù)的研究自然也是熱點，尤其是在英偉達一家獨大之際，如何打破壟斷，技術(shù)扎到根？這一派可稱之為“根派”。

在“魔派”“鏟派”和“根派”諸家爭鳴、群雄逐鹿之時，我們也注意到更多人開始關(guān)注大模型的工程落地技術(shù)，如何讓大模型走出“象牙塔”、走進千行百業(yè)，走出“吟詩作對”、走向工程實踐？這其中，關(guān)于GPU的虛擬化技術(shù)研究最值得關(guān)注。

近日，在中國開源大會上，上海交通大學(xué)推出GPU虛擬化統(tǒng)一框架openCoDA，呼吁產(chǎn)學(xué)研聯(lián)合構(gòu)建統(tǒng)一開放的國產(chǎn) GPU 虛擬化生態(tài)，并率先在華為的訓(xùn)推超融合一體機 FusionCube A3000上進行了工程實踐，給人留下了深刻的印象。

虛擬化并非新興技術(shù)，早在CPU算力時代就是解決IT技術(shù)從創(chuàng)新到工程落地的關(guān)鍵一環(huán)。那么在大模型時代，虛擬化技術(shù)又將扮演什么角色？發(fā)揮什么作用？要回答這些問題，我們首先要回顧一下虛擬化技術(shù)，以及虛擬化在CPU時代的精彩故事。

一．什么是虛擬化？CPU虛擬化是如何走向統(tǒng)一的？

提到虛擬化，首先自然想到的是CPU虛擬化。

20世紀(jì)70年代，微型計算機技術(shù)飛速發(fā)展，但在x86時代早期，市場并沒有虛擬化需求。隨著半導(dǎo)體技術(shù)的發(fā)展，大量的廉價硬件被推向市場，隨之帶來了諸如利用率不足、管理成本攀升、容易受到攻擊等各種問題。為了解決上述問題，人們開始研究CPU虛擬化。

CPU虛擬化可以用單個CPU模擬多CPU并行，顯著提高計算機工作效率。此外借助虛擬化技術(shù)可以擴大硬件容量、簡化軟件配置過程、提高系統(tǒng)可靠性。自20世紀(jì)90年代到2010年代的20年間，各廠商紛紛投入巨大的資源和人力，相繼推出了不同的CPU虛擬化產(chǎn)品。在這個過程中，出現(xiàn)了資源重復(fù)投入的“亂象”。直到內(nèi)核虛擬機(Kernel-based Virtual Machine, KVM)的出現(xiàn)，CPU虛擬化從百家爭鳴逐漸走向統(tǒng)一開放。

KVM最初是由Qumranet公司開發(fā), 于2007年被紅帽收購。作為Linux內(nèi)核的一個集成模塊，其源碼包含在Linux內(nèi)核源代碼樹中，并在Linux社區(qū)以GPL許可協(xié)議開源。由于KVM直接融入Linux內(nèi)核使其天然支持Linux, 且具有更簡單、更輕量、更靈活的優(yōu)點，IBM、紅帽、惠普、Intel等廠商聯(lián)合起來成立了虛擬化聯(lián)盟，大力推動KVM市場化，使得KVM統(tǒng)一了CPU時代虛擬化。

圖1. KVM終結(jié)了CPU x86時代百家爭鳴、重復(fù)投入的“亂象”

二．AI大模型時代，虛擬化的需求再次迸發(fā)

智能時代，大模型橫空出世，以GPU為代表的XPU硬件構(gòu)成了各類大模型應(yīng)用的底層算力。面對動輒上億參數(shù)量的大模型訓(xùn)練和推理任務(wù)，傳統(tǒng)的GPU獨占的使用方式已無法滿足如此大規(guī)模的算力需求，因此虛擬化的需求再次出現(xiàn)，人們開始將目光轉(zhuǎn)向GPU虛擬化。

一項來自艾瑞咨詢的調(diào)查報告顯示，中國AIGC產(chǎn)業(yè)的規(guī)模逐年攀升，2023年中國AIGC產(chǎn)業(yè)規(guī)模約為143億元，隨后將進入大模型生態(tài)培育期。預(yù)計到2030年，中國AIGC產(chǎn)業(yè)規(guī)模有望突破萬億，達到11440億元。

圖2. 2022-2030年中國AIGC產(chǎn)業(yè)規(guī)模。圖片來源：艾瑞咨詢《2023年中國AIGC產(chǎn)業(yè)全景報告》

大模型的參數(shù)量日益增長甚至達到萬億級別，對算力的需求也與日俱增。《2022-2023中國人工智能計算力發(fā)展評估報告》顯示，2021年中國智能算力規(guī)模達155.2 EFLOPS（FP16）, 預(yù)計到2026年中國智能算力規(guī)模將達1271.4 EFLOPS，年復(fù)合增長率預(yù)計高達52.3%。

圖3. 我國智能算力發(fā)展?fàn)顩r。圖片來源：國家信息中心《智能計算中心創(chuàng)新發(fā)展指南》

然而面對大模型對底層算力龐大需求的現(xiàn)狀，以GPU為代表的XPU硬件算力卻嚴重不足。

其主要原因有三。一是GPU硬件昂貴，配備8張英偉達A100顯卡的服務(wù)器價格高達上百萬元；二是英偉達高算力GPU等硬件獲取困難；三是現(xiàn)有的GPU資源利用率極低，在推理任務(wù)場景，大部分AI業(yè)務(wù)采用獨占GPU的方式使用算力，導(dǎo)致GPU利用率只有10%~30%。

因此，在當(dāng)前GPU硬件獲取困難且昂貴的情況下，通過GPU虛擬化技術(shù)提高GPU資源利用率是解決算力需求的有效手段。

GPU虛擬化技術(shù)演進路線大致可以分為三個階段，第一階段是傳統(tǒng)“一虛多”虛擬化，指將物理GPU按照固定比例切分，例如按照2的指數(shù)次方切分為多個虛擬vGPU。第二階段是內(nèi)核劫持虛擬化，是指將物理GPU從算力和顯存兩個維度進行切分，相比傳統(tǒng)虛擬化，內(nèi)核劫持虛擬化可以按照1%的細粒度將物理GPU切分為多個vGPU。第三個階段是GPU資源池化，用戶可以通過網(wǎng)絡(luò)遠程調(diào)用GPU資源，從而在軟件層面實現(xiàn)vGPU動態(tài)切分。

圖4. GPU虛擬化的技術(shù)演進路線及典型技術(shù)示意圖

此外，當(dāng)大模型普遍具有萬億規(guī)模的參數(shù)量，訓(xùn)練一個大模型的時間通常需要幾十甚至上百天，如此長時間訓(xùn)練對系統(tǒng)可靠性提出了極高的要求。獨占GPU的使用方式無法抵御突發(fā)的硬件故障，一旦GPU發(fā)生故障就會導(dǎo)致整個訓(xùn)練任務(wù)中斷。但通過將物理GPU虛擬化成算力資源池，能夠?qū)崿F(xiàn)對底層硬件故障的隔離，可有效降低單個GPU故障導(dǎo)致模型訓(xùn)練及推理業(yè)務(wù)中斷的風(fēng)險，進而提高了大模型業(yè)務(wù)的穩(wěn)定性和系統(tǒng)可靠性。

GPU虛擬化的另一個重要能力是支持無損熱遷移。

在對GPU服務(wù)器設(shè)備做維護時，傳統(tǒng)直通式GPU上運行的AI業(yè)務(wù)進程必須中斷；而且在對活躍的AI業(yè)務(wù)跨設(shè)備遷移到高性能GPU服務(wù)器時，也會面臨大量的數(shù)據(jù)搬運工作。但通過GPU虛擬化提供的無損熱遷移能力，在對物理GPU服務(wù)器下線維護前，可以將虛擬vGPU的運行狀態(tài)保存下來，并快速將vGPU遷移到正常運行的服務(wù)器，實現(xiàn)業(yè)務(wù)不中斷運行。管理員也可以根據(jù)實時AI負載，將正在活躍運行的vGPU實時不中斷地遷移到更高性能的服務(wù)器上做業(yè)務(wù)加速，從而優(yōu)化不同活躍度vGPU之間的資源分配。另外，借助無損熱遷移能力，還可以動態(tài)調(diào)整分配到不同節(jié)點的硬件資源份額，從而均衡使用各節(jié)點算力。

圖5.無損熱遷移 (a)保障設(shè)備維護時業(yè)務(wù)不間斷; (b)實現(xiàn)不同節(jié)點之間負載均衡

此外，通過GPU虛擬化技術(shù)可以顯著加快AI大模型訓(xùn)練及業(yè)務(wù)部署上線速度。

通過GPU虛擬化技術(shù)，可以突破單節(jié)點GPU卡資源上限，整合碎片化算力資源，提供跨節(jié)點的多卡能力，進而大幅縮短模型訓(xùn)練周期。GPU虛擬化平臺也可以創(chuàng)建標(biāo)準(zhǔn)化的虛擬vGPU配置模板，包含預(yù)定義的計算、內(nèi)存和存儲等資源，用戶可以基于預(yù)設(shè)的模板一鍵式部署，快速在虛擬vGPU上部署并上線業(yè)務(wù)。

在對資源擴縮容和異構(gòu)算力兼容方面，相比傳統(tǒng)直通式GPU，虛擬化GPU也有著明顯優(yōu)勢。

虛擬化技術(shù)可以動態(tài)添加或刪除虛擬vGPU來支持彈性擴縮容需求，當(dāng)需要增加AI業(yè)務(wù)時，可以簡單地添加更多vGPU來擴展資源能力，無需購買新的物理GPU；當(dāng)需求減少時，也可以動態(tài)回收vGPU以節(jié)省成本。其次，虛擬化技術(shù)也可以屏蔽底層異構(gòu)GPU硬件的差異，給用戶更多的硬件選擇，避免形成廠商依賴，進而更好地平衡性能和成本。

三．終結(jié)GPU虛擬化亂象的利器

由于GPU虛擬化技術(shù)能有效解決大模型時代GPU資源利用率不足、系統(tǒng)可靠性、業(yè)務(wù)快速上線、資源彈性動態(tài)拓展和異構(gòu)算力兼容等方面的眾多問題，國內(nèi)外相關(guān)廠商紛紛入局并投入大量的人力和資源，相繼推出了自研的GPU虛擬化產(chǎn)品。

在傳統(tǒng)的“一虛多”GPU虛擬化方面，上海交通大學(xué)教授戚正偉團隊與Intel合作在開源GPU虛擬化上面做了一系列相關(guān)成果（如gScale和gMig）；英偉達也提出了基于SR-IOV的Multi-Instance GPU(MIG) 閉源虛擬化方案。在虛擬化資源復(fù)用方面，當(dāng)前業(yè)界的實現(xiàn)方式大致可以分為兩類，其一是基于時間片調(diào)度的方式，典型的如阿里云的cGPU和騰訊云的qGPU方案；其二是基于空間復(fù)用的并行執(zhí)行方案，如英偉達的MPS方案。

然而，目前各廠商在GPU虛擬化上“各自為陣”，也導(dǎo)致了不同廠商的虛擬化產(chǎn)品對不同硬件的兼容性差，產(chǎn)生“七國八治”的適配問題。

面對當(dāng)前AI大模型時代GPU虛擬化“各自為陣、七國八治”的亂象，戚正偉團隊在中國開源大會上提出的openCoDA統(tǒng)一框架是一個可行的解決方案。該框架包含統(tǒng)一標(biāo)準(zhǔn)化接口、虛擬化統(tǒng)一框架(UVF)、以及開放自主的協(xié)議棧, 其中UVF是其核心組件。

圖6. openCoDA整體框架

具體來講，UVF提供算力切分、彈性收縮、資源聚合等虛擬化核心能力，向上提供統(tǒng)一的用戶態(tài)驅(qū)動接口，實現(xiàn)國產(chǎn)南北向生態(tài)解耦；在軟件上屏蔽異構(gòu)硬件的差異，硬件廠商無需做額外軟件適配的工作。各廠商可以根據(jù)開源框架，結(jié)合XPU硬件特點進行優(yōu)化，挖掘各自硬件優(yōu)勢。

四．“工程派”崛起，大模型時代虛擬化技術(shù)再煥新生

大模型技術(shù)百花齊放的時代，以虛擬化為代表的、面向工程實踐落地的“工程派”將又一次煥發(fā)出勃勃生機。

當(dāng)前中國硬件算力面臨封鎖的困難時期，產(chǎn)學(xué)研各界更應(yīng)該聯(lián)合起來，構(gòu)建面向國產(chǎn)GPU虛擬化的開源生態(tài)，并通過核心組件開源，避免重復(fù)投入、避免廠商鎖定，形成標(biāo)準(zhǔn)化統(tǒng)一接口，挖掘硬件性能形成差異化優(yōu)勢，真正解決大模型從技術(shù)創(chuàng)新到工程應(yīng)用的最后一公里問題。

（本文作者系CCF分布式計算與系統(tǒng)專委會委員，《中國科學(xué)報》記者趙廣立整理）

本文鏈接：大模型走出“象牙塔”，這項技術(shù)將扮演關(guān)鍵角色http://www.lensthegame.com/show-11-1956-0.html

聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。

上一篇：英國國王因它喪命！揭秘恐怖片吸血怪物的“來頭”

下一篇：擁抱2024年，如何做出正確的投資決策？

大模型走出“象牙塔”，這項技術(shù)將扮演關(guān)鍵角色

熱門資訊

推薦資訊

科學(xué)最熱文章