在國(guó)內(nèi)的頭部人工智能大模型研發(fā)隊(duì)伍中，騰訊混元大模型率先采用“混合專家（MoE）”結(jié)構(gòu)，模型參數(shù)規(guī)模突破萬(wàn)億，處于中國(guó)大模型第一梯隊(duì)。
許多人可能不知道，在鍛造“混元”的過(guò)程中，騰訊選擇的是從零開(kāi)始的自研路線。
大模型的鍛造，是一個(gè)在約束條件下高效地把工程、算法、數(shù)據(jù)以及業(yè)務(wù)應(yīng)用整個(gè)串聯(lián)起來(lái)的工作，其對(duì)組織能力的要求非常高。騰訊如何在短時(shí)間內(nèi)搭建出萬(wàn)億參數(shù)規(guī)模的模型？又如何突破算力極限、在訓(xùn)練和推理上下功夫，高效產(chǎn)出多款業(yè)界領(lǐng)先的模型？
2個(gè)多月前的2024年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)給出了答案。在烏鎮(zhèn)峰會(huì)發(fā)布的20項(xiàng)世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)中，由騰訊公司、北京大學(xué)、北京科技大學(xué)共同申報(bào)的關(guān)鍵技術(shù)項(xiàng)目“Angel大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)關(guān)鍵技術(shù)與應(yīng)用”赫然在列。
Angel機(jī)器學(xué)習(xí)平臺(tái)獲選世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)。騰訊 供圖，下同
針對(duì)大模型訓(xùn)練和推理場(chǎng)景，騰訊機(jī)器學(xué)習(xí)平臺(tái)Angel主要包含負(fù)責(zé)訓(xùn)練的AngelPTM和負(fù)責(zé)推理的AngelHCF兩大部分。騰訊機(jī)器學(xué)習(xí)平臺(tái)部總監(jiān)陶陽(yáng)宇近日接受《中國(guó)科學(xué)報(bào)》專訪時(shí)表示，面對(duì)大模型訓(xùn)練這個(gè)復(fù)雜且龐大的任務(wù)，在“數(shù)據(jù)Ready”和“算力Ready”的基礎(chǔ)上，Angel機(jī)器學(xué)習(xí)平臺(tái)提供了一個(gè)“超級(jí)流水線”。
“集團(tuán)作戰(zhàn)”的秘密武器
訓(xùn)練大模型，對(duì)算力的要求是“多多益善”。因此模型訓(xùn)練的算力支撐，往往是成千上萬(wàn)張算力卡的“集團(tuán)軍作戰(zhàn)”。集團(tuán)作戰(zhàn)，首重通信。陶陽(yáng)宇介紹說(shuō)，在解決高速網(wǎng)絡(luò)互聯(lián)方面，騰訊Angel的秘密武器是“星脈網(wǎng)絡(luò)”。
“星脈網(wǎng)絡(luò)是一套軟硬件協(xié)同的高性能網(wǎng)絡(luò)體系，包括自研網(wǎng)絡(luò)設(shè)備、通信協(xié)議、通信庫(kù)以及運(yùn)營(yíng)系統(tǒng)四大關(guān)鍵組件，支持超10萬(wàn)卡大規(guī)模組網(wǎng)。”陶陽(yáng)宇說(shuō)，全鏈路自研硬件、擁塞控制路由算法等不僅提升了網(wǎng)絡(luò)性能，也使成本顯著下降70%。
如果把大模型訓(xùn)練比作一場(chǎng)一級(jí)方程式賽車比賽，“星脈網(wǎng)絡(luò)”就是專為其設(shè)計(jì)的高性能算力網(wǎng)絡(luò)“賽道”。陶陽(yáng)宇告訴記者，騰訊還自研了相應(yīng)的網(wǎng)絡(luò)協(xié)議作為“賽車指揮中心”，它們共同讓高性能計(jì)算集群發(fā)揮最大算力性能。
此外，算力底層架構(gòu)還面臨著“異構(gòu)混合計(jì)算”的難題：如何做好對(duì)不同款型芯片的協(xié)同支持和兼容，將其共同構(gòu)建為一個(gè)強(qiáng)大的算力平臺(tái)。
陶陽(yáng)宇介紹說(shuō)，為了讓參差不齊的算力設(shè)備為同一個(gè)計(jì)算任務(wù)“出力”，一方面星脈網(wǎng)絡(luò)可以通過(guò)兼容不同廠家芯片的通信協(xié)議實(shí)現(xiàn)芯片間的通信，另一方面，他們還提出了一種非均勻的負(fù)載切分混合訓(xùn)練技術(shù)，按照芯片的不同算力對(duì)計(jì)算任務(wù)中的神經(jīng)網(wǎng)絡(luò)進(jìn)行不同層次切分。
“簡(jiǎn)單來(lái)說(shuō)，就是讓算力強(qiáng)的芯片多承載一些計(jì)算任務(wù)；算力弱一些的芯片少承載一些計(jì)算任務(wù)，從而使得整個(gè)計(jì)算任務(wù)沒(méi)有‘木桶短板效應(yīng)’，高效地完成計(jì)算。”陶陽(yáng)宇說(shuō)。
“讓每一滴資源都被榨干”
“算力Ready”的下一步，就是如何“榨干”算力。
“算力組網(wǎng)連起來(lái)后，如何調(diào)度是個(gè)技術(shù)活。”陶陽(yáng)宇說(shuō)，讓大模型訓(xùn)練任務(wù)、推理任務(wù)快速地用上這些算力，正是框架層需要解決的問(wèn)題。
現(xiàn)有的算力條件下，模型達(dá)到TB級(jí)，而現(xiàn)有GPU的顯存只有80GB，參數(shù)存儲(chǔ)存在瓶頸。為減少顯存浪費(fèi)，騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)提出了顯存主存統(tǒng)一視角存儲(chǔ)管理機(jī)制。
“我們通過(guò)統(tǒng)一編存的方式，把顯存跟主存統(tǒng)一打通，使得一個(gè)機(jī)器上能夠放更多的參數(shù)，包括一些中間的臨時(shí)變量，使得整個(gè)效率進(jìn)一步提升。”陶陽(yáng)宇介紹道，Angel機(jī)器學(xué)習(xí)平臺(tái)通過(guò)顯存+主存一體化管理技術(shù)，實(shí)現(xiàn)模型存儲(chǔ)與通信的調(diào)度優(yōu)化，幫助大模型任務(wù)實(shí)現(xiàn)靈活調(diào)度，來(lái)達(dá)到“每一滴資源都被榨干利用”的效果。
此外，Angel機(jī)器學(xué)習(xí)平臺(tái)還通過(guò)模型并行、數(shù)據(jù)并行、流水并行、上下文并行等實(shí)現(xiàn)算力和通信的并行，再加上算子融合等優(yōu)化，整個(gè)訓(xùn)練框架的整體性能得到有效提升。據(jù)測(cè)算，相比微軟的開(kāi)源框架，Angel機(jī)器學(xué)習(xí)平臺(tái)訓(xùn)練性能提升2.6倍，推理速度提升2.3倍。
混元生成的大熊貓。
高效率“擁抱”多模態(tài)
大模型要向通用模型發(fā)展，離不開(kāi)對(duì)多模態(tài)數(shù)據(jù)的處理支持。
“文字、圖片、音頻、視頻等不同模態(tài)數(shù)據(jù)的對(duì)齊融合理解難度很大，怎么把蘊(yùn)藏于其中的知識(shí)提取出來(lái)、融合在一個(gè)大模型里面，我們也做了很多工作。”陶陽(yáng)宇介紹道。
具體來(lái)說(shuō)，他們提出了“自適應(yīng)預(yù)采樣訓(xùn)練技術(shù)”以及“不確定性感知機(jī)制”，來(lái)實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的融合。
其中，“自適應(yīng)預(yù)采樣”技術(shù)，是將訓(xùn)練過(guò)程和采樣動(dòng)作進(jìn)行解耦。“傳統(tǒng)的訓(xùn)練方法需要先采樣、然后訓(xùn)練；訓(xùn)練之后再去采樣、再訓(xùn)練，如此反復(fù)迭代。”陶陽(yáng)宇解釋道，這種串行的流程，訓(xùn)練跟采樣不能分開(kāi)，影響訓(xùn)練效率。而通過(guò)自適應(yīng)預(yù)采樣，模型訓(xùn)練跟預(yù)采樣是分開(kāi)的，訓(xùn)練過(guò)程中可以進(jìn)行下一輪的采樣，這種方式不僅更適于多模態(tài)數(shù)據(jù)融合，還可顯著提升訓(xùn)練效率。
“不確定性感知機(jī)制”則是一種通過(guò)概率表達(dá)形式高效實(shí)現(xiàn)多模態(tài)知識(shí)融合的方式。陶陽(yáng)宇說(shuō)，傳統(tǒng)上對(duì)不同模態(tài)數(shù)據(jù)硬性分類，忽視了知識(shí)可能同時(shí)存在于文字、圖片、語(yǔ)音等多個(gè)模態(tài)數(shù)據(jù)中的因素，這時(shí)通過(guò)一種概率感知的方式將不同模態(tài)知識(shí)進(jìn)行融合，不僅高效，而且節(jié)能降耗。Angel平臺(tái)已支持騰訊混元、廣告等多個(gè)場(chǎng)景的多模態(tài)模型的訓(xùn)練生產(chǎn)。
立足當(dāng)下，面向未來(lái)
據(jù)介紹，基于騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)，騰訊混元大模型目前已經(jīng)構(gòu)建了從5億（0.5B）到700億參數(shù)（70B）以及萬(wàn)億參數(shù)的不同尺寸通用模型和專用領(lǐng)域模型，涵蓋了語(yǔ)言模型、多模態(tài)理解模型和文生圖/視頻模型等。這些模型已被應(yīng)用于700多個(gè)騰訊業(yè)務(wù)場(chǎng)景，展現(xiàn)了其強(qiáng)大的應(yīng)用潛力和價(jià)值。對(duì)外，Angel平臺(tái)通過(guò)騰訊云輸出，廣泛應(yīng)用在大模型、廣告、推薦、社交、金融等領(lǐng)域，服務(wù)30萬(wàn)行業(yè)客戶，助力實(shí)體行業(yè)進(jìn)行數(shù)智化升級(jí)。
騰訊內(nèi)部已有700+業(yè)務(wù)接入混元。
“現(xiàn)在大模型訓(xùn)練已經(jīng)是‘萬(wàn)卡時(shí)代’了，未來(lái)的規(guī)模可能超過(guò)萬(wàn)卡。我們現(xiàn)在的研發(fā)方向之一，就是針對(duì)更大規(guī)模的訓(xùn)練場(chǎng)景，如何提高效率和穩(wěn)定性。”陶陽(yáng)宇展望說(shuō)道。
騰訊機(jī)器學(xué)習(xí)平臺(tái)部總經(jīng)理、混元大模型負(fù)責(zé)人王迪表示，大模型訓(xùn)練存在“線性加速比”的問(wèn)題，從萬(wàn)卡到十萬(wàn)卡，需要考慮的不光是訓(xùn)練規(guī)模的問(wèn)題，還需要考慮交換機(jī)、路由器等通信能力方面的問(wèn)題，“這是一個(gè)很值得持續(xù)探索和實(shí)踐的方向”。
與此同時(shí)，陶陽(yáng)宇還披露，目前他們還在探索跨數(shù)據(jù)中心的大規(guī)模訓(xùn)練技術(shù)。
“我們已經(jīng)有了初步探索，在相隔120公里的兩座數(shù)據(jù)中心之間，我們完成了千卡規(guī)模的訓(xùn)練任務(wù)，其效率能達(dá)到單集群的98%左右，從邏輯上看就好像一個(gè)集群。”他說(shuō)，這其中會(huì)用到許多優(yōu)化技術(shù)，“非常有趣”。
陶陽(yáng)宇還表示，在更多支持異構(gòu)算力特別是國(guó)產(chǎn)芯片方面，未來(lái)仍有發(fā)力點(diǎn)。“如何把這些異構(gòu)芯片更大規(guī)模地集中起來(lái)去做訓(xùn)練和推理，我們已經(jīng)有些探索經(jīng)驗(yàn)了，接下來(lái)要做更靈活、更有效的國(guó)產(chǎn)化支持。”
本文鏈接：揭秘“騰訊混元”誕生背后的“生產(chǎn)車間”http://www.lensthegame.com/show-11-16632-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。