大語(yǔ)言模型存在天花板。
“通向通用人工智能的道路雖然依然艱難，但大語(yǔ)言模型為AI產(chǎn)業(yè)的發(fā)展打開(kāi)一條通向通用AI寬廣的道路。”1月16日，中文認(rèn)知大模型企業(yè)北京智譜華章科技有限公司（以下簡(jiǎn)稱(chēng)“智譜AI”）舉辦的2024年度技術(shù)開(kāi)放日上，中國(guó)科學(xué)院院士、清華大學(xué)人工智能研究院院長(zhǎng)、清華大學(xué)計(jì)算機(jī)系教授張鈸表示，大模型提供了發(fā)展通用硬件和軟件的機(jī)會(huì)。
傳統(tǒng)AI范式利用特定的算法和規(guī)則完成特定任務(wù)，生成式AI范式是基于一種稱(chēng)為基礎(chǔ)模型的通用模型，通過(guò)廣泛文本數(shù)據(jù)的訓(xùn)練，在開(kāi)領(lǐng)域（open domain，開(kāi)域）內(nèi)可以生成類(lèi)似于人類(lèi)水平的高質(zhì)量文本、圖像和其他內(nèi)容，通過(guò)微調(diào)等方式可適配于廣泛的下游任務(wù)。生成式AI向通用AI邁出一步，第二步是AI智能體，第三步則是具身智能。張鈸表示，GPT-4只能和數(shù)字世界打交道，我們最終必須跟物理世界打交道，這就需要機(jī)器人，也就是具身智能。具身智能的提出有助于構(gòu)造完整的智能體，讓智能體既有感知，又有思考。“不一定要做人形機(jī)器人，因?yàn)楹芏鄷r(shí)候只要用手或腳就可以了，不需要把硬件搞得非常復(fù)雜。”他主張以一定的硬件為基礎(chǔ)進(jìn)行強(qiáng)化學(xué)習(xí)研究。
生成式AI大模型具備三大能力和一大缺點(diǎn)，即強(qiáng)大的生成能力、強(qiáng)大的遷移（推廣）能力、強(qiáng)大的交互能力和幻覺(jué)。強(qiáng)大的語(yǔ)言生成能力可基于上下文和過(guò)去的對(duì)話(huà)，在開(kāi)領(lǐng)域能夠生成多樣性令人驚訝的類(lèi)似人類(lèi)的連貫文本。強(qiáng)大的遷移能力可在代理任務(wù)上訓(xùn)練一個(gè)模型，通過(guò)細(xì)調(diào)適配到感興趣的下游任務(wù)。強(qiáng)大的交互能力包括與人類(lèi)的交互（人機(jī)交互）、機(jī)器之間的交互（多智能體）、與環(huán)境的交互（具身智能），通過(guò)交互在不同專(zhuān)業(yè)和科學(xué)的測(cè)試基準(zhǔn)上表現(xiàn)出人類(lèi)水平的智能。而針對(duì)幻覺(jué)，大模型有時(shí)會(huì)生成看似合理的編造或無(wú)意義的答案。
人工智能有助于推動(dòng)經(jīng)濟(jì)增長(zhǎng)，建筑、維護(hù)、安裝等行業(yè)難以被自動(dòng)化和智能化，但行政管理等白領(lǐng)工作或被AI替代。AI可提高大多數(shù)人類(lèi)工作的質(zhì)量和效率，但被AI完全替代的工作仍是少數(shù)。之所以AI還不能替代大多數(shù)工作，是因?yàn)榇竽Ｐ瓦€存在難以逾越的天花板。張鈸表示，大模型的所有工作都是外部提示而非主動(dòng)，并且在外部提示的情況下利用概率預(yù)測(cè)完成任務(wù)，而人類(lèi)的工作依靠?jī)?nèi)部意圖驅(qū)動(dòng)。大語(yǔ)言模型生成語(yǔ)言與人類(lèi)語(yǔ)言生成只是行為上的相似性，而內(nèi)在機(jī)制根本不同，大語(yǔ)言模型存在不自知、質(zhì)量不可控、不可信、不魯棒等天花板，給出不同的提示詞，大模型會(huì)輸出不同的回答。大模型也會(huì)產(chǎn)生幻覺(jué)，“不管模型多么大，幻覺(jué)這個(gè)缺點(diǎn)一直存在。”
他提出，要發(fā)展第三代人工智能，必須建立可解釋和魯棒的人工智能理論和方法，發(fā)展安全、可控、可信、可靠、可擴(kuò)展的AI技術(shù)，推動(dòng)AI的創(chuàng)新應(yīng)用和產(chǎn)業(yè)化。如果不能建立可解釋和魯棒的人工智能理論，AI技術(shù)是不可靠的，AI技術(shù)永遠(yuǎn)難以令人相信。“到現(xiàn)在為止，這個(gè)理論還沒(méi)有建立起來(lái)，這也是人工智能之所以發(fā)展緩慢和曲折的原因。理論建立不起來(lái)，是因?yàn)槭艿饺齻€(gè)特定限制，過(guò)去只能在特定領(lǐng)域利用特定模型解決特定任務(wù)，這怎么可能建立通用理論？大模型的出現(xiàn)為建立這個(gè)理論提供了可能性。”
張鈸表示，大模型為我們提供了發(fā)展通用硬件和軟件的機(jī)會(huì)。人工智能正進(jìn)入穩(wěn)步發(fā)展的階段，對(duì)各行各業(yè)有巨大影響，必須抓住機(jī)遇發(fā)展人工智能產(chǎn)業(yè)。但仍有大量不確定性，因?yàn)锳I不可預(yù)測(cè)、不可控。全世界對(duì)大模型強(qiáng)大的生成能力、遷移能力、交互能力感到驚訝，卻無(wú)法解釋?zhuān)荒軞w結(jié)為“涌現(xiàn)”。所以為了人工智能產(chǎn)業(yè)的健康發(fā)展，必須將科學(xué)研究、技術(shù)創(chuàng)新、產(chǎn)業(yè)發(fā)展結(jié)合起來(lái)。
本文鏈接：張鈸院士：大模型存在難以逾越的天花板http://www.lensthegame.com/show-11-2306-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。