GPT-5攤上大問(wèn)題：燒了數(shù)億美金后OpenAI發(fā)現(xiàn)牛吹早了
財(cái)聯(lián)社12月23日訊(編輯 馬蘭)OpenAI的GPT項(xiàng)目一直是業(yè)界最為關(guān)注的話題，然而在該公司近期熱火朝天的宣傳之中，備受矚目的GPT-5卻消失無(wú)蹤。
去年11月，OpenAI首席執(zhí)行官奧爾特曼曾強(qiáng)調(diào)，不會(huì)在2024年推出任何名為GPT-5的模型。但知情人士透露，OpenAI最大投資者微軟曾預(yù)期在2024年年中時(shí)看到該模型。
有人還稱，距今為止，該項(xiàng)目已經(jīng)籌備超過(guò)18個(gè)月，總體而言，這個(gè)代號(hào)為Orion的未來(lái)GPT-5模型的氣氛已不太友好。該模型已經(jīng)進(jìn)行了至少兩次大規(guī)模訓(xùn)練，每次訓(xùn)練都需要數(shù)月時(shí)間來(lái)處理大量數(shù)據(jù)，但每次訓(xùn)練后都會(huì)出現(xiàn)新的問(wèn)題。
了解該項(xiàng)目的人士還指出，Orion目前充其量只比OpenAI的公開(kāi)模型要好一些，距離該公司所謂的“重大飛躍”還很遙遠(yuǎn)，其也無(wú)法說(shuō)服投資人投入目前的巨大成本。據(jù)估計(jì)，該模型為期六個(gè)月的訓(xùn)練僅在計(jì)算成本方面就“燒”了約5億美元。
危險(xiǎn)的是，OpenAI在10月的最新估值達(dá)到1570億美元，受到了投資者的繼續(xù)追捧，但分析人士指出這一估值很大程度上基于奧爾特曼的樂(lè)觀預(yù)測(cè)，即GPT-5將在各類學(xué)科和任務(wù)上表現(xiàn)出博士水準(zhǔn)，較目前GPT-4的高中生水平實(shí)現(xiàn)質(zhì)的飛躍。
這意味著如果GPT-5不能在一個(gè)合理的時(shí)間內(nèi)給出一個(gè)合理的亮相，那么OpenAI的繁榮可能將如泡沫般被刺破，成為反噬噩夢(mèng)的開(kāi)始。
數(shù)據(jù)“燃”盡
OpenAI原本的想法是，讓GPT-5有能力解鎖新的科學(xué)發(fā)現(xiàn)，并完成諸如預(yù)約或航班預(yù)定等類人類的決策行為，且其犯錯(cuò)的概率更小，或者至少對(duì)AI幻覺(jué)有所警惕。
但設(shè)想是設(shè)想，內(nèi)部人士透露OpenAI的預(yù)期有些過(guò)于樂(lè)觀，僅在數(shù)據(jù)問(wèn)題上，GPT-5就面臨著難以想象的挫折。
人工模型在訓(xùn)練過(guò)程中需要不斷測(cè)試，可能持續(xù)很長(zhǎng)一段時(shí)間。在此期間，模型將輸入數(shù)萬(wàn)億個(gè)單詞片段，即所謂的token。而未來(lái)的人工智能模型吞噬token的數(shù)量將會(huì)是目前模型的十倍，甚至更多。
GPT-4的訓(xùn)練就使用了大約13萬(wàn)億個(gè)token，按照一千人每天協(xié)5000個(gè)單詞計(jì)算，這種規(guī)模的團(tuán)隊(duì)在幾個(gè)月才能生產(chǎn)十億個(gè)token，而其花費(fèi)據(jù)奧爾特曼稱超過(guò)1億美元。
因此GPT-5模型的最關(guān)鍵問(wèn)題在于：數(shù)據(jù)不足。此前的模型使用的是新聞文章、社交媒體貼文和科學(xué)論文，但研究人員透露，公共互聯(lián)網(wǎng)上的數(shù)據(jù)已經(jīng)不夠，他們需要更多樣且更高質(zhì)量的數(shù)據(jù)，來(lái)讓GPT-5變得更加強(qiáng)大。
難以調(diào)頭
OpenAI目前的解決方案是從頭開(kāi)始創(chuàng)建數(shù)據(jù)，如招聘人員編寫新的軟件代碼或解決數(shù)學(xué)問(wèn)題，以供Orion學(xué)習(xí)。這些員工之中部分是軟件工程師，部分是數(shù)學(xué)家，必要時(shí)他們還需要向Orion解釋自己的工作。
還有一個(gè)方法是讓現(xiàn)有的人工智能創(chuàng)造數(shù)據(jù)來(lái)訓(xùn)練Orion，比如OpenAI的o1。但研究人員又指出，用人工智能產(chǎn)出的數(shù)據(jù)喂給人工智能通常會(huì)引發(fā)故障或?qū)е聼o(wú)意義的答案。
總之，在讓Orion變成名副其實(shí)的GPT-5的道路上，OpenAI已經(jīng)感到心累，在實(shí)現(xiàn)質(zhì)的飛躍之前，人工智能先倒在了量的累積上。更無(wú)奈的是，OpenAI今年持續(xù)的人才流失加深了這一困境。
從首席科學(xué)家Ilya Sutskever到首席技術(shù)官M(fèi)ira Murati再到上周四辭職的知名研究員Alec Radford，OpenAI的各路大神紛紛離巢，這為“難產(chǎn)”的GPT-5再添一層濃重的悲觀色彩。
遲遲看不到結(jié)果的GPT-5也難免被OpenAI內(nèi)部的商業(yè)化項(xiàng)目，如Sora，爭(zhēng)奪走有限的計(jì)算資源。這同時(shí)也是一種警告，即Orion沒(méi)有多少?gòu)念^再來(lái)的機(jī)會(huì)，因?yàn)镺penAI已經(jīng)明確了其想要盈利的雄心。
本文鏈接：GPT-5攤上大問(wèn)題：燒了數(shù)億美金后OpenAI發(fā)現(xiàn)牛吹早了http://www.lensthegame.com/show-2-9897-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。