中國人工智能公司深度求索(DeepSeek)在大模型上取得的成功,目前已經(jīng)深深撼動(dòng)了硅谷同行們的信心。
1月23日,在美國匿名職場(chǎng)論壇TeamBlind上,一名Meta公司員工發(fā)布涉深度求索的帖子“Meta生成式人工智能部門陷入恐慌”,引起廣泛討論。該員工在文中稱,從深度求索發(fā)布DeepSeek-V3開始,就已經(jīng)讓Meta的Llama 4在各項(xiàng)測(cè)試中處于落后,“更糟糕的是,這家不知名中國公司僅為此花費(fèi)了550萬美元。”
550萬美元是什么概念呢?“Meta生成式AI部門里的每位‘領(lǐng)導(dǎo)’的薪資都超過了這個(gè)數(shù)字”,該Meta員工稱,“而我們卻有幾十位這樣的領(lǐng)導(dǎo),我根本無法想象該如何向公司高層證明部門目前高額成本的合理性。”
該員工透露,目前Meta的工程師們正在瘋狂研究分析DeepSeek的成功,并試圖從中復(fù)制任何能復(fù)制到的東西,這不是夸張。“然而,當(dāng)DeepSeek-R1發(fā)布時(shí),事情變得更加可怕了”,該員工表示雖然不能透露太具體,但有些事情很快將會(huì)公開。
1月20日,深度求索發(fā)布DeepSeek-R1開源大模型,對(duì)標(biāo)OpenAI o1正式版。南華早報(bào)
最后,該員工反思稱,Meta的生成式AI部門本應(yīng)該是一個(gè)以工程為重點(diǎn)的小型組織,但因?yàn)楹芏嗳硕枷脒M(jìn)來分一杯羹,人為膨脹了組織的規(guī)模,到最后人人都是輸家。
目前不清楚該員工所指具體為何,是否暗示該公司生成式AI部門面臨的調(diào)整或者其他情況的可能性,這還需要進(jìn)一步觀察,不過Meta在大模型中競(jìng)爭中腳步放緩已是事實(shí)。
公開信息顯示,帖子中提及的DeepSeek-V3于去年12月26日對(duì)外發(fā)布,該模型一經(jīng)發(fā)布就站上了開源模型No.1的位置。根據(jù)當(dāng)時(shí)深度求索公布的技術(shù)報(bào)告數(shù)據(jù),Meta公司的Llama 3.1-405B僅在大規(guī)模多任務(wù)理解數(shù)據(jù)集MMLU-Pro一項(xiàng),接近DeepSeek-V3水平,其余多項(xiàng)幾乎都不及八成,甚至在算法類代碼場(chǎng)景和工程類代碼場(chǎng)景下,Llama 3.1-405B只有DeepSeek-V3的一半水平。
而4天前(1月20日),深度求索對(duì)外正式發(fā)布DeepSeek-R1,官方技術(shù)報(bào)告的測(cè)試所對(duì)照模型中,僅有OpenAI公司閉源的OpenAI o1 模型,以及DeepSeek-v3等自家模型。而在上一輪DeepSeek-V3測(cè)試中所對(duì)照的Meta、Anthropic等公司模型,此時(shí)早已不見蹤影。
最重要的是,DeepSeek-R1以及深度求索同期提及的DeepSeek-R1-Zero模型,首次讓整個(gè)行業(yè)清楚看到,大模型如何僅靠大規(guī)模強(qiáng)化學(xué)習(xí)(RL)驅(qū)動(dòng)、在沒有人類標(biāo)注數(shù)據(jù)冷啟動(dòng)(SFT)的情況下,實(shí)現(xiàn)持續(xù)自我成長。簡單說,DeepSeek-R1的意義就相當(dāng)于讓谷歌的圍棋軟件AlphaGo(阿法狗)從零開始自己與自己下棋,并通過試錯(cuò)自學(xué)達(dá)成如今的水平,但期間卻不向AlphaGo提供任何人類大師的下棋思路信息。
而在成本方面,深度求索雖然未透露DeepSeek-R1 的訓(xùn)練花費(fèi),但DeepSeek-v3的總訓(xùn)練時(shí)長則為278.8萬GPU小時(shí)(其中預(yù)訓(xùn)練占266.4萬小時(shí)),使用2048塊英偉達(dá)H800 GPU,耗時(shí)約兩個(gè)月完成。與之相比,同樣開源的Llama 3.1-405B卻消耗了3080萬GPU小時(shí),成本是DeepSeek-V3的11倍。甚至OpenAI公司的 GPT-4o的模型訓(xùn)練成本也達(dá)到1億美元,這與DeepSeek-V3訓(xùn)練花費(fèi)的557萬美元相差巨大,也讓“花小錢辦大事”成為深度求索的重要標(biāo)簽。
對(duì)此,在該Meta員工的帖子下邊有一名三星員工評(píng)論稱,特朗普日前宣布的“星球之門計(jì)劃”預(yù)計(jì)投入總規(guī)模達(dá)到5000億美元,“但如果當(dāng)這些AI基礎(chǔ)設(shè)施僅能與深度求索極小的成本相匹配時(shí),投資人還能有多少耐心?這個(gè)5000億美元的計(jì)劃還沒開始就將夭折。”
而谷歌公司的一名員工也評(píng)論稱,深度求索很瘋狂,不僅僅是Meta,面對(duì)這家中國公司時(shí),OpenAI以及谷歌/Anthropic目前同樣是“火燒屁股”。
不過這名谷歌員工也承認(rèn),對(duì)于行業(yè)來說是一件好事,“我們可以實(shí)時(shí)看到公開競(jìng)爭對(duì)創(chuàng)新的推動(dòng)作用”。
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
本文鏈接:正對(duì)著DeepSeek狂抄?Meta被曝整個(gè)AI部門深陷恐慌http://www.lensthegame.com/show-3-60012-0.html
聲明:本網(wǎng)站為非營利性網(wǎng)站,本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任,僅提供存儲(chǔ)服務(wù)。天上不會(huì)到餡餅,請(qǐng)大家謹(jǐn)防詐騙!若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。