2月17日，人工智能初創(chuàng)公司月之暗面在其官方微信公眾號(hào)分享了其前段時(shí)間剛剛發(fā)布的Kimi k1.5多模態(tài)思考模型誕生的過(guò)程。
這款模型與DeepSeek-R1同日發(fā)布，但由于后者過(guò)于火爆，使得前者的發(fā)布消息幾乎被淹沒(méi)。在熱潮日漸平靜之際，月之暗面研究員Flood Sung在分享中透露，長(zhǎng)思維鏈的有效性其實(shí)在一年多前就已經(jīng)知道了，但為了省錢，他們優(yōu)先選擇攻關(guān)長(zhǎng)文本而不是長(zhǎng)思維鏈（Long-CoT：Long Chain of Thought）；在去年9月OpenAI o1推出后，月之暗面決定出手長(zhǎng)思維鏈。
據(jù)月之暗面官方介紹，新推出的k1.5多模態(tài)思考模型實(shí)現(xiàn)了SOTA（state-of-the-art，指最佳技術(shù)或最高水平模型）級(jí)別的多模態(tài)推理和通用推理能力。在長(zhǎng)思維鏈模式下，kimi K1.5的數(shù)學(xué)、代碼、多模態(tài)推理能力，也達(dá)到長(zhǎng)思考SOTA模型OpenAI o1正式版水平。
“長(zhǎng)思維鏈的有效性其實(shí)在一年多前就已經(jīng)知道了，月之暗面Kimi聯(lián)合創(chuàng)始人Tim周昕宇很早就驗(yàn)證過(guò)，使用很小的模型，訓(xùn)練模型做幾十位的加減乘除運(yùn)算，將細(xì)粒度的運(yùn)算過(guò)程合成出來(lái)變成很長(zhǎng)的思維鏈數(shù)據(jù)做監(jiān)督微調(diào)（Supervised Fine-Tuning），就可以獲得非常好的效果。我依然記得當(dāng)時(shí)看到那個(gè)效果的震撼?！盕lood Sung表示。
Flood Sung稱，他們意識(shí)到長(zhǎng)上下文的重要性，但優(yōu)先考慮把文本搞長(zhǎng)，對(duì)長(zhǎng)思維鏈這件事情不夠重視?！爸饕€是考慮了成本問(wèn)題”，他表示，長(zhǎng)上下文主要做的是長(zhǎng)文本輸入，有預(yù)填充，有Mooncake（Kimi底層的推理平臺(tái)，已逐步開(kāi)源）加持，成本速度可控，而長(zhǎng)思維鏈?zhǔn)情L(zhǎng)文本輸出，成本高很多，速度也要慢很多。在這種情況下，把輸出搞長(zhǎng)就沒(méi)有成為一個(gè)高優(yōu)選項(xiàng)。
長(zhǎng)思維鏈技術(shù)路線是一種基于思維鏈（Chain-of-Thought, CoT）的推理增強(qiáng)技術(shù)，旨在通過(guò)生成更長(zhǎng)的推理鏈來(lái)提升大型語(yǔ)言模型（LLM）在復(fù)雜推理任務(wù)中的性能。與傳統(tǒng)的短推理鏈（Short CoT）相比，長(zhǎng)思維鏈能夠處理更復(fù)雜的任務(wù)，因?yàn)樗试S模型在生成最終答案之前進(jìn)行更深入的思考。
OpenAI o1模型驗(yàn)證了長(zhǎng)思維鏈在數(shù)學(xué)和編碼等推理任務(wù)中的有效性。在長(zhǎng)思考（long thought）的幫助下，大語(yǔ)言模型（LLM ）傾向于探索、反思和自我改進(jìn)推理過(guò)程，以獲得更準(zhǔn)確的答案。
“OpenAI o1發(fā)布，震撼，效果爆炸，Long-CoT的有效讓我陷入反思。”
但還有什么比性能更重要呢？Flood Sung認(rèn)為，成本和速度有摩爾定律加持，可以不斷下降，只要把性能搞上去，剩下的都不是主要問(wèn)題?！八裕覀兊酶汩L(zhǎng)思維鏈，搞o1?！?span style="display:none">94B流量資訊——探索最新科技、每天知道多一點(diǎn)LLSUM.COM
他還提到在實(shí)際訓(xùn)練的過(guò)程中有了重要的發(fā)現(xiàn)：模型會(huì)隨著訓(xùn)練提升性能也不斷增加token數(shù)，也就是這是RL（強(qiáng)化學(xué)習(xí)）訓(xùn)練過(guò)程中模型可以自己涌現(xiàn)的，“這個(gè)和友商 Deepseek的發(fā)現(xiàn)幾乎是一樣的?！?span style="display:none">94B流量資訊——探索最新科技、每天知道多一點(diǎn)LLSUM.COM
Flood Sung稱，AGI（Artificial General Intelligence，通用人工智能）確實(shí)就是近在眼前的事情，如今他重新開(kāi)始思考ASL（Artificial Super Intelligence，超級(jí)人工智能）。對(duì)于做強(qiáng)化學(xué)習(xí)（RL）的人來(lái)說(shuō)，從來(lái)都不會(huì)把實(shí)現(xiàn)AGI作為目標(biāo)，現(xiàn)在給AI一個(gè)可衡量的目標(biāo)，然后讓AI自己去探索，通過(guò)強(qiáng)化學(xué)習(xí)來(lái)提升模型，未來(lái)不過(guò)是把這一過(guò)程不斷地復(fù)制到更復(fù)雜的場(chǎng)景中去。
（原標(biāo)題：月之暗面研究員透露：為了省錢，未能更早將“長(zhǎng)思維鏈”作為高優(yōu)選項(xiàng)）
本文鏈接：月之暗面研究員：未能更早將“長(zhǎng)思維鏈”作為高優(yōu)選項(xiàng)http://www.lensthegame.com/show-11-17457-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。