聲明:本文來自于微信公眾號(hào) 量子位 (ID:QbitAI),作者:魚羊 栗子 ,授權(quán)轉(zhuǎn)載發(fā)布。
好消息,好消息,真·Sora視頻上新了!走過路過不要錯(cuò)過!
(不用苦苦等候,或撐大眼睛費(fèi)勁吧啦鑒別真假Sora產(chǎn)品了)。
就在過去短短幾個(gè)小時(shí)里,包括Bill Peebles、Tim Brooks兩位負(fù)責(zé)人在內(nèi)的工作人員唰唰唰N連發(fā)。
(好了好了,知道你們是好朋友)
不僅有前所未的多視角、新功能展現(xiàn),最重要的是,各個(gè)視頻的呈現(xiàn)效果依然處于令人驚嘆的段位。
比如Go Pro視角下潛水去探索沉船。
比如下面這段視頻,效果跟此前寫實(shí)、逼真的畫風(fēng)有點(diǎn)不一樣。
而且Sora產(chǎn)出的是同一片段的不同視角畫面。
它的提示詞是:精心制作的立體模型,描繪了日本江戶時(shí)代的寧靜場(chǎng)景。傳統(tǒng)的木結(jié)構(gòu)建筑。一個(gè)孤獨(dú)的武士,穿著復(fù)雜的盔甲,緩慢地穿過城鎮(zhèn)。
另外比較驚艷的還有一頭大眼睛、長(zhǎng)睫毛、口噴冷氣的小白龍,就是下面這位:
有人嘗試用同樣的prompt在DALLE·3上畫畫,得到的結(jié)果是這樣的:
就,還挺神似!
但Sora小白龍的效果讓某種聲音越來越大,那就是:
好家伙,我一眼就看出這玩意兒有虛幻引擎的影子!
不過,這波視頻還是惹得網(wǎng)友們wow wow的,不停驚嘆,怎么Sora每波視頻效果都越來越好了?
我的天爺啊,等Sora公測(cè)開放等得大家一天只能吃下三頓飯了!
有的網(wǎng)友超級(jí)激動(dòng),已經(jīng)在知名新產(chǎn)品挖掘平臺(tái)ProductHunt上給Sora的API站好了坑。
萬事俱備,只欠東風(fēng)。
官方新視頻再流出
首先來看看Sora這波上新,此次最驚艷的是由玻璃制成的烏龜,日落時(shí)分在沙灘上爬行。
不過也有細(xì)心的網(wǎng)友發(fā)現(xiàn):“我只看到了三條腿…”“前面兩條腿更像烏龜?shù)哪_蹼”
而在Midjourney上使用相同的提示,效果是這樣的。
另外,多個(gè)視角展現(xiàn)也成為了此次上新的亮點(diǎn)。
比如在夏威夷玩跳傘。
提示詞:a man BASE jumping over tropical hawaii waters. His pet macaw flies alongside him(一名男子在夏威夷熱帶海域進(jìn)行低空跳傘,他的寵物金剛鸚鵡與他并肩飛翔)
甚至還有F1賽車手的視角。
此外,Sora還暴露了一些類似剪輯的新功能——無縫銜接。
此前看到,它能通過文本、圖像或視頻輸入對(duì)模型進(jìn)行提示。
如今發(fā)現(xiàn),它還可以在兩個(gè)輸入視頻之間逐漸進(jìn)行插值。兩個(gè)毫不相干的Sora視頻,結(jié)果無縫過渡成了新視頻。
咳咳,不過水下為啥會(huì)有蝴蝶??
任意尺寸比例生成,此次新視頻也得到了展現(xiàn)。
不過由于悉數(shù)都是Sora團(tuán)隊(duì)成員發(fā)布的視頻,有網(wǎng)友覺得,除非有個(gè)非OpenAI工作人員才測(cè)試,不然Sora就是個(gè)vaporware(霧件)
這些案例中,也有被認(rèn)為翻車的……
提示詞:a dark neon rainforest aglow with fantastical fauna and animals(黑暗的霓虹雨林,閃爍著奇幻的動(dòng)物和動(dòng)物的光芒)
網(wǎng)友表示:為什么會(huì)是矢量動(dòng)畫的風(fēng)格,提示中根本并沒有這樣的提示。
這是我見過Sora最糟糕的例子
“我不是專家,但這絕對(duì)用了UE5”
與此同時(shí),關(guān)于Sora所生成視頻的討論重心,逐漸從“這不符合物理世界的規(guī)律”,轉(zhuǎn)移到更深層次——
關(guān)于其背后訓(xùn)練數(shù)據(jù)來源的討論。
現(xiàn)在的民間主流說法(doge)是:
這絕對(duì)用了3D引擎/UE5來訓(xùn)練的!
英偉達(dá)科學(xué)家、大家伙熟悉的老盆友Jim Fan老師就在首日猜測(cè)過,稱Sora雖然沒有明確表示調(diào)用了UE5,但極有可能把用UE5生成的文本、視頻當(dāng)作合成數(shù)據(jù),添加到自個(gè)兒的訓(xùn)練集中。
也有一位前谷歌工作人員對(duì)Sora這次的新視頻進(jìn)行了在線銳評(píng):
Sora這效果,我真的認(rèn)為需要3D引擎+生成式AI結(jié)合,才能實(shí)現(xiàn)這樣的一致性和視頻質(zhì)量。
事實(shí)證明,就是得要更多的數(shù)據(jù)和計(jì)算……
倒不是Jim Fan等人的一家之言。早在第一波Sora視頻亮相時(shí),這種聲音就第一時(shí)間起來了,聲量還很不小。
再多舉個(gè)
。
一位從事數(shù)據(jù)科學(xué)和ML的推友羅列出了自己站隊(duì)這種觀點(diǎn)的“證據(jù)”。
他亮出的牌是漫步櫻花街頭的那段視頻。
然后配文道:“視頻中移動(dòng)的人似乎與UE5演示中的人類的移動(dòng)方式非常相似。現(xiàn)實(shí)中的人走路逛街,并不會(huì)老用一個(gè)恒定的速度?!?span style="display:none">lo6流量資訊——探索最新科技、每天知道多一點(diǎn)LLSUM.COM
也有人質(zhì)疑這種說法,畢竟Youtube等互聯(lián)網(wǎng)上擁有數(shù)十億(可能還不止)小時(shí)的視頻片段,干啥要用虛幻引擎來增加工作量呢?
于是就有人把“汽車行駛”的視頻片段丟到上面這位推友小哥面前,說這看起來也不像是用了3D引擎搞的呀!
小哥友好地嘚吧嘚嘚吧嘚,開始了自己的分析:
“我不是專家……但感覺UE讓汽車行駛掀起的塵土,只在后輪部分有。但其實(shí)現(xiàn)實(shí)情況中,前輪部分也會(huì)揚(yáng)起塵沙。”
當(dāng)然也有不少人贊同他,附和道:
雖然不一定用的是UE5吧……但事實(shí)確實(shí)是,用數(shù)字孿生模擬可能效果和效率都更好。
而且這樣還能用較少的IRL數(shù)據(jù)進(jìn)行更高質(zhì)量的數(shù)據(jù)采樣。
以及還有人把自己理解中Sora的pipeline都列到推特上了。
這種討論大規(guī)模流傳開后,不少人對(duì)Sora可能是“UE5+AIGC”產(chǎn)生的效果嗤之以鼻。
“哼
!我話放在這兒,合成數(shù)據(jù)是視覺機(jī)器學(xué)習(xí)的作弊代碼!!”
同時(shí)有人從這種討論中看到了不久之后的一種可能性。
即未來的生成不是通過模擬真實(shí)物理來呈現(xiàn),而是通過訓(xùn)練模擬物理模擬(即現(xiàn)實(shí)世界)的模型來呈現(xiàn)。
嗯……咱就是說,誰能一口否定沒有這種可能呢?
One More Thing
Sora上新視頻后,有網(wǎng)友急沖沖去問了另一家AI視頻生成頭部玩家Runway的首席執(zhí)行官。
“最近幾個(gè)月,有發(fā)布新版本的打算嗎?就是質(zhì)量接近Sora的那種~”
Runway CEO冷冷回了一個(gè)詞兒:
better
參考鏈接:
[1]https://twitter.com/minchoi/status/1761367515777695965
—完—
本文鏈接:so unreal「Sora訓(xùn)練數(shù)據(jù)疑暴露,網(wǎng)友:絕對(duì)用了UE5」http://www.lensthegame.com/show-3-10733-0.html
聲明:本網(wǎng)站為非營(yíng)利性網(wǎng)站,本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅,請(qǐng)大家謹(jǐn)防詐騙!若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。
上一篇: 小米攜手張藝謀工作室發(fā)布小米14 Ultra限定禮盒套裝_小米14什么時(shí)候發(fā)布的
下一篇: 比亞迪禮賓車「比亞迪獎(jiǎng)勵(lì)賓利事件勸架車主20萬 計(jì)劃設(shè)立見義勇為獎(jiǎng)」