就在ChatGPT推出一周年前夕，其開發(fā)機(jī)構(gòu)OpenAI經(jīng)歷了一場令人瞠目的高層“地震”。聯(lián)合創(chuàng)始人之一的首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）聯(lián)合董事會其他成員，突然解職了聯(lián)合創(chuàng)始人、首席執(zhí)行官山姆·奧特曼（Sam Altman），將另一位聯(lián)合創(chuàng)始人、總裁克雷格·布羅克曼逐出董事會。在經(jīng)歷約100個小時的劇情反復(fù)反轉(zhuǎn)后，奧特曼又回歸OpenAI恢復(fù)舊職。
盡管OpenAI尚未公布董事會這一決定的真正原因，但業(yè)界普遍猜測其背后體現(xiàn)了人工智能技術(shù)發(fā)展和安全的矛盾。“所謂‘對齊’（注：對齊指引導(dǎo)人工智能系統(tǒng)的行為使其符合設(shè)計者的利益和預(yù)期目標(biāo)）就是個偽命題，小小OpenAI董事會尚且無法‘對齊’，更何況復(fù)雜的人類社會。”科幻作家陳楸帆向澎湃科技表示，“真正的危險并非在于技術(shù)本身，而是在于資本主義追求有效加速主義的底座。”
有效加速主義（Effective Accelerationism，e/acc）指的是一些硅谷精英發(fā)起的科技價值觀運(yùn)動，他們認(rèn)為人類應(yīng)該無條件地加速技術(shù)創(chuàng)新以顛覆社會結(jié)構(gòu)，而這種對社會的顛覆本質(zhì)上對人類有利。奧特曼被認(rèn)為是有效加速主義的代表。
“在我看來，加速是毫無疑問的。”IDEA（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）AI安全普惠系統(tǒng)研究中心講席科學(xué)家王嘉平對澎湃科技解釋道，“安全也是技術(shù)，技術(shù)當(dāng)然要加速，只是說那么多個技術(shù)是不是同步發(fā)展。”
“也許有效加速主義的存在正是為了逼迫super-LOVE-alignment（超級‘愛’對齊）的出現(xiàn)，正如道家所說‘反者道之動’，它們是一種更高維度上的動態(tài)關(guān)系，互為對立，互相激發(fā)，糾纏共生。”陳楸帆說。
超級“愛”對齊中的愛是大寫的，即“大愛”，大體意思是讓AI“對齊”“無條件對人類的愛”，正如科幻作家艾薩克·阿西莫夫提出的“機(jī)器人三定律”所體現(xiàn)的精神。蘇茨克維被認(rèn)為是超級“愛”對齊的代表。
“一直以來有兩種聲音，一方面各個企業(yè)投入了巨大的資源，不遺余力地推動通用人工智能技術(shù)的發(fā)展。另一方面，以馬斯克為代表的人士，曾經(jīng)呼吁暫停訓(xùn)練更先進(jìn)的大語言模型6個月。”上海市數(shù)據(jù)科學(xué)重點實驗室主任、復(fù)旦大學(xué)教授肖仰華表示。對于人工智能應(yīng)該加速還是減速，他發(fā)出警告：傳統(tǒng)的技術(shù)治理模式可能已經(jīng)不再適用于通用人工智能。在通用人工智能技術(shù)對人類社會可能產(chǎn)生劇烈影響時，有足夠理由擔(dān)心它對人類文明是否會帶來毀滅性的影響。“機(jī)器認(rèn)知能力超過人類，這是一個必然的趨勢，我們可能未來要長期接受這樣的狀態(tài)。”
對于未知的未來，中國人工智能行業(yè)的一線人士們最想知道答案的問題是什么？
“大模型有自主意識后，當(dāng)它的智能和能力媲美和超過創(chuàng)造者時，它需要以什么樣的態(tài)度來看待創(chuàng)造者？超級智能在智力和能力上比人更強(qiáng)時，我們?nèi)绾胃鼈児泊妫俊蔽浵伡瘓F(tuán)副總裁、金融大模型負(fù)責(zé)人王曉航問道。
北京智譜華章科技有限公司CEO張鵬好奇：“實現(xiàn)AGI是不是真的需要讓機(jī)器擁有自我意識？”
北京開放傳神科技有限公司（OpenCSG）創(chuàng)始人兼CEO陳冉問道：“未來是否會出現(xiàn)AGI或AIGC（注：人工智能生成內(nèi)容）‘聯(lián)合國’？”
科幻作家顧備則關(guān)心：“如何思考人類與數(shù)字生命共存的可能未來？”“讓人類逃離掉肉體的低級趣味或病痛束縛，達(dá)到高級的精神追求，是人們對數(shù)字生命的美好展望，然而這不可避免地涉及到技術(shù)普惠等社會議題。我們需要對數(shù)字生命進(jìn)一步拓展想象力。”
以下為采訪實錄，因篇幅原因有刪減：
澎湃科技：就最近OpenAI的“宮斗”，怎么看AI技術(shù)發(fā)展的加速與減速，安全與利潤之間的關(guān)系？
肖仰華（上海市數(shù)據(jù)科學(xué)重點實驗室主任、復(fù)旦大學(xué)教授）：OpenAI這一次的“宮斗”或者說高管調(diào)整，一定程度上是人工智能技術(shù)發(fā)展和安全的矛盾的體現(xiàn)。自ChatGPT成為全球性現(xiàn)象級產(chǎn)品以來，整個通用人工智能的發(fā)展呈現(xiàn)出加速的趨勢，發(fā)展和安全這對矛盾的沖突也日益激烈。一直以來有兩種聲音，一方面各個企業(yè)投入了巨大的資源，不遺余力地推動通用人工智能技術(shù)的發(fā)展。另一方面，以馬斯克為代表的人士，曾經(jīng)呼吁暫停訓(xùn)練更先進(jìn)的大語言模型6個月。中國政府也發(fā)出了全球人工智能治理的倡議，國內(nèi)外很多知名學(xué)者都發(fā)起加強(qiáng)人工智能治理的呼吁，兩種聲音此起彼伏。OpenAI這一次的宮斗戲碼，只不過是在這對矛盾基礎(chǔ)上進(jìn)行了再一次演繹。
為什么大家對這對矛盾如此重視？這是因為傳統(tǒng)的技術(shù)治理模式可能已經(jīng)不再適用于通用人工智能。以往在工業(yè)文明時期，技術(shù)帶來社會治理問題的模式往往是先發(fā)展再治理，比如工業(yè)文明早期的環(huán)境污染問題。但是通用人工智能技術(shù)和歷次工業(yè)文明時期的技術(shù)革命有著本質(zhì)的不同，因為通用人工智能是關(guān)于智能的革命，而歷次技術(shù)革命包括蒸汽機(jī)電力，都是人類智能本身的一個產(chǎn)物。關(guān)于智能本身的革命是一場元革命，是歷次技術(shù)革命所不能比擬的，因為其形成的是智能和智力，涉及人類生活、工作、科研、教育幾乎所有行業(yè)，人類的智力活動在日常生活中幾乎無處不在。
那么我們很難想象，一旦通用人工智能大量使用之后，當(dāng)它具備了人類水平的智能之后，就很容易滲透進(jìn)社會發(fā)展的每一根毛細(xì)血管，所以它對人類社會的影響將十分廣泛且深遠(yuǎn)。它給人類帶來的機(jī)遇前所未有，帶來的挑戰(zhàn)也是前所未有的，足以對人類造成毀滅性傷害。
對比人類的社會系統(tǒng)和自然生態(tài)系統(tǒng)，社會系統(tǒng)對應(yīng)的是人類的文明，它相比而言極為脆弱，而大自然作為生態(tài)系統(tǒng)，實際上有著極強(qiáng)的健壯性和自我修復(fù)能力。在通用人工智能技術(shù)對人類社會可能引起劇烈影響時，我們有足夠理由擔(dān)心它對人類文明是否會帶來毀滅性的影響。
這種影響并不是像科幻電影中“終結(jié)者”對人類肉體的消滅，或者像《流浪地球》中的人工智能陰謀論，而是潛移默化地影響人類社會，特別是對人類智力倒退的影響需要引起足夠擔(dān)憂。當(dāng)下一代小朋友大量使用ChatGPT做作業(yè)、寫作文會怎樣？實際上這已經(jīng)發(fā)生了，而我們原本的寫作文、解題的過程就是訓(xùn)練下一代智力水平的過程。一個新手不經(jīng)過1萬小時的訓(xùn)練不可能成為一個專家，在ChatGPT這類產(chǎn)品被大量使用之后，我們每一個新手養(yǎng)成專家的路徑就會被截斷，我們賴以訓(xùn)練自己智力的寫作訓(xùn)練的機(jī)會就會被剝奪，這個時候人類智力倒退可能就是一個不可避免的現(xiàn)象。
這種智力的倒退帶來的一定是文明的崩塌，所以這就是我們要引起足夠重視的。尤其很多時候，這不是一種劇烈的震蕩，而是溫水煮青蛙似的，漸進(jìn)式地逐步消磨人類的智力水平，這種風(fēng)險其實是我們?nèi)菀缀雎缘摹?span style="display:none">GXL流量資訊——探索最新科技、每天知道多一點LLSUM.COM
那么我們應(yīng)該如何看待AI發(fā)展和安全的激烈矛盾？事實上用辯證的角度去看，安全和發(fā)展并不矛盾，唯有安全才能發(fā)展，安全是發(fā)展的前提。我們只有把AGI鎖在保險箱里，讓其可溯源、可解釋、可控制、可信賴，我們才可以放手去發(fā)展它。反之，如果沒有建立起安全的前提，那么這樣的發(fā)展可能會給人類社會帶來極大的負(fù)面影響。
我們想想，發(fā)展技術(shù)的目的是什么？仍然是以人為本。如果人都不存在了，社會都不存在了，技術(shù)又為誰服務(wù)呢？所以安全和發(fā)展的矛盾看似沖突，但實際上是可以調(diào)和的，我們要善于把握這種矛盾的相互轉(zhuǎn)換，不要盲目將其對立，要在兼顧安全的前提下發(fā)展，做到安全和發(fā)展的兼顧。
陳楸帆（科幻作家）：這一事件可以看出，所謂“對齊”就是個偽命題，小小OpenAI董事會尚且無法“對齊”，更何況復(fù)雜的人類社會。
真正的危險并非在于技術(shù)本身，而是在于資本主義追求有效加速主義的底座。我有一個更meta（元）的想法，也許有效加速主義的存在正是為了逼迫super-love-alignment（超級“愛”對齊）的出現(xiàn)，正如道家所說“反者道之動”，它們是一種更高維度上的動態(tài)關(guān)系，互為對立，互相激發(fā)，糾纏共生。過去幾百年間e/acc（Effective Accelerationism，有效加速主義）一直占據(jù)主導(dǎo)，帶來社會進(jìn)步的同時也導(dǎo)致了許多問題的出現(xiàn)，比如生態(tài)環(huán)境問題。人類-技術(shù)-環(huán)境在動態(tài)平衡中尋找著發(fā)展的最大公約數(shù)。現(xiàn)在的GPT以及將來可能的AGI，正是讓這個結(jié)構(gòu)發(fā)生了微妙的變化，令整個行星生態(tài)系統(tǒng)到達(dá)了某種臨界點，需要重新校準(zhǔn)。這個校準(zhǔn)的核心關(guān)鍵在于我們是否能夠想象出超越資本主義之外的新的價值框架，形成共識。
王嘉平【IDEA（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）AI安全普惠系統(tǒng)研究中心講席科學(xué)家】：技術(shù)當(dāng)然要加速發(fā)展。安全也是技術(shù)，技術(shù)當(dāng)然要加速，只是說那么多個技術(shù)是不是同步發(fā)展。如果是只管一個方向的技術(shù)，完全不管安全技術(shù)的發(fā)展，那肯定是不對的。但是直接說先暫停推進(jìn)技術(shù)發(fā)展，這是沒有道理的，一個機(jī)構(gòu)不研究，其他機(jī)構(gòu)也會研究，一個國家不研究，別的國家也會研究，重要的是足夠重視產(chǎn)業(yè)健康發(fā)展所需要的所有技術(shù)。
所以在我看來，加速是毫無疑問的。而且加速帶來一個更重要的事情是，有更強(qiáng)大的手段和能力，因為你其實不知道未來會面臨什么，來自哪里的威脅，如果現(xiàn)在減速，可能未來也許會面臨別的什么挑戰(zhàn)，技術(shù)肯定是在有機(jī)會發(fā)展的時候盡量發(fā)展。但只是說技術(shù)里有好多部分，不能偏科地發(fā)展。
澎湃科技：大模型可能在何種情況下表現(xiàn)出何種人格傾向？
梁家恩（云知聲智能科技股份有限公司董事長兼CTO）：現(xiàn)在大模型可以模擬很多風(fēng)格，比如魯迅風(fēng)格、莎士比亞風(fēng)格。不同風(fēng)格可能是人格的一部分，這種傾向更多還是從數(shù)據(jù)里學(xué)到，它本身不會像人一樣成長出不同的性格，而在于訓(xùn)練的人究竟該如何處理這些數(shù)據(jù)，讓它更好顯示一種風(fēng)格。當(dāng)然如果AI設(shè)計人員針對性地設(shè)計一種人格，我相信也是有空間的。
至于大模型進(jìn)化出“自主意識”意義上的人格，我目前沒看到這種跡象。
陳磊（信也科技副總裁、大數(shù)據(jù)及AI負(fù)責(zé)人）：第一，這和數(shù)據(jù)有很大關(guān)系，學(xué)了莎士比亞，輸出的內(nèi)容更莎士比亞了。第二是智能涌現(xiàn)，通過某種思維鏈的方式做出創(chuàng)造。這兩點是有人格傾向的基礎(chǔ)。但坦率說，挺難判斷大模型是否會有人格的變化。
陳楸帆：人類有將自身情感投射到外物的慣性，所謂擬人化，表現(xiàn)在科技領(lǐng)域就是試圖讓創(chuàng)造物表現(xiàn)出接近人類的特質(zhì)，無論是外形、行為、交互還是動機(jī)。大模型的人格傾向其實是人類不斷調(diào)參的結(jié)果，因為這是人類唯一能夠進(jìn)行自然理解并交流的方式，但語言表征的人格化是否意味著機(jī)器真正理解了背后的深層含義與世界模型，目前還不得而知。
澎湃科技：如何應(yīng)對AGI帶來的傳播革命，包括虛假信息升級？
陳楸帆：在我的小說《假面神祇》里，想象了一個deepfake技術(shù)泛濫的未來，因為成本以及使用門檻足夠低，所以任何人都可以制造出足以亂真的偽造圖片、音頻、視頻并在媒體上傳播。
因為人眼已經(jīng)無法辨別真?zhèn)危荒芡ㄟ^技術(shù)上的“矛盾之爭”來解決，一方面是工具平臺需要接受監(jiān)管，采用數(shù)字水印等技術(shù)進(jìn)行標(biāo)注，防范濫用，另一方面在社交媒體需要不斷升級的“deepfake探測器”，來篩查、過濾、提醒用戶哪些信息可能含有AIGC（人工智能生成內(nèi)容）生成的元素。
當(dāng)然，更難以防范的是圍繞著復(fù)雜敘事展開的偽造，比如同一個新聞事件有著完全不同的視角與立場，傳遞出來的信息也就千差萬別，而這些信息經(jīng)過算法的回聲效應(yīng)，過濾放大又將極化受眾的意識形態(tài)，最終人類必將面臨一場“敘事戰(zhàn)爭”。
陳磊：第一，AI生成的大量內(nèi)容要有標(biāo)簽。第二，通過技術(shù)手段偵測AI內(nèi)容的合理性、準(zhǔn)確性。當(dāng)然，出了問題以后怎樣處罰是另一個層面了。
張鵬（北京智譜華章科技有限公司CEO）：我看過一個權(quán)威機(jī)構(gòu)的報告，當(dāng)時他們在寫報告的時候，互聯(lián)網(wǎng)上已經(jīng)大約有10%的數(shù)據(jù)是由模型生成的，已經(jīng)無法跟人類生成的數(shù)據(jù)區(qū)分了，未來這個比例會持續(xù)上升，這里面可能也包含虛假信息的問題。這也是倫理安全問題，如何能夠把機(jī)器生成的數(shù)據(jù)，尤其是虛假的數(shù)據(jù)、有問題的數(shù)據(jù)區(qū)分出來，或者防范產(chǎn)生這些數(shù)據(jù)，這也是一個很大的挑戰(zhàn)。
陳冉【北京開放傳神科技有限公司（OpenCSG）創(chuàng)始人兼CEO】：首先我是唯物主義者、無神論者，但我在今年5月就看出GPT有一些人格特征了。大模型算一次工業(yè)革命，比互聯(lián)網(wǎng)更加牛，它主要解決的問題是人的知識積累問題、人的知識積累有無上限的問題。比如三甲醫(yī)院大夫的水平是有界限的，到達(dá)一定年齡得退休，這些經(jīng)驗被大模型學(xué)了以后不斷積累，大模型不會退休，它正好取代或輔助了那些有經(jīng)驗、有知識的人，是知識的積累和延續(xù)。如果這是真的，那就是時間問題。
澎湃科技：除了生成式AI，AGI是否會存在其他形式？
梁家恩：用統(tǒng)計模型、循環(huán)神經(jīng)網(wǎng)絡(luò)不斷生成對話的能力在2014年左右就已經(jīng)有了，只不過它不可控，很多結(jié)果質(zhì)量不夠高、看起來就不夠“智能”。ChatGPT出現(xiàn)以后，生成的內(nèi)容質(zhì)量更高且相對可控，更加符合人類的預(yù)期，顯示出AGI的能力。
了解語言、通過語言跟人類對話，這只是AGI的第一步，未來還會加上真正的邏輯推理能力。現(xiàn)在的邏輯推理“現(xiàn)象”是通過思維鏈激活出來，本質(zhì)上不是原生，它可能根本不理解里面的邏輯，只是統(tǒng)計模擬出來的。所以未來肯定還會有更深層的邏輯推理能力出來，特別是結(jié)合多模態(tài)信息的邏輯推理，現(xiàn)在其實已經(jīng)可以看到部分研究進(jìn)展了。
張鵬：這是毫無疑問的，生成式AI未必是最終答案。只不過生成式AI是目前看來接近AGI的一個非常有效的途徑。但它也有問題，比如幻覺性、安全性。還需要很多研究，比如在“系統(tǒng)1”的基礎(chǔ)上引入知識和邏輯推理的“系統(tǒng)2”來約束和驗證“系統(tǒng)1”。目前很多人在研究，我們也一直在強(qiáng)調(diào)未來認(rèn)知智能的框架是雙系統(tǒng)框架，知識和數(shù)據(jù)雙輪驅(qū)動。現(xiàn)在是數(shù)據(jù)驅(qū)動走得快，也就是生成式AI走得快，效果提升明顯。但還需要想想怎么把知識、記憶、邏輯以“系統(tǒng)2”的方式融入到整個框架中，這可能會解決幻覺性問題，也有可能解決安全和隱私問題。
“系統(tǒng)1”和“系統(tǒng)2”融合以后，會帶來認(rèn)知智能。生成式AI的工作方式是預(yù)測下一個token（注：在AI領(lǐng)域token通常指文本處理過程中的最小單位），強(qiáng)調(diào)的是生成的過程和算法，但認(rèn)知智能并不局限在生成上，它可能是實現(xiàn)認(rèn)知智能甚至AGI的重要途徑，但它也有可能不是全部。
王曉航（螞蟻集團(tuán)副總裁、金融大模型負(fù)責(zé)人）：生成式AI只是這一波技術(shù)革命的中樞，但最終要實現(xiàn)AGI、端到端解決現(xiàn)實世界的問題，需要一個系統(tǒng)的工程組合技術(shù)。大模型如果真的要往通用智能和更高級的智能演進(jìn)，比如具身智能，就需要跟現(xiàn)實世界進(jìn)行連接、互動，這包括多模態(tài)理解、傳感和交互技術(shù)。
陳楸帆：對于AGI的定義本身就有局限性，目前我們只是狹隘地將與人類近似的智能水平定義為“通用人工智能”，但這其中的每個定語“通用”與“人工”都存在疑問。
考慮到宇宙的廣闊與人類的無知，我相信人類并非唯一的智能生命，甚至在地球上恐怕都不是唯一。我們對于智能的理解恐怕只在一個非常初級的階段，正如杰弗里·辛頓（圖靈獎得主、深度學(xué)習(xí)三巨頭之一）所說，我們無法完全理解一個事物，除非能夠造出它。所以打造通用人工智能的最大意義或許正是在于能更好地理解人類本身。
澎湃科技：AGI的下一階段會是什么，是超級智能體嗎？
肖仰華：AGI的下一階段一定是ASI（Artificial Super Intelligence，超級人工智能）。事實上現(xiàn)在GPT-4已經(jīng)可以認(rèn)為是超級認(rèn)知智能的具體成果，它在認(rèn)知廣度和深度上已經(jīng)超過了絕大部分人類，試想一下，我們有哪一個人的知識容量能夠達(dá)到GPT-4的水平？它幾乎知道所有學(xué)科，我們可以問它任何一個具體的問題，人類都很難記得如此清楚。這些都是大模型的認(rèn)知遠(yuǎn)超人類的方面。
事實上，機(jī)器認(rèn)知能力超過人類，這是一個必然的趨勢，我們可能未來要長期接受這樣的狀態(tài)。事實上，機(jī)器下棋超過了人類，計算超過了人類，認(rèn)知能力也超過了人類，所以這將會是常態(tài)。但這是否就意味著人類就沒有超越機(jī)器的地方了？我認(rèn)為對AI的主動權(quán)、控制權(quán)，對其駕馭和使用的能力仍然是人類所獨有的。人類還是能夠跳脫現(xiàn)有的思維框架，提出新的理論框架，這些都仍然是目前大模型或人工智能體所不具備的。包括人類獨有的一些生存和發(fā)展智慧，這也是當(dāng)前或未來的超級認(rèn)知智能體所不具備的。這里的智慧就是指人能夠針對適當(dāng)情況，即在何時何地采取何種策略、何種知識來解決問題，這種能力都是人類所獨具的，機(jī)器仍然難以達(dá)到。
張鵬：人類對AGI的預(yù)期就是這樣。人的腦量有限、精力有限、時間有限，學(xué)習(xí)能力和速度也有限，能達(dá)到的上限很明顯。造出一個能超越人的機(jī)器或者通用人工智能，這是人內(nèi)心的執(zhí)念。大家對AGI的期待一定是超越人的智能水平。
陳磊：短期它可能不能叫超級智能體，但肯定是智能體，最近研究火熱的就是agent（智能體）。大模型不再是Model as a Service（模型即服務(wù)）的模式，而是一個決策和控制、與下游溝通交互的體系，從支撐作用變成了決策作用。
王曉航：agent的本質(zhì)是有非常多的技術(shù)組合，可以把很多標(biāo)簽和新技術(shù)往agent的框架里塞，最終的本質(zhì)是不斷解決現(xiàn)實世界的任務(wù)。這一切是以大模型為中樞，提供落地的連接、知識存儲，思考和規(guī)劃、規(guī)劃的框架，這是產(chǎn)業(yè)落地的一個最關(guān)鍵的技術(shù)載體。
陳冉：分久必合，合久必分。公有云、硬件都適配這個準(zhǔn)則。當(dāng)一個東西大到一定程度，誰來監(jiān)管它？意思是說，大模型肯定會越來越大，它肯定會受監(jiān)管，垂類模型也會越來越大，會不會有超級智能體，我認(rèn)為答案是不。各個國家都有反壟斷法，世界怎么會出現(xiàn)一個超級智能體？
陳楸帆：我認(rèn)為是能夠跨越物種進(jìn)行交流并協(xié)同計算的行星級群體智能網(wǎng)絡(luò)，這里所指的物種包括人類、非人類生命形態(tài)、機(jī)器智能體以及環(huán)境。
澎湃科技：未來一年，全球范圍的AI監(jiān)管預(yù)計會出現(xiàn)哪些進(jìn)展？
陳磊：大方向不會變，監(jiān)管大模型三個方面，第一是輸入的數(shù)據(jù)，第二是使用的算法本身，未來算法本身是否也要強(qiáng)調(diào)可解釋性、合理性。第三是輸出的監(jiān)管。至于大模型對于社會的影響，應(yīng)該會有社會學(xué)的考量。
王曉航：安全、隱私、倫理、可解釋性會持續(xù)成為監(jiān)管的關(guān)注對象。判別式AI是降本增效工具，大模型不是工具，本質(zhì)上是要匹配、賦能，甚至部分替代人、替代專家。醫(yī)療、金融等專業(yè)領(lǐng)域有準(zhǔn)入規(guī)范，都要持證上崗，專業(yè)能力要考核。所以現(xiàn)在有個趨勢是，大模型深入到這些產(chǎn)業(yè)時也不能被豁免，它需要準(zhǔn)入以后才能落地產(chǎn)業(yè)，相當(dāng)于大模型要去職業(yè)考試，這是以前的AI所不存在的一個問題。
張鵬：有很多國家出臺了關(guān)于AI的法案，里邊有關(guān)于安全倫理的內(nèi)容和條款，中國也出臺了生成式AI的管理辦法。未來這些要求管理制度會越來越細(xì)化，因為早期大家的認(rèn)知還參差不齊，也不知道到底會產(chǎn)生什么樣的問題，隨著技術(shù)普及，大家的認(rèn)知加深，會逐漸認(rèn)識到問題的關(guān)鍵在哪，所以會努力朝這個方向去做。比如現(xiàn)在已經(jīng)逐漸從最終的應(yīng)用效果往前延伸，對模型訓(xùn)練使用的數(shù)據(jù)的安全性、版權(quán)、隱私保護(hù)等制定標(biāo)準(zhǔn)和辦法，對模型的評測、效果的評測也會制定標(biāo)準(zhǔn)和方法。
澎湃科技：對于AGI或者應(yīng)對AGI，你最想知道答案的一個問題是什么？
張鵬：實現(xiàn)AGI是不是真的需要讓機(jī)器擁有自我意識？邁向AGI有幾個階段，第一階段是用神經(jīng)網(wǎng)絡(luò)模擬人的大腦，實現(xiàn)“系統(tǒng)1”能力。第二階段是在“系統(tǒng)1”基礎(chǔ)上構(gòu)建“系統(tǒng)2”，讓智能體具備自我反思以及知識抽取、蒸餾、存儲、記憶能力，并對“系統(tǒng)1”的輸出進(jìn)行約束。第三階段進(jìn)一步提升認(rèn)知推理能力時，人和機(jī)器之間差距仍然這么大，考慮是不是涉及到意識。
人工智能的智能水平一直逼近不了人，在于它不知道自己不知道，這背后隱含的一個問題是沒有邊界。人作為一個智能體，有非常明確的邊界，能區(qū)分“我”和“非我”，哪些事情是我知道的，哪些事情是我不知道的。沒有邊界就無法判斷到底知道還是不知道。邊界的產(chǎn)生可能就是自我意識的產(chǎn)生。
王曉航：價值對齊。一旦有一天大模型開始有自主意識以后，最重要的是價值對齊，以及對人類的系統(tǒng)性保護(hù)。所謂價值對齊，就是大模型有自主意識后，當(dāng)它的智能和能力媲美和超過創(chuàng)造者時，它需要以什么樣的態(tài)度來看待創(chuàng)造者？超級智能在智力和能力上比人更強(qiáng)時，我們?nèi)绾胃鼈児泊妫窟@是超級對齊的本源，也就是我們作為一個物種跟更高階的新物種一起，安全利用、共處、生存和發(fā)展。但那是高級階段的，我們現(xiàn)在首先要落地。
梁家恩：如何找到AGI和人協(xié)同演進(jìn)的有效路徑？人適應(yīng)AGI，知道AGI擅長做什么、在哪些方面能真正幫助人類、本身會有哪些隱患跟風(fēng)險，達(dá)成共識和標(biāo)準(zhǔn)；AGI也在實際應(yīng)用中演進(jìn)，逐步提升能力并和人類共識“對齊”，這是我們的預(yù)期。要實現(xiàn)預(yù)期，需要在實際應(yīng)用中，找到有效的算法、技術(shù)和機(jī)制。
現(xiàn)在大模型做到這么大，如果不是那么多用戶參與反饋，哪怕OpenAI也不知道到底哪里會出現(xiàn)什么樣的問題，哪些參數(shù)會導(dǎo)致出現(xiàn)這種現(xiàn)象，很多問題都不可控，所以要有一個熟悉了解的過程，再考慮用什么機(jī)制跟方法，針對這個問題讓它更好地“對齊”人類的預(yù)期。這肯定不是在實驗室里能拍腦袋想清楚的，需要在迭代過程中形成有效方法。
陳冉：未來是否會出現(xiàn)AGI或AIGC“聯(lián)合國”？這是人類第一次面臨共同的挑戰(zhàn)和共同的價值觀挑戰(zhàn)，監(jiān)管有可能全球化，所以什么時候會形成這樣的組織，各國怎么協(xié)作，我拭目以待。
王嘉平：如何讓機(jī)器治理機(jī)器？將來當(dāng)我們可以將AI看成是某種硅基的有獨立意識的個體，就意味著未來的社會活動可能不僅僅發(fā)生在人和人之間，也可能是人和機(jī)器，甚至機(jī)器與機(jī)器之間。那么機(jī)器在工作的時候，它同樣需要有一定的道德法則約束，甚至法律法則的約束。從人類社會來講，法律約束起作用的實際上是少數(shù)時間，大部分是道德約束在起作用，這樣才能以較低的成本維護(hù)整個社會的穩(wěn)定，因為法律畢竟是后置的。那么這對機(jī)器來說怎么起作用？單純靠人類治理，一點時間上的滯后可能機(jī)器已經(jīng)能做了許多事情。
目前我的思考是，用機(jī)器治理機(jī)器的邏輯首先是機(jī)器最基本的身份問題。比如一個機(jī)器，今天關(guān)了明天重新再開，還是同一個機(jī)器嗎？并在這個身份上積累社會價值，那么這對它來說換一個身份就意味著一個巨大的成本，有了代價才可能去制約它，當(dāng)它有一定的價值沉淀在其中，它才會害怕失去這個價值。這個價值對于機(jī)器來講怎么沉淀、怎么體現(xiàn)？在區(qū)塊鏈里其實是有一整套體系來完成這個任務(wù)，跟人的信用體系非常相似，只不過機(jī)器的行動頻率和速度比人類社會要快得非常多。所以人類社會這套原來的執(zhí)行方式，就不太適合讓機(jī)器去做，機(jī)器可能幾個毫秒內(nèi)就完成許多事情。這就意味著，機(jī)器的監(jiān)管需要一整套自動化的，并且有自己法律或規(guī)則的系統(tǒng)，即機(jī)器治理機(jī)器的邏輯。
顧備（科幻作家）：如何思考人類與數(shù)字生命共存的可能未來？OpenAI內(nèi)部存在有效加速派和超級對齊派兩個流派。超級對齊派一定要讓人工智能符合人類要求，核心需要造福人類。有效加速派則認(rèn)為科技的發(fā)展是不可阻止的，發(fā)展到一定程度，一定可以用科技制約科技。讓人類逃離掉肉體的低級趣味或者病痛束縛，達(dá)到高級的精神追求，是人們對數(shù)字生命的美好展望，然而這不可避免地涉及到技術(shù)普惠等社會議題。我們需要對數(shù)字生命進(jìn)一步拓展想象力。人類在使用工具的時候特別喜歡擬人化，所以老想把數(shù)字生命也擬人化。但數(shù)字生命可能是一種波、一種能量或者以一種信息的狀態(tài)存在，最終數(shù)字生命的存在方式不一定和人一樣。
杜凱（北京大學(xué)人工智能研究院助理研究員）：主要關(guān)于數(shù)字生命，我認(rèn)為數(shù)字生命已經(jīng)進(jìn)入需要被嚴(yán)肅討論的階段。其實，我們也是生活在一個虛擬的世界中，周圍世界是我們視網(wǎng)膜對世界的重建，每個人都不一樣。也許有些極具天賦的畫家，像梵高和畢加索，他們感知到的世界就像他們的畫作一樣。在這個意義上，人和機(jī)器沒有太大區(qū)別。而ChatGPT表現(xiàn)出的“智慧涌現(xiàn)”給意識研究提供了一種新的思考方式。意識可能不是被事先定義的，而是涌現(xiàn)出來的。傳統(tǒng)上，做科學(xué)是由自上而下的方式進(jìn)行的。但由科學(xué)問題驅(qū)動的研究方式也許沒辦法去解決意識的問題，但或可通過工程的方式看看能否產(chǎn)生出意識。（部分信息來自于天橋腦科學(xué)研究院“數(shù)字生命與意識上傳”研討會）
陳楸帆：什么是意識？什么是我？什么是存在？這三個問題可能是同一個。
本文鏈接：有效加速or超級對齊？如何實現(xiàn)AI大愛人類？http://www.lensthegame.com/show-11-1729-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任，僅提供存儲服務(wù)。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
上一篇： 人工智能輔助科研要從可用走向可信