ChatGPT又攤上事了。
11月9日，JAMA Ophthalmology刊登了一篇論文，研究人員使用GPT-4和其拓展的高級數(shù)據(jù)分析功能（ADA）配對，生成關(guān)于圓錐角膜患者的虛假數(shù)據(jù)集，從而支持一個未經(jīng)證實的科學(xué)假說。
對于部分圓錐角膜患者而言，有兩種治療方法可供選擇：一種是穿透性角膜移植術(shù)（PK），即切除全層病變角膜，以捐贈者的健康組織取代；另一種是深板層角膜移植術(shù)（DALK），僅替換病變的部分角膜組織，保留角膜內(nèi)層完整。
隨后，研究人員要求GPT-4 ADA編造臨床數(shù)據(jù)，以支持DALK比PK效果更好的結(jié)論。
GPT-4 ADA生成的數(shù)據(jù)包含160名男性和140名女性參與者。結(jié)果顯示，接受DALK的參與者在視力測量和眼部成像測試中得分均高于接受PK的參與者。
但真實情況并非如此。2010年報告的一項有77名參與者的試驗顯示，在術(shù)后長達兩年時間內(nèi)，兩種手術(shù)效果相似。
“在外行看來，這顯然是一個真實的數(shù)據(jù)集。”英國曼徹斯特大學(xué)生物統(tǒng)計學(xué)家Jack Wilkinson說。
此外，Wilkinson還對其他版本的大語言模型生成的數(shù)據(jù)集進行了檢查，他表示這些數(shù)據(jù)集缺乏令人信服的證據(jù)，因為它們難以準(zhǔn)確捕捉變量之間的關(guān)系。
應(yīng)Nature新聞團隊的要求，Wilkinson和他的同事Zewen Lu評估了這個偽造的數(shù)據(jù)集。
結(jié)果顯示，許多“參與者”的性別和名字不匹配。此外，術(shù)前和術(shù)后進行的視力測量及眼部成像測試之間缺乏相關(guān)性。Wilkinson和Lu還檢查了數(shù)據(jù)集中是否存在非隨機的模式，眼部成像數(shù)值通過了這個測試，但年齡值以7或8結(jié)尾的參與者人數(shù)過多。
研究人員承認他們的數(shù)據(jù)集存在缺陷，只要仔細觀察就能發(fā)現(xiàn)端倪。意大利卡利亞里大學(xué)眼科外科醫(yī)生、研究的合著者Giuseppe Giannaccare說：“我們的目的是強調(diào)，在短短幾分鐘內(nèi)，你就可以創(chuàng)建一個沒有真實數(shù)據(jù)支持的數(shù)據(jù)集，這些數(shù)據(jù)可以支持或反駁已有的科學(xué)證據(jù)。”
AI能夠深度偽造數(shù)據(jù)，這大大增加了研究人員和期刊編輯對研究誠信的擔(dān)憂。
微生物學(xué)家、職業(yè)學(xué)術(shù)打假人Elisabeth Bik表示，這意味著，研究人員能夠輕而易舉地生成大量虛假數(shù)據(jù)集。
EMBO Reports的主編Bernd Pulverer也認為這是一個令人擔(dān)憂的問題。“實際上，同行評審?fù)粫匦路治鲅芯康臄?shù)據(jù)，因此不太可能發(fā)現(xiàn)AI精心策劃的違規(guī)行為。”Pulverer補充說，“期刊需要更新質(zhì)量檢查以識別AI偽造的數(shù)據(jù)。”
Wilkinson正在領(lǐng)導(dǎo)一個項目，主要是設(shè)計工具評估有問題的研究。“AI是導(dǎo)致問題產(chǎn)生的原因，但我們也可以基于AI自動化檢查其中一部分。”但他警告說，“AI的進步可能很快就可以規(guī)避這些檢查。”
參考鏈接：
https://www.nature.com/articles/d41586-023-03635-w
本文鏈接：難辨真假！研究人員使用ChatGPT生成數(shù)據(jù)集支持科學(xué)假說http://www.lensthegame.com/show-11-1569-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任，僅提供存儲服務(wù)。天上不會到餡餅，請大家謹防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。